💻 computer science

LCG: Long-Context Consistent Image Generation with Sparse Relational Attention

Este artigo propõe a Geração de Longo Contexto (LCG), um framework que utiliza Atenção Relacional Esparsa e uma Restrição de Consistência de Roteamento para alcançar a síntese multi-imagem consistente e escalável para narrativas visuais longas, validada por um novo conjunto de dados de larga escala e desempenho superior em relação aos baselines em consistência de personagem e semântica.

Autores originais: Zihao Wang, Yijia Xu, Haoze Zheng, Xuran Ma, Haokun Gui, Harry Yang

Publicado 2026-06-26

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zihao Wang, Yijia Xu, Haoze Zheng, Xuran Ma, Haokun Gui, Harry Yang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um artista tentando desenhar uma história em quadrinhos. Você tem um roteiro com 20 cenas diferentes. O desafio não é apenas desenhar uma imagem bela, mas sim desenhar 20 imagens em sequência onde o personagem principal pareça exatamente o mesmo em cada painel, mesmo que ele esteja usando roupas diferentes, em lugares diferentes e fazendo coisas diferentes.

As ferramentas atuais de arte por IA são como artistas talentosos que conseguem desenhar um retrato deslumbrante único. Mas, se você pedir para eles desenharem uma história inteira, eles tendem a "derivar". No painel 1, o herói tem olhos azuis e uma cicatriz. No painel 10, o herói pode subitamente ter olhos verdes e sem a cicatriz, ou o vilão pode parecer com o herói. Este artigo, LCG, introduz uma nova maneira de corrigir este problema.

Aqui está como a solução do artigo funciona, dividida em conceitos simples:

1. O Problema: A "Sobrecarga de Memória"

Para manter um personagem consistente ao longo de 20 imagens, a IA precisa olhar para todas as 20 imagens ao mesmo tempo para lembrar como o personagem é.

O Jeito Antigo: Imagine tentar manter uma conversa com 20 pessoas ao mesmo tempo, onde todos estão gritando uns com os outros. Conforme o grupo fica maior, o ruído torna-se impossível de gerenciar e seu cérebro (a memória do computador) trava. É isso que acontece quando a IA tenta olhar para todas as imagens de forma "densa" (conectando cada pixel de cada imagem a cada outro pixel).
O Resultado: A IA fica confusa, o personagem muda de aparência ou o computador fica sem memória.

2. A Solução: "Atenção Relacional Esparsa" (SRA)

Os autores criaram um novo mecanismo chamado Atenção Relacional Esparsa (SRA). Pense nisso como dar à IA um marca-texto inteligente em vez de um holofote.

Como funciona: Em vez de a IA tentar conectar cada parte da Imagem A a cada parte da Imagem B, ela pergunta: "Qual é a coisa mais importante na Imagem B que eu preciso ver para manter a Imagem A consistente?"
A Analogia: Imagine que você está escrevendo a sequência de um livro. Você não precisa reler toda a biblioteca de 1.000 livros para lembrar o nome do herói. Você só precisa olhar para o cartão de índice específico do personagem. A SRA atua como esse cartão de índice. Ela seleciona apenas as "características centrais" (como o rosto do herói ou um traje específico) de outras imagens e ignora o resto. Isso mantém o computador rápido e evita que ele fique sobrecarregado, mesmo com histórias longas.

3. A Rede de Segurança: "Restrição de Consistência de Roteamento" (RCC)

Mesmo com o marca-texto inteligente, a IA ainda pode se confundir. Por exemplo, se dois personagens estiverem usando casacos vermelhos, a IA pode acidentalmente trocar seus rostos.

Para impedir isso, os autores adicionaram uma regra chamada Restrição de Consistência de Roteamento (RCC).

A Analogia: Imagine um editor rigoroso que possui uma "ficha de personagem" (uma máscara) para cada pessoa na história. O editor diz à IA: "Quando você desenhar o herói no Painel 5, você deve olhar para o rosto do herói no Painel 1, NÃO para o rosto do vilão, mesmo que eles estejam usando a mesma cor."
Como funciona: O sistema usa essas "máscaras" para forçar a IA a rotear a informação corretamente. Se a IA tentar copiar as características da pessoa errada, o sistema diz: "Não, esse é o caminho errado", e a corrige. Isso garante que o herói continue sendo o herói e o vilão continue sendo o vilão, mesmo em cenas lotadas.

4. O Campo de Treinamento: Conjunto de Dados LCCD

Para ensinar a IA a fazer isso, os pesquisadores não poderiam simplesmente usar fotos aleatórias da internet (devido a questões de privacidade e direitos autorais). Em vez disso, eles construíram um enorme conjunto de treinamento personalizado chamado LCCD (Long-Context Consistency Dataset).

A Escala: Eles criaram 600.000 sequências de histórias artificiais. Cada sequência tem de 6 a 20 imagens.
A Variedade: Algumas histórias têm um personagem, outras têm vários. Eles usaram IA para gerar essas imagens e depois usaram outra IA para verificar: "O personagem parece o mesmo em todas as imagens?" Se o personagem mudasse demais, essa história era descartada. Isso deixou com eles um conjunto de dados "perfeito" para treinar o modelo.

5. Os Resultados

Quando testaram seu novo sistema (LCG) contra outros métodos:

Melhor Consistência: Os personagens pareciam muito mais consistentes ao longo de sequências longas (até 20 imagens).
Melhor Narrativa: A IA seguiu as instruções específicas para cada cena (por exemplo, "sentado em um banco" vs. "em pé em uma biblioteca") sem perder a identidade do personagem.
Eficiência: Devido ao "marca-texto inteligente" (SRA), o sistema pôde lidar com histórias longas sem travar a memória do computador, enquanto os métodos antigos falhavam quando a história ficava muito longa.

Em resumo: O artigo apresenta um novo framework que permite à IA gerar histórias visuais longas e consistentes (como quadrinhos ou storyboards) ao usar um "marca-texto inteligente" para focar apenas em detalhes importantes e um "editor rigoroso" para garantir que os personagens não se misturem, tudo isso mantendo o computador funcionando de forma eficiente.

Resumo Técnico: Geração de Imagens de Longo Contexto com Atenção Relacional Esparsa (LCG)

Declaração do Problema

Embora os modelos generativos recentes tenham alcançado uma fidelidade impressionante na síntese de imagens únicas, eles enfrentam dificuldades para manter a consistência em saídas sequenciais necessárias para aplicações de longo contexto, como quadrinhos, storyboards e narrativas visuais. As abordagens existentes enfrentam um compromisso fundamental: gerar painéis de forma independente ignora as evidências entre painéis, enquanto a geração sequencial propaga o desvio de identidade precoce ou incompatibilidades de papéis para os quadros subsequentes. Além disso, mecanismos de atenção densa em todos os painéis, que permitem a troca direta de informações, sofrem de escalonamento quadrático de memória ( $O(N^2L^2D)$ ), excedendo rapidamente os orçamentos de memória práticos à medida que o número de painéis ( $N$ ) aumenta. Consequentemente, desenvolver modelos que possam explorar eficientemente o contexto visual de longo alcance enquanto preservam a coerência global permanece um desafio em aberto.

Metodologia

Os autores propõem o Long-Context Generation (LCG), um framework baseado em difusão projetado para a geração de texto-para-imagem de múltiplas imagens de longo contexto. Dada uma sequência de prompts específicos de cena, o LCG sintetiza conjuntamente uma sequência de imagens correspondente, garantindo o alinhamento com os prompts individuais enquanto preserva a identidade do personagem, a atribuição de papéis e a continuidade visual. O framework opera atribuindo cada prompt a um ramo de geração paralelo e realizando a denoização de todos os ramos conjuntamente.

O LCG introduz dois mecanismos centrais para abordar a escalabilidade e a consistência:

1. Atenção Relacional Esparsa (SRA)

Para superar as limitações de memória da atenção densa, o LCG reformula a interação entre ramos em um mecanismo de Atenção Relacional Esparsa. Em vez de atender a todos os tokens em todos os ramos, cada ramo de geração atende seletivamente às regiões mais relevantes de outros.

Compressão Semântica Grosseira: O modelo comprime sequências de tokens de todos os ramos em representações de nível de bloco para identificar regiões globalmente relevantes.
Seleção Local e Global: As queries primeiro recuperam os top- $K$ tokens relevantes de seu próprio ramo (contexto local) e depois atendem a representações semânticas comprimidas de todos os ramos para selecionar blocos relevantes (contexto global).
Recuperação de Grão Fino: Tokens de grão fino dentro dos blocos selecionados são recuperados para formar subconjuntos esparsos para o cálculo da atenção.
Complexidade: Esta abordagem reduz o custo computacional de quadrático $O(N^2L^2D)$ para aproximadamente $O(NL(K_{loc} + K_{glob})D)$ , onde os valores de $K$ são fixos e muito menores que o comprimento total da sequência, tornando a geração de longo contexto computacionalmente tratável.
Codificação de Nível de Ramo: Para distinguir ramos simultâneos, o LCG injeta identificadores de ramo únicos na dimensão temporal do 3D Rotary Position Embedding (RoPE).

2. Restrição de Consistência de Roteamento (RCC)

Embora a SRA permita uma interação eficiente, as rotas esparsas podem ser selecionadas com base em características do modelo e podem ser instáveis, levando ao desvio de identidade ou confusão de papéis (ex: um personagem atendendo a uma região visualmente semelhante, mas semanticamente incorreta, em outro painel).

Mecanismo: A RCC utiliza máscaras conscientes de identidade para impor correspondência semântica e estrutural entre os ramos paralelos. Ela converte essas máscaras em alvos de roteamento de nível de token.
Função de Perda: O modelo calcula uma perda de consistência ( $L_{RCC}$ ) que penaliza desvios entre o mapa de atenção esparsa previsto e a correspondência derivada da máscara. Especificamente, ela incentiva os tokens atribuídos à mesma identidade de personagem entre diferentes ramos a formarem rotas entre ramos mais fortes.
Efeito: Isso regulariza o fluxo de atenção, garantindo que a evidência de identidade e papel seja propagada para os painéis corretos sem a necessidade de supervisão densa.

Principais Contribuições

Framework LCG: Um novo framework para geração de múltiplas imagens de texto-para-imagem de longo contexto que permite a troca esparsa de informações entre ramos de geração paralelos, melhorando tanto a consistência entre painéis quanto a escalabilidade.
Atenção Relacional Esparsa (SRA): Um módulo de roteamento de atenção esparsa que combina seleção semântica compacta com recuperação de tokens relacionais de grão fino, permitindo o cálculo eficiente de longo contexto dentro de orçamentos de memória práticos.
Restrição de Consistência de Roteamento (RCC): Uma função de perda que converte máscaras conscientes de identidade em alvos de roteamento de nível de token, mitigando efetivamente o desvio de aparência e garantindo consistência de identidade de personagem e layout de cena em cenas complexas com múltiplos sujeitos.
Dataset de Consistência de Longo Contexto (LCCD): A construção de um dataset sintético de larga escala compreendendo 600 mil sequências de treinamento (divididas em cenários de um e múltiplos personagens) e um conjunto de teste separado de 1 mil. Cada sequência contém de 6 a 20 imagens, expandindo significativamente os spans de 2 a 4 quadros de datasets existentes. O dataset é gerado via um pipeline estruturado usando LLMs para definição de personagens e síntese de prompts, seguido por triagem de consistência automatizada.

Resultados Experimentais

Os autores avaliaram o LCG no conjunto de teste LCCD, comparando-o com baselines incluindo Flux.1-dev, StoryDiffusion e Story2Board.

Desempenho Quantitativo: O LCG alcançou pontuações superiores em todas as métricas:
- Alinhamento de Prompt (VQAScore): 0.71 (vs. 0.64 para Story2Board).
- Consistência de Sujeito (DreamSim): 0.75 (vs. 0.62 para baselines).
- Preservação de Identidade (FaceSim-Arc): 0.66 (vs. 0.52 para Story2Board).
- Qualidade Visual (Aesthetic Score): 0.62.
Avaliação Humana: Em um estudo de usuário envolvendo 30 participantes, o LCG recebeu a maior preferência geral (4.03/5) e as classificações mais fortes para alinhamento de texto (4.08) e consistência de identidade (4.18).
Estudos de Ablação:
- Substituir a SRA pela atenção total melhorou ligeiramente a fidelidade do prompt, mas falhou em manter a coerência em sequências longas e excedeu os limites de memória em 20 painéis.
- Remover a RCC levou a uma realização de prompt mais fraca, desvio de identidade sutil e artefatos espúrios.
- O desempenho permaneceu competitivo mesmo em 20 painéis, embora um declínio gradual nas métricas tenha sido observado conforme o comprimento do contexto aumentava.
Eficiência: A SRA reduziu significativamente o uso de pico de VRAM e a latência em comparação com a atenção entre ramos densa. Enquanto a atenção densa sofreu erro de memória (OOM) em 20 painéis em GPUs H800, a SRA gerou sequências de 20 painéis com sucesso.

Significância e Alegações

O artigo afirma que o LCG aborda a limitação crítica dos frameworks de difusão controláveis existentes, que focam principalmente na customização de imagem única ou condicionamento de sujeito, em vez da síntese conjunta de longo contexto. Ao introduzir roteamento relacional esparso e uma restrição de consistência guiada por máscaras de identidade, o LCG permite a geração de narrativas visuais coerentes com identidades de personagens consistentes através de sequências estendidas (6–20 imagens) e interações complexas de múltiplos personagens.

Os autores posicionam o LCG como um passo para resolver o problema do "desvio de longo contexto" na IA generativa, demonstrando que é possível manter a coerência global e a fidelidade de identidade sem incorrer em custos computacionais proibitivos. Embora o método melhore significamente a consistência, os autores notam modestamente que manter detalhes de identidade de grão fino continua sendo mais desafiador conforme o comprimento da sequência e o número de personagens interagindo aumentam, sugerindo trabalhos futuros em mecanismos de rastreamento de identidade mais fortes.