Resumo Técnico: IV-CoT para Geração de Texto-para-Imagem com Consciência de Estrutura

Declaração do Problema

Modelos de linguagem de grande escala multimodais unificados (MLLMs) têm demonstrado fortes capacidades na geração de imagens realistas a partir de instruções abertas. No entanto, eles frequentemente lutam com o seguimento de prompts com consciência de estrutura (structure-aware prompt following), onde os prompts exigem adesão precisa a contagens de objetos, relações espaciais, vinculação de atributos e layouts grosseiros.

Os autores atribuem essa limitação ao entrelaçamento do planejamento estrutural e da renderização de aparência dentro de um único fluxo de condicionamento. Nos geradores baseados em MLLM unificados existentes, a estrutura da cena, a identidade do objeto e os detalhes visuais são comprimidos em uma sequência de consulta plana. Essa falta de separação torna difícil para o gerador de difusão distinguir quais fatores devem determinar a geometria da cena versus sua textura ou cor, levando a erros como troca de atributos, omissão de objetos ou violação de layouts.

Embora trabalhos recentes tenham explorado o raciocínio de Cadeia de Pensamento (CoT) para abordar isso, os métodos existentes sofrem de limitações complementares:

1. CoT Textual Explícita: Gera raciocínio verbal intermediário ou layouts, mas carece da largura de banda espacial para representar geometria 2D contínua, fronteiras e oclusão de forma eficaz.
2. CoT Intercalada Explícita: Incorpora intermediários visuais (máscaras, rascunhos), mas requer pipelines de múltiplos estágios, decodificação intermediária explícita e sofre de acúmulo de erro e alta latência.

O artigo postula a necessidade de um mecanismo de planejamento intermediário que preserve informações visuais-espaciais sem exigir estados de raciocínio decodificados no momento da inferência.

Metodologia: Cadeia de Pensamento Visual Implícita (IV-CoT)

Os autores propõem o IV-CoT, um framework de raciocínio de prioridade estrutural construído sobre um gerador MLLM-DiT (Diffusion Transformer) condicionado por consulta. Em vez de externalizar o raciocínio como texto ou imagens, o IV-CoT internaliza o processo de planejamento nas representações de consulta latentes.

1. Cascata de Consulta Semântica-para-Estrutural

O IV-CoT particiona as entradas de consulta visual aprendíveis em dois grupos ordenados:

• Consultas Estruturais ($Q_s$): Posicionadas primeiro na sequência. Elas codificam um "plano visual latente" incluindo forma do objeto, contagem, layout e relações espaciais grosseiras.
• Consultas Semânticas ($Q_m$): Posicionadas após as consultas estruturais. Elas atendem ao prompt e às consultas de estado estrutural para renderizar aparência, detalhes finos e texturas.

Devido ao mecanismo de autoatenção causal no MLLM, esta ordenação impõe uma dependência unidirecional: as consultas semânticas podem acessar o plano estrutural, mas as consultas estruturais não podem acessar detalhes semânticos. Isso cria uma cadeia implícita onde o modelo primeiro planeja a estrutura e depois renderiza a aparência condicionada a esse plano.

2. Supervisão de Esboço Apenas para Treinamento

Para guiar as consultas estruturais sem exigir esboços na inferência, os autores empregam um esquema de treinamento em dois estágios usando supervisão de esboço (sketch supervision):

• Estágio 1 (Treinamento Estrutural): O MLLM e o DiT são congelados. Apenas as entradas de consulta estrutural ($Q^0_s$) são otimizadas para denoisar um latente de esboço ($z_s$) derivado de imagens de treinamento com detecção de bordas. Isso força o $Q_s$ a codificar contornos, formas e layouts enquanto suprime fatores de aparência como cor e textura.
• Estágio 2 (Treinamento de Geração de Imagem): O modelo é otimizado para a geração de imagem completa. A perda estrutural ($L_{struct}$) é mantida como um regularizador ao lado da perda de geração de imagem ($L_{img}$). Isso garante que o $Q_s$ permaneça alinhado com o plano visual latente enquanto o $Q_m$ aprende a renderizar identidade, cor e detalhes de material.

3. Inferência

No momento da inferência, o IV-CoT opera em uma passagem única (single forward pass). Ele recebe apenas o prompt de texto e as entradas de consulta aprendidas, produzindo a sequência de condicionamento combinada $[Q_s, Q_m]$. Nenhum esboço é extraído, nenhuma imagem intermediária é decodificada e nenhum rastro de raciocínio explícito é gerado. O gerador de difusão então realiza o denoising padrão condicionado a esta sequência.

Principais Contribuições

1. Formulação do IV-CoT: O artigo introduz um framework onde o planejamento visual intermediário é internalizado em representações de consulta latentes, em vez de ser externalizado como estados de texto ou visuais explícitos.
2. Cascata de Consulta Causal e Supervisão de Esboço: Os autores instanciam isso com uma cascata de consulta causal de estrutural-para-semântica e uma estratégia de supervisão de esboço apenas para treinamento. Isso molda as consultas estruturais em planos visuais latentes enquanto preserva a inferência de passagem única e apenas de texto.
3. Desempenho e Eficiência: Usando o backbone OpenUni-L-1024, o IV-CoT melhora as pontuações GenEval de 0,86 para 0,88 e as pontuações T2I-CompBench de 0,5448 para 0,5743. Crucialmente, ele alcança esses resultados com 9–15× menos latência do que os métodos de CoT explícitos (ex: T2I-R1, GoT-R1) ao evitar a decodificação de múltiplos estágios.
4. Interpretabilidade: Visualizações e experimentos de recombinação de cross-prompt demonstram que as consultas estruturais codificam planos visuais latentes recuperáveis e manipuláveis, enquanto as consultas semânticas lidam com a aparência, confirmando os papéis complementares dos dois grupos de consulta.

Resultados Experimentais

• Benchmarks: Avaliado em GenEval e T2I-CompBench. O IV-CoT supera tanto os modelos unificados padrão (ex: Janus-Pro, OpenUni) quanto os métodos baseados em CoT explícito (ex: T2I-R1, TWIG-RL) em dimensões sensíveis à estrutura, como posição, atribuição de cor, relações espaciais e forma.
• Eficiência: O IV-CoT alcança uma pontuação T2I-CompBench de 0,5743 com um tempo de inferência de 1,693 segundos por amostra. Em contraste, os métodos de CoT explícito requerem entre 15,2 e 25,3 segundos por amostra.
• Estudos de Ablação:
  • Remover a cascata estrutural-para-semântica ou a supervisão de esboço leva a quedas de desempenho, confirmando que tanto a dependência ordenada quanto a orientação estrutural são necessárias.
  • Simplesmente aumentar o número de consultas sem o design específico de cascata gera ganhos limitados, indicando que a melhoria provém da organização arquitetônica, não apenas da capacidade.
• Análise: A análise de atenção cruzada revela que as consultas estruturais recebem maior atenção em torno de contornos e fronteiras de objetos, enquanto as consultas semânticas são mais ativas em interiores de objetos e regiões de aparência.

Significância e Alegações

O artigo afirma que o IV-CoT aborda com sucesso o problema do "entrelaçamento" em geradores MLLM unificados ao organizar as consultas de condicionamento em uma hierarquia de estrutura primeiro, semântica depois. Ao internalizar o processo de raciocínio nos estados latentes, o método alcança um seguimento de prompt com consciência de estrutura superior sem o custo computacional da decodificação intermediária explícita.

Os autores enfatizam que o IV-CoT oferece uma alternativa prática aos métodos de CoT explícito, fornecendo uma capacidade de inferência de "passagem única" que é significativamente mais rápida enquanto mantém alta precisão composicional. O trabalho sugere que o raciocínio latente, quando devidamente estruturado (por exemplo, via supervisão de esboço e ordenação causal), pode efetivamente preencher a lacuna entre o planejamento de alto nível e a renderização de baixo nível na geração de texto-para-imagem.

Limitações: Os autores observam que o IV-CoT não é especificamente otimizado para renderizar texto legível dentro de imagens (o que requer alinhamento de caracteres de grão fino) e ainda não foi explorado para cenários de edição de imagem.