Resumo Técnico: Controle de Ação Latente para Geração Unificada de Imagens Guiada por Raciocínio

Declaração do Problema

Modelos multimodais unificados integraram com sucesso a compreensão visual e a geração de imagens em backbones compartilhados. No entanto, persiste uma "lacuna entre compreensão e geração": os modelos podem inferir corretamente objetos, relações ou restrições durante a fase de compreensão, mas falham em instanciá-los fielmente na imagem gerada. Abordagens existentes para preencher essa lacuna geralmente externalizam o raciocínio como planos em linguagem natural, listas de verificação textuais ou instruções de edição iterativas. Esses métodos tratam o raciocínio como artefatos externos à dinâmica do estado oculto do gerador, exigindo reinterpretação como sinais de condicionamento. Alternativamente, métodos de raciocínio latente movem a deliberação para espaços contínuos, mas frequentemente falham em formular esses estados como ações executáveis específicas de função que direcionam diretamente a síntese. Consequentemente, há uma interface de controle ausente para converter restrições inferidas em sinais de condicionamento no momento da geração antes que a síntese visual comece.

Metodologia: Controle de Ação Latente (LAC)

Os autores propõem o Controle de Ação Latente (LAC), um framework que transforma o raciocínio em uma interface de controle interna para geração unificada de imagens. Em vez de decodificar o raciocínio em texto, o LAC emite ações latentes contínuas que são reescritas no fluxo oculto do modelo para condicionar o processo de geração.

1. Controle de Ação Latente Estruturado por Função

O LAC opera expandindo uma trajetória de ação latente $Z$ organizada em quatro funções distintas e ordenadas:

• Planejamento: Planejamento de intenção global.
• Rascunho: Formação de uma hipótese visual interna (único passo, sem imagem intermediária emitida).
• Diagnóstico: Diagnóstico de falhas.
• Refinamento: Refinamento direcionado.

Essas ações são vetores contínuos ($z \in \mathbb{R}^d$) injetados no fluxo oculto de um gerador unificado (implementado no BAGEL-7B-MoT). O comprimento da trajetória é variável, determinado por uma cabeça de parada aprendida, e o processo conclui com um token sentinela. O modelo condiciona o fluxo subsequente de geração de imagens baseado nos estados ocultos resultantes dessa expansão latente.

2. Alinhamento de Ação Latente Variacional Guiado por Priori

Como trajetórias de ação de verdade fundamental não estão disponíveis, o LAC emprega uma estratégia de alinhamento de ação latente variacional guiado por priori durante o treinamento:

• Sinais do Professor: Registros estruturados do professor (para planejamento, diagnóstico, refinamento) são renderizados como imagens compactas no estilo de documento e codificados como embeddings-alvo densos. Para a função "rascunho", os alvos são derivados de características visuais de imagens candidatas imperfeitas.
• Objetivo Variacional: O modelo aprende uma política autoregressiva $q_\theta$ para amostrar ações. Um prior Gaussiano de variância fixa é construído a partir dos sinais do professor ($E$). A política é treinada para alinhar sua expansão amostrada com esses priores usando uma perda variacional ($L_{var}$), garantindo que as ações sejam executáveis sem injetar diretamente sinais do professor como entradas durante a inferência.
• Ajuste Fino Supervisionado (SFT): O objetivo total combina alinhamento variacional, uma perda de âncora lexical (para ancorar estados latentes em semântica), uma perda de parada supervisionada e uma perda de correspondência de fluxo de imagem.

3. LF-GRPO de Fluxo-Latente Alinhado ao Resultado

Para otimizar as ações latentes com base na qualidade final da imagem, em vez de apenas em priores locais do professor, os autores introduzem o LF-GRPO de Fluxo-Latente.

• Mecanismo: Para um determinado prompt, um grupo de expansões é amostrado. Cada expansão consiste em uma trajetória de ação latente e uma trajetória de geração por fluxo.
• Recompensa: Uma recompensa de imagem terminal é computada para a imagem final gerada.
• Atribuição de Crédito: Usando Vantagem Relativa de Grupo (GRPO), a recompensa terminal é atribuída como um sinal de vantagem compartilhado tanto às ações latentes contínuas quanto às transições de geração por fluxo. Isso permite que o feedback em nível de imagem molde a trajetória de ação oculta, alinhando as etapas de planejamento, rascunho, diagnóstico e refinamento com o resultado visual final.

Contribuições Principais

1. Formulação do Raciocínio como Controle: O artigo formula o raciocínio na geração unificada de imagens como Controle de Ação Latente, onde ações contínuas específicas de função convertem restrições inferidas em sinais de condicionamento no momento da geração, mantendo a deliberação dentro do espaço contínuo oculto.
2. Alinhamento Guiado por Priori e LAC-15K: Os autores introduzem uma metodologia de treinamento usando alinhamento variacional guiado por priori e constroem o LAC-15K, um conjunto de dados estruturado por função que fornece priores semânticos renderizados, alvos de rascunho visual e sinais de parada supervisionados.
3. Objetivo LF-GRPO: Um objetivo inovador em nível de resultado que otimiza conjuntamente ações latentes ocultas e transições de geração por fluxo sob recompensas de imagem terminal compartilhadas, permitindo que o gerador aprenda a usar o raciocínio latente para melhorar a síntese.

Resultados Experimentais

O método foi avaliado no GenEval (geração composicional) e no WISE (geração fundamentada em conhecimento do mundo), usando o BAGEL-7B-MoT como base.

• GenEval: O LAC melhorou a pontuação geral de 0,77 (linha de base BAGEL) para 0,82. Os ganhos foram mais significativos em categorias sensíveis a restrições: Posição (+0,11), Cores (+0,13) e Atributo de Cor (+0,05). Com prompts reescritos por LLM, a pontuação atingiu 0,90.
• WISE: O LAC melhorou a pontuação ponderada geral de 0,49 para 0,54, com ganhos notáveis em Biologia (+0,18) e Química (+0,07).
• Estudos de Ablação:
  • Caminho de Treinamento: Remover priores semânticos renderizados ou ancoragem de rascunho visual (Latent-SFTNR) resultou em nenhuma melhoria sobre a linha de base, confirmando que a natureza específica dos priores é crucial.
  • Intervenção Latente: Substituir ações latentes aprendidas por vetores zero ou vetores aleatórios causou quedas significativas de desempenho (por exemplo, -7,92 no GenEval), provando que o gerador consome ativamente essas ações. Embaralhar a ordem das funções também degradou o desempenho, validando a necessidade funcional da estrutura planejamento-rascunho-diagnóstico-refinamento.
  • Remoção de Função: Remover a função "rascunho" causou a maior queda, destacando a importância de hipóteses visuais internas para vinculação de atributos e rastreamento de objetos.

Significado e Alegações

O artigo afirma que a geração unificada de imagens beneficia-se significativamente quando a compreensão não é meramente codificada, mas tornada acionável durante o processo de geração. Ao converter restrições inferidas em uma trajetória de ação oculta ordenada, o LAC fornece um caminho de controle direto do raciocínio à síntese. Os resultados sugerem que a "lacuna entre compreensão e geração" pode ser estreitada tratando o raciocínio como uma interface de controle interna e executável, em vez de um artefato textual externo. Os autores observam que, embora a abordagem mostre ganhos consistentes, ela atualmente depende de priores derivados de professores e requer trabalho adicional para reduzir a dependência de professores e melhorar a eficiência do aprendizado por reforço.