Resumo Técnico: Como e O Que Imaginar? Pensamento Visual em Modelos Multimodais Unificados para Raciocínio Espacial Cross-View

Declaração do Problema

O raciocínio espacial cross-view — a capacidade de inferir a disposição da cena, o posicionamento de objetos e a geometria a partir de imagens capturadas em diferentes pontos de vista — permanece uma fraqueza significativa nos Modelos Visão-Linguagem (VLMs). Embora os VLMs se destaquem em tarefas de imagem única, eles performam apenas marginalmente acima do acaso em tarefas cross-view. Os autores argumentam que isso decorre de uma incompatibilidade representacional: o raciocínio cross-view é inerentemente visual, contudo os VLMs tipicamente raciocinam através da linguagem, verbalizando observações em intermediários textuais que descartam a geometria de alta granularidade necessária para a tarefa.

Abordagens recentes de "pensar com imagem" tentam preencher essa lacuna gerando representações visuais intermediárias (por exemplo, reconstruções 3D, mapas de profundidade ou trajetórias de câmera previstas). No entanto, trabalhos anteriores indicam que a evidência visual nestes traços gerados é amplamente ignorada pelo caminho de resposta do modelo. Sob ajuste fino supervisionado (SFT) padrão, os modelos geram imagens de pensamento plausíveis, mas dependem das visualizações de entrada originais para responder, tornando o pensamento visual um subproduto decorativo em vez de um componente funcional do raciocínio.

Metodologia

1. Modelos Multimodais Unificados (UMMs)

O estudo utiliza Modelos Multimodais Unificados (especificamente BAGEL), que suportam nativamente a geração intercalada de imagem-texto. Esta arquitetura permite que o modelo gere uma representação visual intermediária (a "imagem de pensamento") como parte da cadeia de raciocínio antes de produzir uma resposta textual, permitindo aprendizado de ponta a ponta sem ferramentas externas.

2. View Dropout (VDrop)

Para abordar o subaproveitamento do pensamento visual, os autores propõem o View Dropout (VDrop), uma intervenção durante o treinamento projetada para forçar o modelo a depender da imagem de pensamento gerada.

• Mecanismo: Durante o treinamento, uma região contígua de uma visão de entrada ($V_1$ ou $V_2$) é mascarada do escopo de atenção dos tokens de resposta. No entanto, os tokens da imagem de pensamento mantêm acesso total às visões de entrada não mascaradas.
• Efeito: Isso cria um bloqueio de "atalho". Como os tokens de resposta não podem ver a região mascarada da visão de entrada, eles devem rotear seu raciocínio espacial através da imagem de pensamento gerada para recuperar as informações de layout ausentes.
• Currículo: Uma fase de aquecimento permite que o modelo aprenda a gerar e usar a imagem de pensamento com visibilidade total de entrada. A probabilidade de mascaramento é então anneada linearmente até 100%, garantindo que o modelo aprenda a depender da imagem de pensamento antes que as visões de entrada sejam totalmente obscurecidas.

3. Estratégias de Pensamento Visual

O estudo compara três tipos distintos de imagens de pensamento para determinar qual é mais eficaz, enquadrando a escolha como um tradeoff entre Aprendibilidade–Informatividade (L–I):

• Visão Panorâmica: Uma renderização de grande angular a partir da pose do observador, unificando as duas visões em um único campo visual.
• Visão de Topo: Uma renderização de alto ângulo que expõe o layout global e os lados dos objetos.
• Correspondência de Pontos: As duas visões de entrada exibidas lado a lado com marcadores coloridos indicando objetos correspondentes.

Informatividade refere-se a quanto a estrutura espacial a variante revela. Aprendibilidade refere-se a quão confiavelmente o UMM pode produzir instâncias fiéis dessa variante a partir dos dados.

4. Treinamento e Avaliação

• Dados: O treinamento foi conduzido em 8.000 amostras sintéticas do Infinigen Indoors, apresentando quatro tipos de perguntas cross-view: Âncora, Contagem, Distância Relativa e Direção Relativa.
• Benchmarks: A avaliação incluiu um benchmark in-domain (ID) (COSMIC) e cinco benchmarks out-of-domain (OOD) do mundo real (MMSI-Bench, MindCube, OmniSpatial, STARE-Perspective, BLINK-MultiView).
• Verificação Causal: Uma sonda "gerar-então-cegar" foi usada na inferência. O modelo gera a imagem de pensamento, mas a atenção do segmento de resposta à imagem de pensamento é mascarada. Uma queda na precisão indica que a imagem de pensamento era causalmente determinante.

Resultados Chave

1. VDrop Torna o Pensamento Visual Causal

• Determinante: Sem VDrop, mascarar a imagem de pensamento gerada na inferência afeta pouco a precisão. Com VDrop, cegar a imagem de pensamento causa quedas significativas na precisão (por exemplo, queda de +12,8% no BLINK), confirmando que o modelo realmente depende do intermediário visual.
• Mudança de Atenção: A análise de atenção mostra que o VDrop aumenta a parcela de atenção dos tokens de resposta na imagem de pensamento de ~55% (vanilla) para ~65%, particularmente nas camadas iniciais e médias do decodificador.

2. O Tradeoff entre Aprendibilidade–Informatividade

• Panorâmica: Alcança o melhor equilíbrio. É altamente informativa (expondo a cena conjunta diretamente) e altamente aprendível (o modelo gera renderizações fiéis). Alcança a maior generalização OOD.
• Visão de Topo: Altamente informativa, mas apenas parcialmente aprendível. O modelo luta para sintetizar o ponto de vista não visto com fidelidade geométrica perfeita, levando a resultados mistos.
• Correspondência de Pontos: Limitada pela baixa informatividade (não cria um novo ponto de vista) e aprendibilidade moderada (posicionamento preciso de marcadores é difícil). Produz os menores ganhos.

3. Ganhos de Desempenho

• Eficiência: A melhor configuração (Panorâmica + VDrop) treinada em apenas 8K amostras alcança uma precisão OOD média de 40,0%.
• Comparação: Isso supera:
  • BAGEL Vanilla (33,3%).
  • VLMs gerais fortes como Qwen3-VL-8B (37,0%).
  • Métodos anteriores de pensamento visual treinados em significativamente mais dados: ThinkMorph (24K amostras, 37,2%) e BAGEL-Zebra-CoT (182K amostras, 26,8%).
• Baselines Não Visuais: O pensamento visual com VDrop supera significativamente as baselines não visuais (No-Think e Cadeia de Pensamento Textual), com o CoT Textual performando até pior que a resposta direta, provavelmente devido a supervisão textual inconsistente.

Significado e Alegações

O artigo alega que o principal gargalo para o pensamento visual em UMMs não é a escala de dados, mas o sinal de treinamento.

• Subaproveitamento é um Modo de Falha: Os autores identificam que o SFT padrão leva a um pensamento visual "decorativo" onde o modelo ignora suas próprias imagens geradas.
• VDrop como Solução: O View Dropout é uma intervenção simples, agnóstica à arquitetura, que força a imagem de pensamento a se tornar um componente causalmente determinante do raciocínio.
• Representação Importa: Uma vez que o modelo é forçado a usar a imagem, a escolha da representação torna-se crítica. O estudo estabelece que o pensamento visual panorâmico é a estratégia superior porque é simultaneamente informativo e aprendível, enquanto outras estratégias falham em um ou ambos os eixos do tradeoff L–I.
• Eficiência de Dados: Os resultados sugerem que, com a intervenção de treinamento correta (VDrop) e representação (Panorâmica), um raciocínio espacial cross-view de alta qualidade pode ser alcançado com significativamente menos dados (8K amostras) do que os métodos anteriores exigiam.

Limitações

Os autores observam que suas descobertas são validadas em uma única arquitetura de UMM (BAGEL) e podem não transferir para outras arquiteturas sem estudos adicionais. Além disso, o VDrop força o uso da imagem de pensamento, mas não melhora inerentemente a qualidade da imagem gerada; se a imagem gerada for de baixa fidelidade, forçar o modelo a depender dela produz benefícios limitados. Trabalhos futuros devem combinar VDrop com supervisão que melhore a fidelidade da própria geração da imagem de pensamento.