Resumo Técnico: O Que Está Impedindo o Raciocínio Visual Latente?

Declaração do Problema

Os Modelos Visão-Linguagem (VLMs) alcançaram desempenho robusto em diversas tarefas visuais, mas continuam a lutar com cenários que exigem raciocínio espacial e composicional, onde a resolução de um problema depende da manipulação interna de representações visuais, e não apenas de descrições textuais. Para abordar isso, trabalhos recentes introduziram o Raciocínio Visual Latente, utilizando tokens latentes contínuos como etapas intermediárias de "imaginação" para facilitar o raciocínio visual em Cadeia de Pensamento (CoT).

Apesar das melhorias de desempenho relatadas, permanece incerto o que essas representações latentes realmente codificam e em que medida influenciam causalmente as previsões do modelo. Este artigo investiga se os VLMs atuais dependem genuinamente de tokens latentes para o raciocínio ou se meramente os contornam.

Metodologia

Os autores investigam o papel causal dos tokens latentes em quatro modelos recentes de raciocínio visual latente prontos para uso: LVR, Monet, ILVR e LanteRn. O estudo emprega uma abordagem multifacetada:

1. Análise de Intervenção (Teste Causal): Os autores substituem os tokens latentes gerados ($\hat{z}$) por tokens "fictícios" não informativos ($z'$) durante a inferência. As intervenções incluem:

   • Subregião Aleatória: Injeção de latentes derivados de recortes de imagens não relacionados.
   • Zeros/Ruído: Substituição dos latentes por valores constantes ou ruído gaussiano.
   • Pular Latentes: Desabilitar completamente o caminho latente inserindo o token de fim imediatamente após o token de início.
   • Condicionamento de Oráculo: Fornecimento de tokens latentes de oráculo verdadeiros ($z^*$) derivados de imagens intermediárias para testar se o modelo pode usar informações de alta qualidade se disponíveis.

2. Criação de Conjunto de Dados Diagnóstico: Para isolar o impacto dos dados de treinamento, os autores construíram cenários específicos:

   • Treinamento Mascarado: Mascaramento de regiões relevantes na imagem de entrada para que a tarefa só possa ser resolvida usando informações da imagem intermediária (e, portanto, dos tokens latentes).
   • Rotações Tipo Tetris: Um conjunto de dados sintético exigindo que o modelo aplique uma rotação observada em uma forma de origem a uma forma de destino. Aqui, as imagens intermediárias representam transformações não triviais (rotações) e não apenas subregiões simples.

3. Análise do Espaço Latente: Os autores analisaram a distribuição dos latentes gerados versus os latentes de oráculo usando métricas de similaridade de cosseno, medindo especificamente:

   • Precisão de Recuperação: Com que frequência um latente gerado corresponde ao seu latente de oráculo correspondente.
   • Preferência de Auto-geração Não Relacionada (USP): Se os latentes gerados estão mais próximos de outros latentes gerados do que de sua verdade fundamental.
   • Colapso Temporal: A similaridade entre tokens latentes consecutivos ao longo do tempo.

Principais Contribuições e Resultados

1. O Problema de Contorno Latente

O estudo revela que os modelos atuais de última geração ignoram em grande parte os tokens latentes ao produzir respostas.

• Resultado: A substituição dos latentes gerados por tokens fictícios não informativos (ruído, zeros ou subregiões aleatórias) resultou em queda pouca ou nenhuma na precisão em todos os quatro modelos em benchmarks como BLINK e V*Bench. Em alguns casos, o desempenho melhorou ligeiramente.
• Limitação do Oráculo: Mesmo quando os modelos foram condicionados a latentes de oráculo de alta qualidade (verdade fundamental) durante a inferência, a precisão não melhorou significativamente em relação à inferência padrão.
• Conclusão: Os tokens latentes desempenham um papel causal mínimo na previsão final. Os modelos efetivamente contornam o caminho de raciocínio latente.

2. Dados de Treinamento como Causa Raiz

Os autores identificam os dados de treinamento como o principal motor do problema de contorno.

• Observação: Em conjuntos de dados existentes (por exemplo, VisCoT, COMT), as imagens intermediárias são tipicamente subregiões recortadas da entrada original. Como a informação completa já está presente na imagem de entrada, os tokens latentes não fornecem nenhuma informação adicional necessária.
• Evidência:
  • Linha de Base de Token de Pausa: Um modelo de linha de base treinado sem tokens latentes (usando tokens "de pausa" como marcadores de lugar) alcançou a mesma precisão (79%) que o modelo usando latentes de oráculo em dados padrão.
  • Treinamento Mascarado: Quando a imagem de entrada foi mascarada para esconder a solução, forçando a dependência dos tokens latentes, a precisão do modelo caiu significativamente se os latentes fossem substituídos por ruído, mas permaneceu alta com latentes de oráculo.
  • Rotações Tipo Tetris: Em uma tarefa exigindo transformação não trivial (rotação) não diretamente visível na entrada, os modelos treinados nesses dados aprenderam a depender de tokens latentes. Latentes de oráculo renderam 86% de precisão, enquanto intervenções reduziram o desempenho para níveis de acaso (~30%).
• Conclusão: Os modelos só dependem de tokens latentes quando as etapas intermediárias fornecem informações não triviais e relevantes para a tarefa que não podem ser facilmente recuperadas da entrada original.

3. Colapso da Representação Latente

Mesmo quando os modelos são capazes de usar tokens latentes, eles falham em gerar latentes de alta qualidade durante a inferência padrão.

• Observação: Os tokens latentes gerados ($\hat{z}$) exibem similaridade extremamente alta entre si (similaridade de cosseno > 0,8–0,98), mas são relativamente dissimilares às suas representações de oráculo correspondentes ($z^*$).
• Falha de Recuperação: Os modelos falham em recuperar o latente de oráculo correto dentro dos 10 principais candidatos (precisão de recuperação < 10% para a maioria dos modelos).
• Colapso Temporal: À medida que a cadeia de raciocínio progride, os latentes previstos colapsam em uma região estreita e altamente similar do espaço latente, enquanto os latentes de oráculo mantêm a diversidade.
• Conclusão: Os métodos atuais sofrem de colapso da representação latente, onde os modelos geram tokens genéricos e de baixa informação, em vez de abstrações visuais diversas e discriminativas.

Significado e Direções Futuras

O artigo conclui que o progresso no raciocínio visual latente está atualmente limitado por dois problemas fundamentais:

1. Qualidade do Conjunto de Dados: Os conjuntos de dados existentes não incentivam o uso de tokens latentes porque as etapas intermediárias são frequentemente redundantes com a imagem de entrada. Conjuntos de dados futuros devem fornecer etapas intermediárias que ofereçam andaimes para tarefas onde a solução não é trivialmente extraível da entrada bruta (por exemplo, transformações geométricas).
2. Precisão da Previsão: Os modelos lutam para prever tokens latentes diversos e precisos, levando ao colapso da representação. Trabalhos futuros devem focar em melhorar a geração desses tokens para corresponder à qualidade das representações de oráculo.

Os autores enfatizam que, embora o raciocínio visual latente prometa para tarefas espaciais e composicionais, as implementações atuais são amplamente ineficazes devido a essas falhas de treinamento e geração. Eles fornecem o código, os modelos e os conjuntos de dados diagnósticos (LanteRn) para facilitar pesquisas futuras nessa direção.