Resumo Técnico: Tokens de Percepção Imaginativa Aprimoram o Raciocínio Espacial em Modelos de Linguagem Multimodais

1. Declaração do Problema

Os Modelos de Linguagem-Visão (VLMs) atuais destacam-se no reconhecimento de objetos e atributos, mas enfrentam dificuldades significativas com o raciocínio espacial, particularmente quando a informação necessária não é diretamente observável na entrada. Muitas tarefas espaciais exigem percepção imaginativa: simular pontos de vista não observados, traçar trajetórias através de espaços ocluídos ou integrar visões parciais em um mapa espacial coerente.

Abordagens existentes tentam preencher essa lacuna usando representações visuais intermediárias (ex: pensamentos visuais, mapas de profundidade ou tokens de caixas delimitadoras/bounding boxes). No entanto, esses métodos focam primordialmente em refinar estruturas já visíveis na entrada ou extrair atributos perceptivos. Eles falham em abordar o desafio central de construir representações espaciais que não são diretamente observadas, o que frequentemente requer a predição da estrutura espacial ausente implícita pelas evidências, em vez de apenas descrever o que é visto. Além além disso, forçar o cálculo espacial através de Cadeia de Pensamento (CoT) textual frequentemente resulta em um descompasso de modalidade, pois a serialização de restrições geométricas e transformações de perspectiva em linguagem é propensa a erros e ineficiente.

2. Metodologia

2.1. Conceito Central: Tokens de Percepção Imaginativa (IPT)

Os autores propõem os Tokens de Percepção Imaginativa (IPT), uma forma de representação perceptiva intermediária que externaliza o que um VLM perceberia sob uma configuração espacial alternativa, mantendo a consistência com a entrada observada. Diferente dos intermediários padrão que descrevem estruturas visíveis, os IPTs representam novas visões espaciais (ex: uma visão de um novo ponto de coordenação ou um mapa de visão aérea integrando múltiplas visões) que devem ser inferidas.

2.2. Tarefas e Datasets

Para estudar essa capacidade, os autores formulam três tarefas que exigem percepção imaginativa, construindo datasets de aproximadamente 20.000 exemplos cada, abrangendo ambientes simulados (AI2-THOR, Habitat) e do mundo real:

1. Tomada de Perspectiva (PET): Dada uma visão em primeira pessoa e um alvo de posição, prever a cena a partir do novo ponto de vista (ex: "Após mover para 'X' e virar à esquerda, o objeto está à minha esquerda ou direita?"). O ground truth é uma imagem de novo ponto de vista.
2. Rastreamento de Caminho (PT): Dado um mapa de visão aérea e visões frontais em pontos de passagem (waypoints), identificar objetos visíveis em um ponto médio ao longo de um caminho. O ground truth é uma imagem de visão lateral (renderização em primeira pessoa a partir do ponto médio).
3. Contagem Multiview (MVC): Dadas múltiplas molduras (frames) em primeira pessoa, determinar a contagem total de um objeto específico integrando visões para resolver oclusões e duplicatas. O ground truth é um mapa de Visão de Pássaro (BEV - Bird's-Eye View) de cima para baixo.

Cada dataset inclui pares de imaginações intermediárias de ground truth e respostas finais, acompanhados de benchmarks de avaliação filtrados por humanos.

2.3. Arquitetura do Modelo e Treinamento

Os autores utilizam o BAGEL, um transformer decodificador único unificado que suporta nativamente a compreensão e geração multimodal intercalada.

• Arquitetura: O BAGEL emprega um design de Mistura de Especialistas de Transformer (MoT) com especialistas separados para compreensão (tokens SigLIP2 ViT) e geração (tokens latentes FLUX VAE).
• Objetivo de Treinamento: O modelo é treinado com uma perda multitarefa ($L_{total}$) composta por:
  1. Perda de Flow-Matching ($L_{fm}$): O modelo aprende a prever o campo de velocidade para transformar ruído Gaussiano na representação latente alvo da visão não observada (o IPT).
  2. Perda de Modelagem de Linguagem ($L_{lm}$): O modelo minimiza a log-verossimilhança negativa dos tokens da resposta final, condicionados ao contexto observado e aos tokens imaginativos de ground truth.
• Modos de Inferência:
  • Modo de Imaginação: O modelo gera a imagem intermediária, re-codifica-a e a utiliza como contexto para prever a resposta.
  • Modo Apenas-Resposta: O modelo prevê a resposta diretamente sem gerar uma imagem no momento da inferência, baseando-se nas representações internas aprendidas durante o treinamento.

3. Resultados Principais

3.1. Desempenho em Tarefas Espaciais

Utilizando o backbone BAGEL, a supervisão por IPT melhora significativamente o raciocínio espacial em todas as três tarefas comparado aos baselines:

• Contagem Multiview (MVC): O IPT melhora a precisão em 3,4% sobre o treinamento apenas com labels (67,3% vs. 63,9%) e supera o CoT textual (62,3%).
• Tomada de Perspectiva (PET): O IPT atinge 96,8% de precisão nos dados in-domain do AI2-THOR, superando o treinamento apenas com labels (97,5% é o máximo, mas o IPT é competitivo) e superando significativamente o CoT textual (83,1%). Em dados out-of-domain (Habitat), o IPT atinge 87,0%, superando o treinamento apenas com labels (82,0%).
• Rastreamento de Caminho (PT): O treinamento misto (IPT + apenas labels) alcança os melhores resultados, atingindo 66,7% em dados sintéticos e 58,6% em benchmarks do mundo real, superando tanto o treinamento apenas com labels quanto o CoT textual.

3.2. Comparação com Cadeia de Pensamento (CoT) Textual

O artigo constata que o CoT textual é frequentemente prejudicial nessas tarefas. Por exemplo, no PET, o CoT reduz o desempenho para 83,1% comparado aos 96,8% do IPT. Os autores atribuem isso a um descompasso de modalidade: forçar o cálculo espacial (mudanças de perspectiva, oclusões) através da linguagem introduz ruído e compete com a capacidade de predição da resposta. Em contraste, os IPTs representam essas relações diretamente na modalidade visual.

3.3. Inferência e Generalização

• Representações Internas: Crucialmente, os ganhos de desempenho persistem mesmo quando o modelo não gera uma imagem no momento da inferência (Modo Apenas-Resposta). Isso sugere que o treinamento com supervisão de IPT ajuda os modelos a desenvolver representações espaciais internas mais fortes.
• Transfer Learning: Modelos treinados com IPTs mostram melhor transferência para benchmarks externos (ex: SAT, MessyTable) e outras tarefas espaciais (ScanNet, MindCube), indicando que o raciocínio espacial aprendido se generaliza além dos alvos de tokens específicos.
• Ablação de Resolução: Tokens latentes de maior resolução (Latent-64, 1024x1024) produzem imaginações mais nítidas e espacialmente fiéis, correlacionando-se com maior precisão downstream.

4. Significância e Alegações

O artigo afirma que os Tokens de Percepção Imaginativa fornecem um sinal de supervisão principiado para o raciocínio sobre estruturas não observadas. As principais contribuições e alegações são:

1. Nova Representação Intermediária: Os IPTs são distintos de intermediários visuais anteriores porque preveem configurações espaciais não observadas em vez de refinar as visíveis.
2. Alinhamento de Modalidade: Supervisionar modelos com predições visuais intermediárias é mais eficaz do que o CoT textual para tarefas espaciais, evitando os gargalos de serializar restrições geométricas em linguagem.
3. Generalização: O treinamento com supervisão imaginativa produz um raciocínio espacial mais generalizado e intermediários mais interpretáveis alinhados com a geometria subjacente da tarefa, mesmo sem geração explícita de imagem durante a inferência.
4. Benchmarking: O trabalho introduz os primeiros datasets explicitamente desenhados para treinar e avaliar o raciocínio espacial visualmente fundamentado, destacando um "gap de perspectiva" e a necessidade de imaginação espacial construtiva em VLMs.

Os autores concluem que, embora os modelos unificados atuais muitas vezes troquem a robustez de compreensão pela capacidade de geração, a integração da supervisão de percepção imaginativa permite que os modelos alcancem desempenho competitivo com modelos proprietários fortes em tarefas complexas de raciocínio espacial.