Token Warping Helps MLLMs Look from Nearby Viewpoints

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) atuais demonstram capacidades notáveis em raciocínio visual, mas permanecem frágeis quando confrontados com mudanças de ponto de vista (perspectiva). O desafio central é fazer com que um MLLM entenda como uma cena se parece a partir de um ponto de vista próximo não observado, a partir de uma única imagem de origem.

As abordagens tradicionais tentam resolver isso através de:

• Afinamento (Fine-tuning) com supervisão 3D: Frequentemente falha em melhorar o raciocínio espacial genuíno.
• Guerra de Pixels (Pixel-wise Warping): Tentar distorcer os pixels da imagem original para simular a nova perspectiva. Isso é altamente sensível a erros de profundidade (mesmo pequenos), resultando em distorções geométricas severas, artefatos visuais e degradação semântica que confundem o modelo.
• Síntese de Novas Vistas (Generative Warping): Usar modelos generativos (como Diffusion) para criar a nova imagem. Embora promissor, pode alucinar objetos inexistentes ou perder detalhes existentes.

O artigo questiona: A guerra de tokens (unidades semânticas do modelo), em vez de pixels, pode ajudar os MLLMs a entender mudanças de perspectiva de forma mais robusta?

2. Metodologia

Os autores propõem o Token Warping, uma técnica que transforma as representações internas do modelo (tokens) em vez de manipular os pixels brutos da imagem.

Fundamentação Teórica

Baseando-se em teorias de imaginação mental (que sugerem que a transformação de perspectiva humana ocorre em nível de partes estruturais e não como um objeto holístico ou pixel a pixel), os autores argumentam que os tokens de imagens em arquiteturas ViT (Vision Transformers) são a unidade ideal. Eles são "átomos perceptivos" que mantêm detalhes visuais ricos, mas são robustos a ruídos espaciais menores.

O Processo de Token Warping

O método opera em três etapas principais:

1. Tokenização: A imagem de origem é dividida em patches e convertida em tokens pelo encoder visual (ViT).
2. Mapeamento Geométrico: Utilizando um mapa de profundidade (ground-truth ou estimado) e a pose da câmera alvo, calcula-se a transformação geométrica.
3. Estratégias de Guerra (Warping):
   • Guerra Direta (Forward): Projeta os tokens da fonte para a vista alvo. Problema: Gera uma distribuição de tokens irregular e esparsa na vista alvo, o que é "fora da distribuição" para MLLMs treinados em grades densas.
   • Guerra Reversa (Backward): Define uma grade densa e regular na vista alvo e busca os tokens correspondentes na imagem de origem. Vantagem: Mantém a estrutura regular que o MLLM espera.

Técnicas de Busca (Fetching)

Para preencher a grade da vista alvo, são testadas duas estratégias:

• Busca por Vizinho Mais Próximo (Nearest Fetching): Para cada ponto na grade alvo, busca-se o token pré-computado mais próximo na imagem de origem.
• Busca Adaptativa (Adaptive Fetching): Recorta-se um novo patch da imagem de origem centrado exatamente no ponto mapeado e re-encodifica-se para gerar o token.

Os autores também realizaram testes de sensibilidade ao ruído, demonstrando que os MLLMs são inerentemente tolerantes a pequenas perturbações na posição de onde os tokens são buscados, validando a robustez da abordagem.

3. Contribuições Principais

1. Token Warping como Substrato Robusto: Demonstração empírica de que transformar tokens, e não pixels, é superior para simular mudanças de perspectiva em MLLMs, preservando a coerência semântica e evitando distorções geométricas.
2. Superioridade da Guerra Reversa (Backward Warping): Identificação de que a estratégia de "Backward Warping" (definir a grade no alvo e buscar na fonte) é crucial, superando a guerra direta e todas as outras variantes.
3. Novo Benchmark (ViewBench): Criação de um benchmark específico para avaliar o raciocínio espacial de MLLMs sob mudanças de ponto de vista, com tarefas de:
   • Raciocínio Espacial Condicionado à Vista (relações esquerda/direita).
   • Descrição de Objetos na Vista Alvo.
4. Eficiência: O método não requer fine-tuning adicional do MLLM e adiciona apenas uma sobrecarga computacional mínima durante a inferência.

4. Resultados

Os experimentos foram conduzidos no ViewBench, comparando o Token Warping contra:

• Warping de pixels (direto e reverso).
• MLLMs especializados com fine-tuning em dados espaciais (ex: SpatialReasoner, ViLaSR).
• Métodos de síntese de novas vistas generativos (GenWarp).

Principais achados:

• Desempenho Superior: O Backward Token Warping (especialmente com busca por vizinho mais próximo) superou consistentemente todos os baselines, incluindo modelos especializados e métodos generativos.
• Robustez: Enquanto o warping de pixels falha dramaticamente com erros de profundidade (causando distorções visíveis e respostas erradas), o Token Warping mantém a precisão semântica.
• Eficiência de Custo: A estratégia "Nearest Fetching" (mais simples) teve desempenho comparável à "Adaptive Fetching" (mais custosa), sugerindo que a re-encodificação de patches não é estritamente necessária para obter ganhos significativos.
• Generalização: O método funcionou bem mesmo com mapas de profundidade estimados (não ground-truth), mantendo a vantagem sobre o warping de pixels.

5. Significado e Impacto

Este trabalho oferece uma mudança de paradigma na forma como os MLLMs lidam com a percepção 3D e a mudança de perspectiva. Em vez de tentar "ensinar" o modelo a imaginar novas vistas através de treinamento massivo ou de gerar novas imagens pixel a pixel (o que é propenso a alucinações), o Token Warping explora a estrutura interna já existente do modelo.

A descoberta de que os tokens são robustos a ruídos posicionais sugere que os MLLMs já possuem uma representação interna que se assemelha a descrições estruturais de partes, alinhando-se com teorias cognitivas humanas. Isso permite que modelos existentes "olhem" de novos ângulos de forma eficiente e confiável, abrindo caminho para agentes autônomos e robótica que precisam raciocinar espacialmente sem a necessidade de re-treinamento complexo ou síntese de dados pesada.