CVT-Bench: Counterfactual Viewpoint Transformations Reveal Unstable Spatial Representations in Multimodal LLMs

Resumo Técnico: CVT-Bench

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) atuais demonstram alto desempenho em tarefas de raciocínio espacial baseadas em uma única visão (episódica), conseguindo identificar objetos e descrever suas relações espaciais (ex: "à esquerda", "atrás") a partir de uma imagem fixa. No entanto, existe uma lacuna crítica no conhecimento sobre a estabilidade dessas representações espaciais quando submetidas a transformações de ponto de vista contrafactuais.

O problema central é que, em cenários do mundo real (como robótica ou carros autônomos), um agente deve manter uma representação interna consistente do espaço e inferir como as relações entre objetos mudam sob hipóteses de movimento do observador (ex: "Se eu girar 180 graus, onde estará o objeto X em relação ao Y?"). O artigo questiona se os MLLMs possuem uma representação espacial robusta e independente da visão, ou se dependem excessivamente de pistas visuais específicas de cada imagem, falhando ao tentar realizar "tomada de perspectiva visual" (visual perspective taking) sem novas observações visuais.

2. Metodologia: CVT-Bench

Os autores introduzem o CVT-Bench, um benchmark diagnóstico controlado projetado para avaliar o raciocínio espacial sob transformações de ponto de vista contrafactuais e interações sequenciais.

• Geração de Cenários: O benchmark utiliza 100 cenas sintéticas geradas proceduralmente baseadas no ambiente CLEVR, contendo objetos geométricos (cilindros, esferas, cubos) com cores e materiais variados. As cenas variam em densidade (esparso: 3-5 objetos; denso: 7-10 objetos) e níveis de oclusão (5% a 70%).
• Protocolo de Avaliação:
  • Ponto de Vista Observado ($0^\circ$): O modelo vê a imagem original e responde a perguntas sobre relações espaciais.
  • Ponto de Vista Contrafactual: O modelo é solicitado a inferir as relações espaciais sob rotações hipotéticas da câmera (de $45^\circ$ a $360^\circ$) e uma visão de cima (top-down), sem receber nenhuma nova imagem. O modelo deve transformar a representação interna da cena.
  • Avaliação Sequencial: Além de cenários isolados, o benchmark testa a estabilidade do estado espacial concatenando múltiplas cenas e consultas em um único contexto longo (prompt), exigindo que o modelo mantenha a coerência espacial ao longo do tempo sem resetar seu estado interno.
• Representações de Entrada: Para isolar a origem das falhas (percepção vs. raciocínio), o benchmark avalia três modalidades de entrada:
  1. Visual: Imagem renderizada com tags nos objetos.
  2. Textual: Descrição estruturada em linguagem natural com coordenadas de caixas delimitadoras (bounding boxes).
  3. Grafo de Cena (Scene Graph): Representação explícita onde nós são objetos e arestas são relações espaciais derivadas das coordenadas reais.
• Métricas:
  • F1 Global: Precisão e recall para relações espaciais multi-rótulo.
  • Taxa de Sobrevivência Espacial (Spatial Survival Rate): Mede por quanto tempo o modelo mantém respostas corretas consecutivas à medida que a profundidade da interação aumenta.
  • Consistência de Ciclo ($0^\circ$ vs $360^\circ$): Verifica se o modelo retorna à mesma resposta após uma rotação completa de 360 graus (onde o estado físico é idêntico).

3. Principais Contribuições

1. Benchmark CVT-Bench: A primeira avaliação sistemática de raciocínio espacial contrafactual e tomada de perspectiva em MLLMs, focando na estabilidade da representação interna em vez de apenas na precisão episódica.
2. Protocolo Unificado Episódico vs. Sequencial: Distingue entre a capacidade de raciocinar em uma única cena e a capacidade de manter o estado espacial em contextos longos e interativos.
3. Análise Controlada de Representação: Demonstra como a estrutura da entrada (imagem vs. texto vs. grafo) afeta a robustez do raciocínio espacial, isolando falhas de percepção de falhas de raciocínio geométrico.
4. Métrica de Sobrevivência Espacial: Introdução de uma nova métrica para quantificar a degradação da precisão espacial à medida que a complexidade do contexto e a profundidade da interação aumentam.

4. Resultados Chave

Os experimentos foram realizados em modelos de ponta (GPT-5.2, Gemini 3.1 Pro, Qwen 3.5, Kimi 2.5) e revelaram:

• Alta Precisão Episódica, Baixa Estabilidade Contrafactual: Embora os modelos tenham alto desempenho (F1 > 90%) na visão original ($0^\circ$), há uma degradação sistemática e significativa sob rotações de ponto de vista. A precisão cai drasticamente em ângulos ortogonais ($90^\circ$ e $270^\circ$), sugerindo estratégias heurísticas ou frágeis em vez de uma rotação interna estável do estado espacial.
• Colapso em Contextos Longos: Na avaliação sequencial (múltiplas cenas em um único prompt), o desempenho degrada-se ainda mais. A "taxa de sobrevivência" espacial cai rapidamente, indicando que os modelos não conseguem manter uma representação espacial coerente ao longo de interações estendidas.
• Efeito da Representação:
  • Entradas Textuais e de Grafo: Geralmente apresentam maior estabilidade do que as entradas visuais puras, sugerindo que parte da instabilidade vem da ancoragem multimodal (percepção visual) e não apenas do raciocínio geométrico.
  • Grafos de Cena: Melhoram a consistência em alguns modelos, mas a melhoria é dependente da arquitetura, indicando que a estrutura da entrada interage criticamente com os mecanismos de memória do modelo.
• Padrões de Falha:
  • Inversão de Ângulos Ortogonais: Erros sistemáticos onde "esquerda" e "direita" são trocados em rotações de 90 graus.
  • Degradação Posicional: Em prompts longos, cenas posteriores são respondidas com menos precisão do que as iniciais, mesmo com estrutura idêntica.
  • Inconsistência de Ciclo: A concordância entre as respostas em $0^\circ$ e $360^\circ$ diminui à medida que a profundidade do prompt aumenta, revelando perda de autoconsistência.
• Paradoxos de Complexidade: Em certas condições de rotação, cenas densas ou oclusas podem, paradoxalmente, ter desempenho melhor do que cenas simples em modo de imagem, sugerindo que o estresse do ponto de vista sobrepõe a sensibilidade à visibilidade inicial.

5. Significado e Conclusão

O estudo conclui que a alta precisão em tarefas espaciais de visão única superestima a robustez das representações espaciais induzidas pelos MLLMs. Os modelos atuais parecem depender fortemente de pistas dependentes da visão (view-dependent) em vez de construir representações relacionais estáveis e transformáveis.

• Implicações: Para aplicações críticas como robótica e direção autônoma, onde o agente deve inferir o estado do mundo sob diferentes perspectivas e ao longo do tempo, os MLLMs atuais apresentam riscos significativos de instabilidade.
• Futuro: O trabalho sugere que melhorar o raciocínio espacial em sistemas multimodais exigirá mecanismos explícitos para a representação e manutenção de estados relacionais, indo além do treinamento puramente baseado em percepção visual. O CVT-Bench serve como uma ferramenta essencial para diagnosticar e guiar o desenvolvimento de modelos com verdadeira capacidade de "tomada de perspectiva".