Limits of Imagery Reasoning in Frontier LLM Models

1. Problema e Motivação

O artigo investiga a incapacidade persistente dos Modelos de Linguagem de Grande Escala (LLMs) e Multimodais (MLLMs) de realizar tarefas de raciocínio espacial, especificamente a rotação mental de objetos 3D.

• O Gap: Embora humanos resolvam problemas de rotação mental (como os testes de Shepard e Metzler) com facilidade, os modelos de ponta atuais apresentam desempenho muito abaixo do nível humano (gap de mais de 45%).
• Hipótese: Os autores propõem que os LLMs sofrem de uma "afantasia funcional". Eles não possuem mecanismos internos para simulação de estado visual (imaginação mental).
• A Questão Central: Se equiparmos um LLM com um módulo externo de "imaginação" (uma ferramenta que renderiza e rotaciona objetos 3D), será que o modelo conseguirá utilizar essa ferramenta para raciocinar espacialmente? O artigo testa se a falha reside na falta de uma representação 3D persistente ou na incapacidade do LLM de interpretar e interagir com essa representação.

2. Metodologia: Arquitetura de Imagem Prostética

Os autores desenvolveram uma arquitetura de agente duplo para simular a interação entre sistemas verbais e visuais:

• Módulo de Raciocínio (LLM): Um modelo multimodal de ponta (principalmente GPT-5.2) atua como o agente que toma decisões. Ele não manipula geometria 3D diretamente, mas emite comandos de rotação.
• Módulo de Imagem (Ferramenta Externa): Implementado em Python usando PyVista, este módulo mantém o estado 3D persistente do objeto. Ele recebe comandos do LLM (ex: "girar 30 graus à esquerda"), executa a transformação e retorna uma projeção 2D (snapshot) da nova perspectiva.
• Loop Iterativo: O processo é cíclico: o LLM vê a imagem, decide girar, envia o comando, recebe a nova imagem e repete até identificar qual das opções (A, B ou C) não corresponde ao objeto original rotacionado.
• Benchmarks: O experimento foi realizado no conjunto de dados SpatialViz, que contém objetos simples compostos por cubos, onde a tarefa é identificar qual alternativa não pode ser obtida apenas por rotação.

3. Contribuições Principais e Experimentos

O estudo não apenas mediu a precisão, mas isolou as capacidades fundamentais necessárias para o raciocínio espacial:

A. Experimentos de Condição (Ablação)

1. Condição 1 (Reset Habilitado): Permitiu que o modelo resetasse os objetos para uma vista canônica, transformando a tarefa em uma comparação 2D simples.
   • Resultado: Precisão de 85–97,5%. Isso provou que a tarefa de identificar o "ímpar" não é intrinsecamente difícil se as vistas estiverem perfeitamente alinhadas.
2. Condição 2 (Rotação Incremental com Dica de 360°): O modelo recebeu uma sequência completa de 360 graus para encontrar uma correspondência visual direta.
   • Resultado: Precisão de apenas 52,5%. Mesmo com todas as vistas disponíveis, o modelo falhou em focar na correspondência visual, recorrendo a inferências verbais sobre a estrutura do objeto em vez de comparar imagens.
3. Condição 3 (Rotação Incremental Pura - Cenário Principal): O modelo deve guiar a rotação passo a passo para alinhar o objeto.
   • Resultado: Precisão máxima de 62,5%. O modelo usou a ferramenta, mas tratou-a como uma inspeção estática, sem confirmar geometricamente o alinhamento através de rotação contínua.

B. Isolamento de Capacidades Espaciais Fundamentais

Os autores testaram sub-tarefas críticas para entender a origem da falha:

• Identificação de Pequenas Rotações: Ao mostrar duas imagens do mesmo objeto com uma pequena rotação (ex: 15°), os modelos falharam em prever a direção e o ângulo corretos (ex: prever "direita" quando a rotação foi para a "esquerda"). Eles confundiram visibilidade de características estáticas com direção de movimento.
• Comparação com VGGT: Um modelo especializado (VGGT) treinado para extrair extrínsecas de câmera conseguiu prever rotações com alta precisão, sugerindo que a arquitetura Transformer não é o gargalo, mas sim a estratégia de treinamento dos LLMs gerais.
• Previsão de Estado Pós-Rotação: Ao pedir para modelos de geração de imagem (como GPT-5.2 e Gemini) gerar a imagem de um objeto após uma rotação específica, todos falharam completamente, retornando a imagem original inalterada.

4. Resultados Chave

• Teto de Desempenho: Mesmo com uma ferramenta externa perfeita para manter o estado 3D, o desempenho do sistema completo não ultrapassou 62,5%, muito abaixo do desempenho humano (79%) e do desempenho em tarefas 2D puras (97%).
• Falha de Primitivas Visuais: O LLM não consegue:
  1. Extrair sinais espaciais de baixo nível: Profundidade, movimento e previsão dinâmica de curto prazo.
  2. Raciocínio Contemplativo: O modelo não consegue "focar" dinamicamente em partes da imagem ou simular o movimento mentalmente. Ele tende a ignorar evidências visuais em favor de associações simbólicas e verbais (ex: contar cubos em vez de visualizar a rotação).
• Invariância de Prompt: Ajustes extensivos nos prompts (instruções passo a passo, exigência de iterações mínimas) não conseguiram superar o limite de desempenho, indicando uma limitação intrínseca do modelo.

5. Significado e Conclusão

O artigo conclui que a simples adição de ferramentas de renderização 3D não é suficiente para dotar LLMs de raciocínio espacial.

• Definição de "Afantasia Funcional": O termo é usado metaforicamente para descrever a incapacidade do modelo de simular estados visuais dinâmicos, mesmo quando a representação 3D é fornecida externamente.
• Causa Raiz: A falha não é a falta de um "quadro negro" 3D, mas a falta de primitivas perceptuais visuais no LLM. O modelo não sabe "ler" a mudança entre duas imagens como um movimento contínuo nem consegue prever o estado futuro de um objeto após uma transformação geométrica.
• Implicações Futuras: O trabalho sugere que futuras pesquisas não devem apenas acoplar LLMs a motores de renderização, mas sim desenvolver arquiteturas fundamentais que suportem nativamente:
  1. Consciência espacial e rastreamento de estado contínuo.
  2. Atenção visual contemplativa (capacidade de inspecionar e simular mentalmente).
  3. Treinamento supervisionado específico para extrínsecas de câmera e dinâmica visual, indo além do raciocínio puramente simbólico e associativo.

Em suma, o estudo demonstra que os modelos de fronteira atuais carecem dos blocos de construção básicos para a imaginação visual, limitando severamente sua capacidade de raciocínio em tarefas que exigem simulação mental de objetos no espaço.