Visuospatial Perspective Taking in Multimodal Language Models

Resumo Técnico: Tomada de Perspectiva Visuoespacial em Modelos de Linguagem Multimodais

1. O Problema

À medida que os Modelos de Linguagem Multimodais (MLMs) são integrados em contextos sociais e colaborativos (como assistentes, colegas de trabalho ou terapeutas), torna-se crucial avaliar suas capacidades de Cognição Social, especificamente a Teoria da Mente (ToM).

• Limitação dos Benchmarks Atuais: A maioria das avaliações de ToM baseia-se em textos (vignettes) ou compreensão estática de cenas. Esses métodos frequentemente falham em capturar a complexidade da ToM no mundo real, pois os modelos podem explorar associações superficiais em seus dados de treinamento em vez de raciocinar sobre estados mentais.
• A Lacuna: A Tomada de Perspectiva Visuoespacial (VPT) — a capacidade de inibir a própria perspectiva para representar o que e como outra pessoa vê — é uma habilidade fundamental na psicologia do desenvolvimento, mas permanece subexplorada em sistemas de IA. O problema central é determinar se os MLMs conseguem realizar transformações egocêntricas para alocêntricas (mentalmente rotacionar o mundo para o ponto de vista de outro agente) e inibir sua própria visão privilegiada.

2. Metodologia

Os autores adaptaram duas tarefas clássicas da psicologia humana para avaliar MLMs de ponta (OpenAI: o3, o4-mini, GPT-4o, GPT-4o-mini), utilizando uma abordagem procedural com geração de estímulos estocástica para evitar contaminação de benchmarks.

Tarefa 1: Rotating Figure Task (Tarefa da Figura Rotativa)

• Objetivo: Isolar a VPT através de disparidades angulares.
• Estímulo: Uma imagem de cima para baixo de uma pessoa em uma sala com um símbolo reversível (ex: 6/9) no chão.
• Condições:
  • Controles: Identificação do símbolo e direção de visão (sem necessidade de perspectiva).
  • Teste 1 (Nível 1 VPT): Determinar se a figura vê o símbolo (visibilidade).
  • Teste 2 (Nível 2 VPT): Determinar como o símbolo aparece para a figura (ex: 6 vs 9) e sua localização espacial (esquerda/direita) a partir da perspectiva dela.
  • Teste 3 (Integrado): Raciocínio combinado visual e espacial (identificar qual símbolo está à esquerda/direita da figura).
• Variação: A orientação da figura variou de 0° a 359°, criando uma gama contínua de perspectivas compartilhadas (0°) e opostas (180°).

Tarefa 2: Director Task (Tarefa do Diretor)

• Objetivo: Avaliar a VPT em um contexto comunicativo funcional.
• Estímulo: Uma grade 4x4 com objetos. Um "diretor" está do lado oposto, com algumas células bloqueadas (ocultas) da visão dele.
• Desafio: O modelo deve selecionar um objeto baseado nas instruções do diretor (ex: "selecione o objeto mais à esquerda da minha perspectiva").
• Condições Críticas:
  • Visual: Lidar com objetos ocultos (o diretor não vê o que está bloqueado).
  • Espacial: Lidar com adjetivos relativos horizontais ("esquerda/direita") que exigem inverter a perspectiva, versus verticais ("topo/fundo") que são compartilhados.
• Comparação: As tarefas foram realizadas tanto em formato de imagem quanto em formato de texto (ASCII) para isolar déficits de processamento visual de déficits de raciocínio espacial.

3. Principais Contribuições

1. Novo Paradigma de Avaliação: Introdução de tarefas procedurais e dinâmicas (não estáticas) para testar VPT em MLMs, superando as limitações de testes baseados apenas em texto.
2. Distinção entre Níveis de VPT: Avaliação sistemática da diferença entre Nível 1 (o que a pessoa vê?) e Nível 2 (como a pessoa vê?), revelando que os modelos falham desproporcionalmente no Nível 2.
3. Análise de Modelos de Raciocínio: Comparação direta entre modelos padrão e modelos otimizados para raciocínio (o3, o4-mini), investigando se o "Chain-of-Thought" (raciocínio encadeado) resolve problemas de perspectiva ou apenas aplica heurísticas.
4. Mapeamento de Falhas: Identificação de padrões de erro específicos, como "pontos cegos" espaciais e falhas em rotações intermediárias.

4. Resultados Chave

• Deficiência no Nível 2 VPT: Todos os modelos apresentaram déficits significativos ao inibir sua própria perspectiva para adotar a de outro.

  • Padrão "M" em Modelos de Raciocínio: Os modelos o3 e o4-mini exibiram um perfil de desempenho em forma de "M" na Tarefa da Figura Rotativa. Eles tiveram alta precisão em 0° (perspectiva compartilhada) e 180° (perspectiva totalmente oposta), mas o desempenho caiu drasticamente em rotações intermediárias (45°–135°). Isso sugere que eles usam heurísticas simples de espelhamento (ex: "se estiver de costas, inverta esquerda/direita") em vez de uma rotação mental genuína.
  • Declínio Monotônico: Os modelos GPT-4o e GPT-4o-mini mostraram um declínio monotônico na precisão à medida que a disparidade angular aumentava, falhando consistentemente em tarefas de Nível 2.

• Falhas na Tarefa do Diretor:

  • A precisão caiu drasticamente quando o modelo precisava inibir sua visão privilegiada (objetos ocultos) e inverter a perspectiva espacial (esquerda/direita do diretor).
  • Interação Visual-Espacial: Quando as demandas visuais (ocultação) e espaciais (inversão de eixo) foram combinadas, todos os modelos caíram para o nível de chance ou abaixo, indicando incapacidade de integrar múltiplas restrições de perspectiva.
  • Diferença de Modalidade: O desempenho foi pior em imagens do que em texto (ASCII), mas os padrões de erro de VPT foram consistentes entre ambas, indicando que a falha é cognitiva (raciocínio espacial), não apenas de percepção visual.

• Robustez Relativa do o3: O modelo o3 demonstrou maior robustez em tarefas de Nível 1 e em perspectivas totalmente opostas (180°), mas ainda falhou em rotações intermediárias e na integração complexa da Tarefa do Diretor.

5. Significado e Implicações

• Limitações Fundamentais: Os resultados indicam que os MLMs atuais não possuem uma representação interna flexível de "outras perspectivas". Eles dependem de atalhos heurísticos que funcionam em casos extremos (0° ou 180°) mas falham em cenários do mundo real, que frequentemente envolvem ângulos intermediários.
• Riscos para Colaboração: Para aplicações em ambientes colaborativos, onde a IA deve seguir instruções baseadas no que um humano vê ou onde um humano está posicionado, essas falhas podem levar a erros críticos, instruções ambíguas ou comportamentos inseguros.
• Direção Futura: A pesquisa sugere que a avaliação de ToM em IA deve ir além de testes de texto e incluir paradigmas visuoespaciais dinâmicos. Além disso, a arquitetura atual dos modelos carece dos mecanismos neurais (análogos ao córtex parietal-temporal direito em humanos) necessários para a inibição egocêntrica e rotação mental genuína.

Em suma, o estudo demonstra que, embora os MLMs sejam poderosos em processamento de linguagem e reconhecimento de padrões, sua capacidade de raciocínio social e espacial — essencial para a interação humana segura e eficaz — permanece severamente limitada e não generaliza para cenários complexos de perspectiva.