Beyond Recognition: Evaluating Visual Perspective Taking in Vision Language Models

1. O Problema

O artigo investiga a capacidade dos Modelos de Linguagem e Visão (VLMs) de realizar Tomada de Perspectiva Visual (VPT - Visual Perspective Taking). Embora os VLMs modernos demonstrem excelência no reconhecimento de cenas e compreensão linguística, há uma lacuna crítica na sua habilidade de raciocinar sobre o que outros agentes (neste caso, minifiguras humanoides) podem ou não ver, e como os objetos aparecem a partir da perspectiva desses agentes.

Essa habilidade é fundamental para aplicações de sistemas corporificados seguros e colaborativos, como veículos autônomos (que devem antecipar o que um motorista próximo vê) e robôs industriais (que devem avaliar se um colega humano consegue localizar um objeto antes de passá-lo). O problema central é determinar se os VLMs possuem uma compreensão espacial profunda e geométrica ou se dependem apenas de associações linguísticas superficiais.

2. Metodologia

Os autores desenvolveram uma abordagem experimental rigorosa baseada em princípios da ciência cognitiva e psicologia:

• Dataset Isle-Brick-V2: Foi criado um conjunto de dados controlado com 144 tarefas visuais únicas. As cenas consistem em uma única minifigura humana e um único objeto (ex: planta, cadeira, animal) em uma superfície.
  • Controle Experimental: As cenas foram geradas com elementos LEGO para garantir controle preciso sobre iluminação, oclusão e geometria, evitando ruídos de dados do mundo real.
  • Variações: As tarefas variam sistematicamente em quatro posições espaciais do objeto, duas orientações da minifigura e dois ângulos de câmera (vista de cima e nível da superfície).
• Perguntas Diagnósticas: Cada imagem foi acompanhada por 7 perguntas projetadas para avaliar três níveis de cognição visual:
  1. Compreensão da Cena (Q1-Q3): Reconhecimento de objetos, contagem e verificação de superfícies compartilhadas.
  2. Raciocínio Espacial (Q4-Q5): Localização do objeto em relação à minifigura (referência extrínseca) e determinação da direção para a qual a minifigura está olhando (referência intrínseca/rotação mental).
  3. Tomada de Perspectiva Visual (Q6-Q7):
     • Nível 1: A minifigura consegue ver o objeto?
     • Nível 2: Onde o objeto está localizado a partir da perspectiva da minifigura (frente, trás, esquerda, direita)?
• Formato de Avaliação: As perguntas foram feitas em formato aberto (open-ended) para evitar viés de escolha múltipla e adivinhação. A precisão foi calculada comparando componentes da resposta do modelo com respostas padrão-ouro.
• Modelos Avaliados: Nove VLMs de alto desempenho foram testados, incluindo modelos de código aberto (Llama-3.2, Qwen3 em várias versões) e fechados (GPT-4, GPT-4o, Claude 3/3.5, Gemini Robotics).

3. Principais Contribuições

1. Benchmarks Psicológicos Grounded: Introdução do Isle-Brick-V2, um benchmark diagnosticamente fundamentado que separa claramente o reconhecimento de cena, o raciocínio espacial e a tomada de perspectiva usando o mesmo conjunto de estímulos.
2. Avaliação Sistemática e Viés Direcional: Avaliação de nove modelos recentes, revelando falhas consistentes em VPT e a existência de um viés direcional persistente (os modelos tendem a favorecer direções cardinais específicas, como "Leste", independentemente da orientação real da minifigura).
3. Dissociação entre Detecção de Orientação e Perspectiva: Evidência empírica de que a detecção correta da orientação de um objeto não garante a capacidade de tomar a perspectiva correta. Mesmo quando a orientação é fornecida explicitamente ao modelo, o desempenho na tomada de perspectiva não melhora significativamente.

4. Resultados Chave

• Compreensão de Cena: Os modelos tiveram desempenho excelente (muitos atingiram ~100% de precisão) em tarefas básicas de reconhecimento e contagem de objetos.
• Raciocínio Espacial: O desempenho caiu drasticamente em tarefas que exigem referências intrínsecas (Q5: "Para onde a minifigura está olhando?"). Modelos como GPT-4-Turbo e Claude 3 Sonnet mostraram fortes vieses direcionais, ignorando a orientação visual real e adivinhando direções preferenciais (ex: GPT-4-Turbo favorecendo "Leste").
• Tomada de Perspectiva (VPT): O desempenho deteriorou-se ainda mais nas tarefas de VPT (Q6 e Q7).
  • Modelos de código aberto (Qwen3) tiveram desempenho apenas ligeiramente acima do acaso.
  • Modelos fechados (GPT-4o) performaram melhor, mas ainda falharam consistentemente em tarefas de Nível 2 (localização egocêntrica).
  • Erros comuns incluíam rejeição da premissa (ex: "brinquedo não tem visão") e confusão entre esquerda/direita e frente/trás.
• Análise de Intervenções: O estudo testou várias intervenções para mitigar o viés (remover objetos de fundo, dar zoom na minifigura, adicionar marcadores N/S/E/O na imagem, usar fotos de pessoas reais). Nenhuma intervenção funcionou significativamente, sugerindo que o viés não é um problema de percepção visual de detalhes, mas sim um viés linguístico ou de prioridade interna embutido no modelo.

5. Significado e Conclusões

O artigo conclui que existe uma lacuna fundamental entre a capacidade de reconhecimento de objetos dos VLMs e a sua habilidade de raciocínio geométrico e espacial profundo.

• Falha no Raciocínio Geométrico: Os modelos parecem depender de "priors" linguísticos (associações estatísticas em texto) em vez de construir representações geométricas explícitas do espaço 3D e das relações de perspectiva.
• Implicações para Aplicações Reais: A incapacidade de realizar uma tomada de perspectiva confiável representa um risco significativo para aplicações críticas como direção autônoma e robótica colaborativa, onde entender o ponto de vista de outros agentes é essencial para a segurança.
• Direções Futuras: O trabalho sugere que o desenvolvimento futuro de VLMs deve integrar representações geométricas explícitas e protocolos de treinamento especializados (como rotação mental) para preencher essa lacuna, movendo-se além do reconhecimento superficial para uma verdadeira compreensão espacial.