Using Perspectival Words Is Harder Than Vocabulary Words for Humans and Even More So for Multimodal Language Models

Resumo Técnico: Uso de Palavras Perspectivais em Modelos de Linguagem Multimodal

1. Problema e Motivação

O objetivo central da área de Processamento de Linguagem Natural (PLN) tem sido desenvolver sistemas que comuniquem sobre o mundo de forma semelhante aos humanos. Embora os Modelos de Linguagem Multimodal (MLMs) tenham avançado significativamente na compreensão de vocabulário (nomes de objetos, cores, ações), sua capacidade de utilizar palavras perspectivais (ou indexicais) permanece pouco compreendida.

Diferentemente do vocabulário, cujos significados são estáveis e independentes do contexto, as palavras perspectivais (como "eu", "você", "meu", "seu", "este", "aquele") são gramaticais e dependem inteiramente do contexto de uso, exigindo:

• Ancoragem pragmática: A capacidade de vincular a linguagem ao contexto físico e social.
• Tomada de perspectiva (Teoria da Mente): A habilidade de entender a mente do interlocutor e adotar seu ponto de vista.
• Raciocínio espacial: Determinar a proximidade relativa dos objetos em relação ao falante.

A lacuna na literatura é que as avaliações atuais focam excessivamente no vocabulário, ignorando essas classes de palavras essenciais para a comunicação humana genuína. O estudo investiga se os MLMs possuem as capacidades pragmáticas e socio-cognitivas necessárias para usar essas palavras corretamente.

2. Metodologia

Os autores propuseram um quadro experimental unificado para comparar humanos e MLMs em três tarefas de referência, hipotetizando uma hierarquia crescente de dificuldade cognitiva:

1. Tarefa de Vocabulário: Selecionar o rótulo correto para um objeto (ex: "barco"). Hipótese: Mais fácil, não requer ancoragem pragmática.
2. Tarefa de Possessivos: Selecionar entre "meu/seu" ou "eu/você" com base na preferência de um personagem. Hipótese: Requer ancoragem no falante e tomada de perspectiva.
3. Tarefa de Demonstrativos: Selecionar entre "este/aquele" com base na proximidade do objeto ao falante. Hipótese: Mais difícil, exigindo tomada de perspectiva + raciocínio espacial fino.

Configuração Experimental:

• Participantes Humanos: 360 adultos nativos de inglês realizaram tarefas de múltipla escolha em cenários visuais controlados (dois personagens em lados opostos de uma mesa com objetos).
• Modelos (MLMs): Sete modelos de última geração foram testados (GPT-4o, Llama-4-Scout, Gemma-3, InternVL 2.5, Ovis 2).
• Design Adaptado: Para evitar confusões de modalidade, os humanos viram as cenas visualmente (com balões de fala e linhas de olhar), enquanto os modelos receberam descrições textuais detalhadas da cena + a imagem (com um quadrado verde indicando o alvo), garantindo que a dificuldade residisse no uso da palavra, não na identificação do objeto.
• Análises Adicionais:
  • Ablação: Remoção sistemática de pistas espaciais (visuais e linguísticas) e pistas perspectivais (identidade do falante) para identificar a origem dos erros.
  • Prompting: Teste de In-context learning (exemplos) e Instruction-based prompting (instruções explícitas de raciocínio passo a passo).

3. Principais Contribuições

• Novo Benchmark de Pragmática: Introdução de um framework controlado para avaliar o uso de palavras perspectivais (possessivos e demonstrativos) em interação simulada face-a-face.
• Hierarquia de Dificuldade: Estabelecimento de que a dificuldade segue a ordem: Vocabulário < Possessivos < Demonstrativos, tanto para humanos quanto para modelos.
• Diagnóstico de Deficiências: Identificação de que as falhas dos modelos não são apenas de "vocabulário", mas de raciocínio espacial e integração de pistas multimodais.
• Análise de Prompting: Demonstração de que instruções explícitas podem melhorar a performance em possessivos, mas falham em resolver as deficiências em demonstrativos.

4. Resultados Chave

A. Desempenho Comparativo (Humanos vs. MLMs):

• Vocabulário: Ambos os grupos atingiram desempenho próximo ao teto (humanos ~99.8%, modelos avançados ~99%).
• Possessivos: Os humanos mantiveram alta precisão (93%), enquanto os melhores modelos (Llama-4-Scout) caíram para 85.7%. A diferença é estatisticamente significativa.
• Demonstrativos: A lacuna aumentou drasticamente. Humanos: 83%; Melhor modelo (GPT-4o): 70.2%. Modelos menores tiveram desempenho próximo ao acaso.
• Conclusão: Embora os modelos se equiparem aos humanos em vocabulário, eles exibem déficits claros em palavras que exigem raciocínio pragmático e espacial.

B. Análise de Ablação (Origem dos Erros):

• Remoção de Pistas Perspectivais: Modelos avançados (GPT-4o, Llama-4-Scout) sofreram quedas significativas de precisão quando a identidade do falante foi removida, indicando sensibilidade à perspectiva. Modelos menores não mostraram essa sensibilidade, sugerindo que não integram essas pistas.
• Remoção de Pistas Espaciais:
  • A remoção de pistas linguísticas (ex: palavras "perto/longe") prejudicou todos os modelos, especialmente em possessivos.
  • A remoção de pistas visuais (substituir objetos por quadrados verdes) teve pouco impacto negativo, sugerindo que os modelos dependem mais do texto do que da visão pura para inferir relações espaciais.
  • Viés Crítico: Os modelos dependem fortemente de scaffolding linguístico para o raciocínio espacial, ao contrário dos humanos, que integram visão e linguagem em paralelo.

C. Impacto do Prompting:

• Possessivos: O Instruction-based prompting (instruções explícitas sobre quem fala, quem deseja e quem é o dono) elevou a precisão dos modelos para níveis próximos aos humanos.
• Demonstrativos: Mesmo com instruções detalhadas sobre distância, os modelos continuaram com desempenho muito abaixo dos humanos. O ganho observado foi principalmente na correção de pronomes pessoais (tomada de perspectiva), mas não na distinção espacial ("este" vs. "aquele").

5. Significado e Implicações

O estudo revela que, ao contrário do vocabulário, as palavras perspectivais representam um desafio cognitivo fundamental que é amplificado nos modelos de IA atuais.

1. Limitações Socio-cognitivas: Os MLMs atuais possuem capacidades limitadas de "Teoria da Mente" e raciocínio espacial em contextos interativos. Eles não possuem a experiência corporal (embodiment) necessária para internalizar conceitos de "perto" e "longe" da mesma forma que os humanos.
2. Falha na Generalização Pragmática: A capacidade de usar instruções explícitas para melhorar a performance em possessivos sugere que a "tomada de perspectiva" pode ser simulada via prompt, mas o raciocínio espacial fino necessário para demonstrativos permanece uma barreira persistente.
3. Futuro da Pesquisa: Para atingir uma comunicação verdadeiramente humana, os futuros MLMs precisarão de dados de interação espacial mais ricos ou módulos explícitos de raciocínio espacial, indo além da simples associação estatística de texto e imagem.

Em suma, o artigo demonstra que a verdadeira inteligência comunicativa exige mais do que o reconhecimento de objetos; exige a capacidade de situar a linguagem no espaço e na mente do outro, uma habilidade onde os modelos multimodais atuais ainda falham significativamente.