Language Models Can Resolve Reference Compositionally, But It's Not Their Native Strength: The Case of the Personal Relation Task

Resumo Técnico: Modelos de Linguagem Podem Resolver Referências Composicionalmente, mas Isso Não é sua Força Nativa

Declaração do Problema
O artigo aborda uma questão crítica na avaliação de Grandes Modelos de Linguagem (LLMs): esses modelos adquirem genuinamente habilidades composicionais para interpretar a linguagem natural ou seus resultados derivam principalmente de um pareamento de padrões sofisticado? Embora os benchmarks existentes frequentemente foquem ou em traduzir a linguagem natural para representações formais (tarefas Intencionais) ou em mapear descrições para referentes concretos (tarefas Extensionais), poucos estudos contrastam explicitamente esses dois aspectos do significado dentro de um framework unificado. Os autores argumentam que a falta de ancoragem referencial no treinamento de LLMs pode ser um componente crucial ausente para mimetizar o entendimento da linguagem semelhante ao humano, necessitando de um método para distinguir entre a habilidade de um modelo de computar um "sentido" (a fórmula estrutural) versus sua habilidade de resolver uma "referência" (a entidade específica).

Metodologia
Os autores adaptaram a Tarefa de Relação Pessoal (PRT) (Paperno, 2022) para avaliar tanto LLMs quanto participantes humanos. A tarefa envolve um "universo" controlado de seis pessoas conectadas por quatro tipos de relações: amigo, inimigo, pai/mãe e filho/filha. Os participantes são apresentados a frases substantivas complexas (ex: "O amigo do pai da Amber") e solicitados a realizar uma de duas tarefas:

1. Tarefa Extensional: Identificar a pessoa específica (referente) que a frase denota dentro do universo fornecido.
2. Tarefa Intensional: Gerar uma fórmula funcional aninhada que represente o sentido da frase (ex: amigo(pai(amber))).

O design experimental manipulou quatro variáveis principais:

• Abordagem: Extensional vs. Intensional.
• Representação: Inglês (usando nomes/relações padrão) vs. Abstrato (mapeando nomes e relações para variáveis arbitrárias, ex: Amber $\to$ h, amigo $\to$ x). A condição Abstrata serve como um controle para contaminação de dados de pré-treinamento e aumenta a dificuldade da tarefa Intensional ao impedir a manipulação superficial de strings.
• Ramificação (Branching): Ramificação à esquerda (genitivo 's, ex: "Amber's parent's friend") vs. Ramificação à direita (frases preposicionais, ex: "the friend of the parent of Amber").
• Complexidade: O número de relações envolvidas mais um (testado nos níveis 3, 4, 5 e 6 para LLMs; limitado ao nível 3 para humanos devido a restrições orçamentárias).

O estudo avaliou cinco LLMs, incluindo modelos padrão ajustados para instrução e Modelos de Raciocínio Complexo (LRMs), utilizando uma estrutura de prompt padronizada de quatro partes (introdução, conjunto de dados, exemplo resolvido, pergunta de teste). Dados humanos foram coletados de 32 participantes via Prolific. O desempenho foi analisado usando Modelos Lineares Generalizados Mistos (GLMMs) para avaliar os efeitos do grupo de participantes, abordagem da tarefa, representação e complexidade.

Principais Contribuições

• Framework Metodológico: O artigo introduz uma metodologia unificada para avaliar a interpretação composicional intensional versus extensional, permitindo a comparação direta entre essas duas capacidades semânticas distintas.
• Dados Comparativos: Fornece dados de desempenho humano nas mesmas tarefas sob condições maximamente comparáveis aos LLMs, preenchendo uma lacuna onde as habilidades composicionais são frequentemente avaliadas sem bases humanas explícitas.
• Avaliação Empírica: O estudo oferece uma avaliação estatística de diversos LLMs, destacando divergências de força entre modelos e participantes humanos, e investiga especificamente o impacto de arquiteturas aprimoradas pelo raciocínio.

Resultos
O estudo revela uma divergência fundamental nos perfis de desempenho entre humanos e LLMs:

• Forças Opostas: Humanos performaram significativamente melhor em tarefas Extensionais (82,8% de precisão) do que em tarefas Intencionais (71,1%). Inversamente, LLMs performaram melhor em tarefas Intencionais (95,0%) do que em tarefas Extensionais (79,8%).
• Efeitos de Representação: Ambos os grupos acharam as representações em Inglês mais fáceis que as Abstratas. No entanto, a lacuna de dificuldade foi mais pronunciada para LLMs na condição Extensional Abstrata (66,1% de precisão), que exige navegar pelo universo e mapear símbolos arbitrários, enquanto a tarefa Intensional em Inglês (95% de precisão) foi a mais fácil para os LLMs, assemelhando-se a uma tarefa de tradução ou rearranjo sintático.
• Complexidade e Raciocínio: O desempenho dos LLMs degradou conforme a complexidade aumentou. Contudo, modelos aprimorados pelo raciocínio (LRMs) mantiveram uma lacuna de desempenho mais estável entre tarefas Extensionais e Intencionais através dos níveis de complexidade em comparação com modelos padrão, sugerindo que as capacidades de raciocínio podem mitigar, embora não eliminem, a fraqueza na resolução referencial.
• Ramificação: Ao contrário de estudos anteriores com redes neurais recorrentes, os modernos LLMs baseados em Transformers não mostraram um viés sistemático significativo entre estruturas de ramificação à esquerda e à direita.

Significância e Alegações
Os autores alegam que seus resultados apoiam a noção de que a falta de ancoragem referencial no treinamento de LLMs é um déficit crítico para alcançar o entendimento da linguagem semelhante ao humano. Os achados sugerem que os LLMs se destacam na "tradução" de linguagem natural para estruturas formais (tarefas Intencionais) porque seu objetivo de treinamento foca na predição de formas superficiais e padrões sintáticos. Em contraste, humanos, cujo uso da linguagem é ancorado na interação com o mundo real, destacam-se em identificar referentes concretos (tarefas Extensionais), mas têm dificuldade quando forçados a articular explicitamente as fórmulas estruturais subjacentes.

O artigo postula que, embora os LLMs possam alcançar alta precisão em tarefas composicionais, eles o fazem através de um processo subjacente diferente do humano — alavancando capacidades de tradução em vez de uma verdadeira ancoragem referencial. Os autores concluem que a referência arbitrária permanece um desafio perceptível mesmo para modelos de fronteira, reforçando os argumentos de que a ancoragem referencial é um componente importante e ausente a ser integrado nos sistemas de IA. O estudo é modesto em suas alegações, observando que o setup experimental é algo artificial e que trabalhos futuros são necessários para comparar modelos básicos ajustados para instrução com modelos aprimorados pelo raciocínio de forma mais ampla.