Evaluating Pragmatic Reasoning in Large Language Models: Evidence from Scalar Diversity

Resumo Técnico: Avaliando o Raciocínio Pragmático em Modelos de Linguagem de Grande Escala: Evidências da Diversidade Escalar

Declaração do Problema
A avaliação do raciocínio pragmático em Modelos de Linguagem de Grande Escala (LLMs) permanece um desafio significativo devido à variabilidade do comportamento do modelo entre diferentes métodos de avaliação. Pesquisas anteriores sugerem uma divergência entre julgamentos baseados em prompts e as distribuições de probabilidade internas de um modelo, levantando a questão de se a competência pragmática observada reflete conhecimento linguístico subjacente ou é meramente um artefato de comportamento induzido pela tarefa. Embora a implicatura escalar (a inferência de que um termo mais fraco, por exemplo, "alguns", implica a negação de uma alternativa mais forte, por exemplo, "não todos") seja um diagnóstico padrão para a capacidade pragmática, estudos anteriores frequentemente dependem de pares escalares únicos ou paradigmas de avaliação únicos. Este estudo aborda a necessidade de comparar sistematicamente métodos de avaliação para determinar se os LLMs possuem competência pragmática estável ou se seu desempenho é contingente a estruturas específicas de prompt e tarefa.

Metodologia
O estudo adota o quadro competência–desempenho (Chomsky, 1965), distinguindo entre conhecimento internalizado (competência) e uso da língua sob condições específicas (desempenho). Utiliza a diversidade escalar—o fenômeno onde a força das implicaturas escalares varia entre diferentes escalas lexicais (por exemplo, <alguns, todos> vs. <morno, quente>)—como uma ferramenta de diagnóstico graduada.

• Modelos: O estudo avalia duas famílias de modelos distintas para comparar efeitos arquitetônicos:
  • Flan-T5: Uma família de codificador–decodificador ajustada por instruções (Pequeno, Base, Grande).
  • Qwen2: Uma família de apenas decodificador ajustada por instruções (0,5B, 1,5B, 7B parâmetros).
• Materiais: O conjunto de dados foi adaptado de Ronai e Xiang (2024) e expandido usando GPT-4o para incluir 60 pares escalares lexicais, resultando em 6.000 itens distintos. Cada item consiste em uma frase âncora e duas interpretações candidatas: um "Alvo-Sim" (inferência pragmática) e um "Alvo-Não" (interpretação lógica).
• Paradigmas de Avaliação: Dois métodos principais foram comparados:
  1. Medição Direta de Probabilidade: Cálculo de probabilidades condicionais $P(\text{candidato} | \text{âncora})$ para determinar a preferência interna do modelo sem instrução explícita.
  2. Prompting Metalinguístico: Três variações de prompt (MetaSimples, MetaInstruído, MetaComplexo) exigindo que o modelo julgue ou selecione explicitamente a inferência válida.
• Condições Experimentais:
  • Experimento A (Julgamento de Frase): O modelo avalia uma única frase candidata contra a âncora (Sim/Não).
  • Experimento B (Comparação de Frases): O modelo seleciona entre duas frases candidatas simultaneamente.

Principais Resultados
Os resultados indicam que nenhum método de avaliação único supera consistentemente o outro, e o comportamento pragmático é altamente sensível à arquitetura do modelo, tamanho e estrutura da tarefa.

• Divergência de Métodos: Medições diretas de probabilidade e prompting metalinguístico produziram resultados apenas fracamente correlacionados ($r \approx .10 - .25$). Em muitos casos, as correlações foram próximas de zero ou negativas, sugerindo que os dois métodos capturam aspectos fundamentalmente diferentes do comportamento do modelo.
• Disparidades de Precisão:
  • Modelos Qwen: Exibiram um padrão polarizado. As estimativas de probabilidade direta foram consistentemente muito baixas, enquanto o prompting metalinguístico produziu precisão extremamente alta (frequentemente próxima do teto no Experimento B).
  • Modelos Flan-T5: Mostraram padrões mais moderados, com estimativas de probabilidade direta permanecendo relativamente mais altas e ocasionalmente superando prompts metalinguísticos específicos.
• Gradientes de Diversidade Escalar: O estudo analisou a precisão ao nível do item para detectar gradientes entre os 60 pares escalares.
  • Flan-T5: Geralmente exibiu gradientes mais claros (valores de inclinação entre -1 e -2) sob prompting metalinguístico, particularmente em modelos maiores, indicando sensibilidade à força variável das implicaturas.
  • Qwen: Mostrou padrões inconsistentes. Embora algumas condições no Experimento A tenham mostrado gradientes fortes, muitas condições no Experimento B produziram curvas quase planas (inclinação $\approx 0$), sugerindo que o modelo atribuiu interpretações uniformes independentemente da força escalar.
• Estrutura da Tarefa: O Experimento B (baseado em comparação) produziu consistentemente maior precisão do que o Experimento A (julgamento único) em quase todos os modelos, sugerindo que tarefas comparativas fornecem pistas mais fortes para o enriquecimento pragmático.
• Efeitos de Escala: Os efeitos de escala não foram uniformes. O Flan-T5 mostrou uma tendência positiva onde modelos maiores tiveram melhor desempenho. Os modelos Qwen não mostraram uma tendência de escala consistente; modelos maiores não superaram sistematicamente os menores e, às vezes, tiveram desempenho pior.

Principais Contribuições

1. Comparação Sistemática: O estudo fornece uma comparação direta de medição de probabilidade direta e prompting metalinguístico dentro dos mesmos modelos para raciocínio pragmático, estendendo o quadro competência–desempenho além de fenômenos linguísticos locais.
2. Diversidade Escalar como Diagnóstico: Ao utilizar uma ampla gama de pares escalares em vez de um único par (por exemplo, <alguns, todos>), o estudo oferece uma avaliação mais refinada da competência pragmática, revelando que os modelos não capturam uniformemente a natureza graduada das implicaturas escalares.
3. Sensibilidade Arquitetural e de Tarefa: As descobertas destacam que o raciocínio pragmático em LLMs não é uma capacidade estável e monolítica, mas uma interação entre representações probabilísticas internas e enquadramento de tarefa externo.

Significado e Alegações
O artigo conclui que o raciocínio pragmático em LLMs não pode ser atribuído a um único paradigma de avaliação. Nem a medição direta de probabilidade nem o prompting metalinguístico capturam consistentemente a "verdadeira" competência pragmática de um modelo. Em vez disso, o comportamento pragmático observado reflete uma interação entre representações probabilísticas internas e respostas induzidas por prompts.

Os autores argumentam que a presença ou ausência de gradientes de diversidade escalar depende fortemente da combinação específica de arquitetura do modelo, estratégia de prompting e desenho experimental. Consequentemente, interpretar as capacidades pragmáticas de LLMs requer uma consideração cuidadosa do desenho de avaliação, pois um modelo pode parecer competente sob uma condição (por exemplo, prompts específicos) enquanto carece da sensibilidade subjacente à diversidade escalar em outra (por exemplo, probabilidade direta). Isso desafia a noção de uma única medida estável de competência pragmática em LLMs.