How Hypocritical Is Your LLM judge? Listener-Speaker Asymmetries in the Pragmatic Competence of Large Language Models

Título: Quão Hipócrita é o Julgador do Seu LLM? Assimetrias Ouvinte–Falante na Competência Pragmática de Grandes Modelos de Linguagem

Autores: Judith Sieker e Sina Zarrieß (Universidade de Bielefeld, Alemanha)

---

1. O Problema

A competência pragmática (a capacidade de usar a linguagem de forma adequada ao contexto) é frequentemente avaliada em Grandes Modelos de Linguagem (LLMs) de duas maneiras distintas, mas raramente comparadas diretamente:

1. Como "Ouvintes" (Judges): Avaliando a adequação pragmática de uma saída gerada por outro modelo ou humano.
2. Como "Falantes" (Generators): Gerando respostas pragmaticamente apropriadas do zero.

O problema central abordado pelo artigo é a falta de alinhamento entre essas duas capacidades. A literatura atual frequentemente assume que um modelo que é bom em julgar a qualidade de uma resposta (ou em detectar erros pragmáticos) também será capaz de gerar respostas corretas. Os autores questionam se o sucesso em um papel (avaliação) é um proxy confiável para o sucesso no outro (geração), sugerindo que essa suposição pode ser falsa, especialmente em tarefas de raciocínio pragmático complexo.

2. Metodologia

Os autores realizaram um estudo comparativo sistemático, avaliando 14 LLMs contemporâneos (modelos de peso aberto e proprietários) em dois papéis complementares sobre os mesmos itens de dados.

Tarefas Pragmáticas Selecionadas

Foram escolhidas três tarefas que testam diferentes aspectos da competência pragmática:

1. Falsas Pressuposições (False Presuppositions): O modelo deve identificar e rejeitar pressuposições falsas embutidas em perguntas (ex: "O rei da França é alto?" implica que há um rei).
   • Falante: Gerar uma resposta que rejeite a pressuposição.
   • Ouvinte: Julgar se uma resposta dada rejeitou ou aceitou a pressuposição.
2. Antipressuposições (Antipresuppositions): Baseado no princípio "Maximize Pressuposição" (Maximize Presupposition!). O modelo deve escolher entre artigos definidos/indefinidos (ex: "o" vs "um") dependendo do contexto para satisfazer a máxima de Grice.
   • Falante: Completar uma frase com a palavra correta.
   • Ouvinte: Julgar se uma continuação de frase é apropriada.
3. Raciocínio Dedutivo: O modelo deve determinar se uma conclusão segue logicamente de um conjunto de premissas.
   • Falante: Gerar a palavra faltante na conclusão para torná-la válida.
   • Ouvinte: Julgar se uma conclusão apresentada é logicamente válida (Verdadeiro/Falso).

Configuração Experimental

• Modelos: 14 modelos variados, incluindo famílias LLaMA, Qwen, Phi, OLMo, Mistral, e modelos proprietários (GPT-4o, GPT-5, Claude Sonnet 4.5).
• Comparação Direta: Para cada item, o modelo atuou tanto como gerador quanto como avaliador.
• Métricas:
  • Precisão agregada (Speaker vs. Listener).
  • Análise Condicional no Nível do Item: Cálculo da probabilidade de um modelo gerar corretamente ($P(\text{gerar} | \text{ouvir})$) dado que ele julgou corretamente o item. Isso mede se o conhecimento para julgar se traduz em capacidade de gerar.

3. Principais Contribuições

• Identificação de Assimetria Robusta: O estudo demonstra empiricamente que, para a maioria dos modelos, a capacidade de julgar a adequação pragmática é significativamente superior à capacidade de gerar respostas pragmaticamente corretas.
• Desacoplamento de Competências: Evidencia que a avaliação pragmática e a geração pragmática são capacidades parcialmente distintas nos LLMs atuais. O sucesso em tarefas de "ouvinte" não garante competência em tarefas de "falante".
• Crítica à Prática de "LLM-as-a-Judge": Questiona a validade de usar modelos como avaliadores automáticos sem validar sua capacidade de gerar as respostas que estão julgando, sugerindo que modelos podem ser "hipócritas" (sabem o que está errado, mas não conseguem produzir o que está certo).
• Análise Granular: Vai além da precisão média, mostrando que, em muitos casos, itens julgados corretamente têm menor probabilidade de serem gerados corretamente (correlação negativa).

4. Resultados Chave

Assimetria Geral (Ouvinte > Falante)

• Modelos de Peso Aberto (Open-weight): Apresentaram a maior discrepância. Modelos como Mistral-7B e LLaMA-8B tiveram precisão muito baixa como geradores (muitas vezes próxima de zero em tarefas de rejeição de pressuposições), mas alcançaram precisão moderada a alta como avaliadores.
• Modelos Proprietários e Grandes: Apresentaram melhor alinhamento, mas ainda não perfeita. Por exemplo, o GPT-4o e o GPT-4.1 mostraram assimetrias menores, embora o GPT-4.1 tenha se saído melhor como gerador do que como avaliador em algumas tarefas.
• Exceções: Em tarefas de Antipressuposições, alguns modelos (como GPT-5 e Claude Sonnet 4.5) atingiram precisão perfeita na geração, mas tiveram desempenho inferior na avaliação, invertendo a assimetria.

Análise Condicional (A "Hipocrisia" dos Modelos)

• A correlação entre julgar corretamente e gerar corretamente foi frequentemente baixa ou negativa.
• Antipressuposições: Para a maioria dos modelos, julgar corretamente que uma continuação é inadequada não ajudou a gerar a continuação adequada. Em alguns casos, o modelo sabia o que estava errado, mas falhou ao tentar corrigir.
• Falsas Pressuposições: O GPT-4o mostrou uma forte correlação positiva (se julga certo, gera certo), mas modelos menores (Mistral, LLaMA) mostraram correlação negativa ou nula.
• Raciocínio Dedutivo: Modelos proprietários grandes mostraram alinhamento, enquanto modelos menores exibiram uma forte dissociação.

Falhas de Instrução

• Uma descoberta importante foi a alta taxa de falha em seguir instruções de formato (ex: não explicar a resposta, usar apenas uma palavra) na condição de "Ouvinte" para alguns modelos, o que invalidou parte dos dados de avaliação e levantou questões sobre a confiabilidade de modelos como juízes automáticos.

5. Significado e Implicações

1. Reavaliação de Benchmarks: Muitos benchmarks de competência pragmática baseiam-se apenas em tarefas de classificação/julgamento (estilo "ouvinte"). Este trabalho alerta que tais métricas podem superestimar a competência real do modelo em comunicação e geração.
2. Validação de "LLM-as-a-Judge": O uso de LLMs para avaliar a qualidade de outros LLMs deve ser feito com cautela. Um modelo pode ser um bom crítico, mas um mau criador, ou vice-versa. A avaliação deve ser validada tarefa por tarefa.
3. Paralelo com Psicolinguística: Os resultados espelham a distinção humana entre compreensão e produção (onde a compreensão geralmente precede e supera a produção), sugerindo que os LLMs, apesar de suas arquiteturas diferentes, exibem uma assimetria funcional semelhante.
4. Necessidade de Avaliação Integrada: O artigo defende que as práticas de avaliação devem considerar a geração e a avaliação como um sistema integrado, e não como proxies intercambiáveis. A competência pragmática deve ser testada em ambos os modos simultaneamente.

Conclusão

O estudo conclui que a competência pragmática nos LLMs atuais é dissociada: a capacidade de reconhecer erros ou adequação (ouvir) não é um indicador confiável da capacidade de produzir linguagem adequada (falar). Essa "hipocrisia" sistemática exige uma mudança nas práticas de avaliação, evitando assumir que um modelo que julga bem também gera bem.