How Hypocritical Is Your LLM judge? Listener-Speaker Asymmetries in the Pragmatic Competence of Large Language Models

1. Il Problema

Il lavoro affronta una lacuna significativa nella valutazione delle competenze pragmatiche dei Large Language Models (LLM). Attualmente, i modelli sono valutati in due ruoli distinti ma raramente confrontati direttamente:

• Come "Ascoltatori" (Judge): Valutano l'appropriatezza pragmatica di un output linguistico generato da altri (es. classificare se una risposta è corretta o meno).
• Come "Parlatori" (Speaker): Generano essi stessi risposte pragmaticamente appropriate a partire da zero.

La comunità scientifica assume spesso implicitamente che il successo in un ruolo (es. giudicare correttamente) sia un proxy affidabile per il successo nell'altro (es. generare correttamente). Tuttavia, in linguistica e psicolinguistica, la comprensione e la produzione sono considerate abilità correlate ma non identiche, con diversi requisiti di elaborazione. Il paper si chiede se questa asimmetria esista anche negli LLM: un modello capace di riconoscere un errore pragmatico è necessariamente capace di evitarlo quando genera testo?

2. Metodologia

Gli autori hanno progettato un esperimento comparativo che valuta 14 modelli LLM contemporanei (sia open-weight che proprietari) su tre compiti pragmatici specifici. Per ogni compito, sono stati creati setup paralleli per le condizioni di "Parlatore" e "Ascoltatore" utilizzando gli stessi item di base, permettendo un confronto diretto a livello di singolo elemento.

I tre compiti pragmatici:

1. Presupposizioni False (False Presuppositions): I modelli devono gestire domande contenenti presupposizioni false (es. "Quanti anni ha il re di Francia?").
   • Parlatore: Deve generare una risposta che rifiuti la presupposizione falsa.
   • Ascoltatore: Deve giudicare se una risposta data ha accettato o rifiutato la presupposizione falsa.
2. Antipresupposizioni (Antipresuppositions): Basato sul principio "Maximize Presupposition!" (MP!). I contesti richiedono l'uso di articoli definiti o indefiniti specifici.
   • Parlatore: Deve completare una frase scegliendo l'articolo corretto (es. "the" vs "a").
   • Ascoltatore: Deve giudicare se un completamento dato è appropriato o meno.
3. Ragionamento Deduttivo: Valuta la coerenza discorsiva e il tracciamento delle proposizioni.
   • Parlatore: Deve generare la parola mancante in una conclusione logica.
   • Ascoltatore: Deve giudicare se una conclusione data segue logicamente dalle premesse.

Modelli valutati:
L'analisi include 14 modelli di diverse dimensioni e architetture, tra cui famiglie LLaMA-3, Qwen-3, Phi-4, OLMo-2, Mistral, e modelli proprietari come GPT-4o, GPT-5 e Claude Sonnet 4.5.

Metriche di analisi:
Oltre all'accuratezza aggregata, gli autori hanno calcolato la probabilità condizionata $P(\text{generazione corretta} | \text{giudizio corretto})$ e la differenza condizionale ($\Delta_{cond}$) per determinare se un giudizio corretto predice una generazione corretta sullo stesso item.

3. Contributi Chiave

• Identificazione dell'Asimmetria: Il paper dimostra empiricamente l'esistenza di una forte asimmetria tra la capacità di giudicare (ascoltare) e quella di generare (parlare) in ambito pragmatico.
• Disaccoppiamento delle Competenze: Dimostra che la competenza pragmatica negli LLM non è un'abilità monolitica; la capacità di valutare non garantisce la capacità di produrre.
• Critica alle Pratiche di Valutazione: Mette in discussione l'uso diffuso dei modelli come "LLM-as-a-judge" per valutare la competenza generativa, suggerendo che un alto punteggio in compiti di valutazione non implica una reale competenza nella generazione.
• Analisi Livello-Item: Fornisce un'analisi granulare che mostra come, anche quando un modello sa cosa è sbagliato, spesso fallisce nel produrre la versione corretta.

4. Risultati Principali

I risultati rivelano una discrepanza sistematica e robusta:

• Asimmetria Generale: La maggior parte dei modelli performa significativamente meglio come "ascoltatori" (giudici) rispetto ai "parlatori" (generatori). Riconoscere un errore pragmatico è più facile che generarne una correzione appropriata.
• Differenze tra Modelli:
  • I modelli open-weight (es. Mistral-7B, LLaMA-8B) mostrano l'asimmetria più marcata: spesso hanno un'accuratezza di ascolto moderata o buona, ma un'accuratezza di generazione quasi nulla.
  • I modelli proprietari più grandi (es. GPT-4.1, GPT-5) mostrano un allineamento migliore, ma non perfetto. Alcuni, come GPT-5, raggiungono il massimo in entrambi i ruoli, mentre altri mostrano ancora discrepanze.
• Analisi Condizionale (Il paradosso dell'ipocrisia):
  • In molti casi, un giudizio corretto non predice una generazione corretta.
  • Nel compito di Antipresupposizioni, per molti modelli, gli item giudicati correttamente erano spesso quelli generati in modo errato (valori di $\Delta_{cond}$ negativi). Questo suggerisce che la conoscenza metalinguistica (saper dire cosa è sbagliato) può addirittura interferire con la generazione corretta.
  • Solo nei modelli più grandi e in compiti specifici (come le presupposizioni false per GPT-4o) si osserva una correlazione positiva tra giudizio e generazione.
• Problemi di Istruzione: Molti modelli hanno fallito nel seguire i vincoli di formato nelle condizioni di generazione (es. non rispondere con una sola parola), limitando la loro efficacia pratica come generatori, pur mantenendo buone capacità di valutazione.

5. Significato e Implicazioni

Lo studio ha implicazioni profonde per la ricerca e lo sviluppo degli LLM:

1. Rivalutazione dei Benchmark: Molti benchmark attuali si basano esclusivamente su compiti di tipo "ascoltatore" (classificazione, scelta multipla). Questo paper avverte che questi test potrebbero sovrastimare la competenza pragmatica reale dei modelli, poiché non testano la capacità di produzione.
2. Affidabilità degli "LLM-as-a-Judge": L'uso di modelli per valutare automaticamente altri modelli è problematico. Un modello può essere un ottimo giudice ma un pessimo generatore, o viceversa. La capacità di giudicare non è un indicatore trasparente della competenza comunicativa generale.
3. Parallelismo con la Psicolinguistica: I risultati confermano negli LLM l'asimmetria osservata negli umani tra comprensione e produzione, suggerendo che i modelli attuali, pur essendo potenti, non hanno ancora sviluppato un'abilità integrata di comunicazione che unifichi perfettamente la valutazione e la generazione.
4. Necessità di Valutazioni Integrate: È necessario passare a framework di valutazione che testino simultaneamente la generazione e la valutazione, trattandole come capacità distinte che devono essere allineate per un modello veramente competente.

In sintesi, il paper smaschera l'"ipocrisia" di molti LLM: sono spesso bravi a dire cosa è sbagliato, ma falliscono nel fare ciò che è giusto, evidenziando la necessità di approcci di valutazione più olistici e integrati.