Evaluating Pragmatic Reasoning in Large Language Models: Evidence from Scalar Diversity

Riepilogo Tecnico: Valutazione del Ragionamento Pragmatico nei Modelli Linguistici di Grande Dimensione: Evidenze dalla Diversità Scalare

Enunciato del Problema
Valutare il ragionamento pragmatico nei Modelli Linguistici di Grande Dimensione (LLM) rimane una sfida significativa a causa della variabilità del comportamento dei modelli attraverso diversi metodi di valutazione. Ricerche precedenti suggeriscono una divergenza tra giudizi basati su prompt e le distribuzioni di probabilità interne di un modello, sollevando la questione se la competenza pragmatica osservata rifletta conoscenze linguistiche sottostanti o sia semplicemente un artefatto di comportamenti indotti dal compito. Sebbene l'implicatura scalare (l'inferenza che un termine più debole, ad esempio "alcuni", implichi la negazione di un'alternativa più forte, ad esempio "non tutti") sia un diagnostico standard per la capacità pragmatica, studi precedenti si basano spesso su singole coppie scalari o su singoli paradigmi di valutazione. Questo studio affronta la necessità di confrontare sistematicamente i metodi di valutazione per determinare se gli LLM possiedano una competenza pragmatica stabile o se le loro prestazioni siano contingentate a specifiche strutture di prompt e di compito.

Metodologia
Lo studio adotta il quadro competenza–prestazione (Chomsky, 1965), distinguendo tra conoscenza interiorizzata (competenza) e uso del linguaggio in condizioni specifiche (prestazione). Utilizza la diversità scalare—il fenomeno per cui la forza delle implicature scalari varia attraverso diverse scale lessicali (ad esempio <alcuni, tutti> vs <tiepido, caldo>)—come strumento diagnostico graduale.

• Modelli: Lo studio valuta due famiglie di modelli distinte per confrontare gli effetti architettonici:
  • Flan-T5: Una famiglia encoder–decoder addestrata su istruzioni (Small, Base, Large).
  • Qwen2: Una famiglia decoder-only addestrata su istruzioni (0.5B, 1.5B, 7B parametri).
• Materiali: Il dataset è stato adattato da Ronai e Xiang (2024) ed espanso utilizzando GPT-4o per includere 60 coppie scalari lessicali, risultando in 6.000 elementi distinti. Ogni elemento consiste in una frase di ancoraggio e due interpretazioni candidate: un "Target-Sì" (inferenza pragmatica) e un "Target-No" (interpretazione logica).
• Paradigmi di Valutazione: Sono stati confrontati due metodi principali:
  1. Misurazione Diretta della Probabilità: Calcolo delle probabilità condizionate $P(\text{candidato} | \text{ancoraggio})$ per determinare la preferenza interna del modello senza istruzioni esplicite.
  2. Prompting Metalinguistico: Tre varianti di prompt (MetaSimple, MetaInstruct, MetaComplex) che richiedono al modello di giudicare o selezionare esplicitamente l'inferenza valida.
• Condizioni Sperimentali:
  • Esperimento A (Giudizio sulla Frase): Il modello valuta una singola frase candidata rispetto all'ancoraggio (Sì/No).
  • Esperimento B (Confronto tra Frasi): Il modello seleziona tra due frasi candidate simultaneamente.

Risultati Chiave
I risultati indicano che nessun singolo metodo di valutazione supera costantemente l'altro e che il comportamento pragmatico è altamente sensibile all'architettura del modello, alle dimensioni e alla struttura del compito.

• Divergenza dei Metodi: Le misurazioni dirette della probabilità e il prompting metalinguistico hanno prodotto risultati solo debolmente correlati ($r \approx .10 - .25$). In molti casi, le correlazioni erano vicine allo zero o negative, suggerendo che i due metodi catturano aspetti fondamentalmente diversi del comportamento del modello.
• Disparità di Accuratezza:
  • Modelli Qwen: Hanno esibito un pattern polarizzato. Le stime dirette della probabilità sono state costantemente molto basse, mentre il prompting metalinguistico ha prodotto un'accuratezza estremamente elevata (spesso vicina al limite massimo nell'Esperimento B).
  • Modelli Flan-T5: Hanno mostrato pattern più moderati, con stime di probabilità dirette che rimanevano relativamente più alte e occasionalmente superavano specifici prompt metalinguistici.
• Gradienti di Diversità Scalare: Lo studio ha analizzato l'accuratezza a livello di elemento per rilevare gradienti attraverso le 60 coppie scalari.
  • Flan-T5: Ha generalmente mostrato gradienti più chiari (valori di pendenza tra -1 e -2) sotto prompting metalinguistico, in particolare nei modelli più grandi, indicando sensibilità alla variabile forza delle implicature.
  • Qwen: Ha mostrato pattern incoerenti. Sebbene alcune condizioni nell'Esperimento A mostrassero gradienti forti, molte condizioni nell'Esperimento B hanno prodotto curve quasi piatte (pendenza $\approx 0$), suggerendo che il modello assegnava interpretazioni uniformi indipendentemente dalla forza scalare.
• Struttura del Compito: L'Esperimento B (basato sul confronto) ha prodotto costantemente un'accuratezza più alta rispetto all'Esperimento A (giudizio singolo) in quasi tutti i modelli, suggerendo che i compiti comparativi forniscono indizi più forti per l'arricchimento pragmatico.
• Effetti di Scalatura: Gli effetti di scalatura non sono stati uniformi. Flan-T5 ha mostrato una tendenza positiva in cui modelli più grandi performavano meglio. I modelli Qwen non hanno mostrato una tendenza di scalatura coerente; modelli più grandi non hanno sistematicamente superato quelli più piccoli e talvolta hanno performato peggio.

Contributi Chiave

1. Confronto Sistematico: Lo studio fornisce un confronto diretto tra probabilità diretta e prompting metalinguistico all'interno degli stessi modelli per il ragionamento pragmatico, estendendo il quadro competenza–prestazione oltre i fenomeni linguistici locali.
2. Diversità Scalare come Diagnostico: Utilizzando un'ampia gamma di coppie scalari invece di una singola coppia (ad esempio <alcuni, tutti>), lo studio offre una valutazione più dettagliata della competenza pragmatica, rivelando che i modelli non catturano uniformemente la natura graduale delle implicature scalari.
3. Sensibilità Architettonica e del Compito: I risultati evidenziano che il ragionamento pragmatico negli LLM non è una capacità stabile e monolitica, ma un'interazione tra rappresentazioni probabilistiche interne e inquadramento esterno del compito.

Significato e Affermazioni
Il documento conclude che il ragionamento pragmatico negli LLM non può essere attribuito a un singolo paradigma di valutazione. Né la misurazione diretta della probabilità né il prompting metalinguistico catturano coerentemente la "vera" competenza pragmatica di un modello. Piuttosto, il comportamento pragmatico osservato riflette un'interazione tra rappresentazioni probabilistiche interne e risposte indotte dal prompt.

Gli autori sostengono che la presenza o l'assenza di gradienti di diversità scalare dipende fortemente dalla specifica combinazione di architettura del modello, strategia di prompting e disegno sperimentale. Di conseguenza, interpretare le capacità pragmatiche degli LLM richiede un'attenta considerazione della progettazione della valutazione, poiché un modello può apparire competente in una condizione (ad esempio, prompt specifici) mentre manca della sensibilità sottostante alla diversità scalare in un'altra (ad esempio, probabilità diretta). Ciò mette in discussione la nozione di una singola misura stabile della competenza pragmatica negli LLM.