Presupposition and Reasoning in Conditionals: A Theory-Based Study of Humans and LLMs

Sintesi Tecnica: Presupposizione e Ragionamento nelle Condizionali: Uno Studio Teorico su Esseri Umani e LLM

Enunciato del Problema
Il lavoro affronta una lacuna critica nella valutazione dei Modelli Linguistici di Grandi Dimensioni (LLM) riguardo alla loro competenza pragmatica, specificamente nel dominio della proiezione della presupposizione all'interno di frasi condizionali. Mentre le teorie del significato e della pragmatica hanno a lungo dibattuto il "problema della clausola di riserva" (proviso problem)—cioè come le presupposizioni innescate nell'apodisi di una condizionale (es. "Se John è un subacqueo, porterà la sua muta") siano interpretate come incondizionate o condizionate all'antecedente—questo fenomeno rimane largamente non valutato negli LLM. I benchmark esistenti si basano spesso su ragionamenti di semplice implicazione o compiti di classificazione che non riescono a catturare l'interazione complessa tra semantica, contesto discorsivo, ragionamento probabilistico e conoscenza del mondo necessaria per risolvere queste proiezioni. Gli autori sostengono che le valutazioni attuali non distinguono sufficientemente tra modelli che comprendono genuinamente i vincoli pragmatici e quelli che si affidano al matching di pattern a livello superficiale.

Metodologia
Lo studio adotta un disegno comportamentale parallelo che confronta i giudizi umani con quattro LLM (GPT-5, Gemini-2.5-flash, Llama-3.1-8B-Instruct e Qwen2.5-7B-Instruct) utilizzando un dataset normato di 90 frasi condizionali.

1. Costruzione dei Dati: Gli autori hanno costruito un dataset basato su 30 proposizioni di base (es. avere una muta, avere una sorella) istanziate in tre varianti che manipolano la relazione logica e probabilistica tra l'antecedente ($A$) e la presupposizione ($p$). Uno studio di normazione con 30 parlanti nativi inglesi ha stabilito livelli gradati di rilevanza $A$-$p$ (alta, media, bassa) e probabilità della proposizione.
2. Condizioni Sperimentali: Sia gli umani ($N=120$) che gli LLM hanno valutato la probabilità che la presupposizione fosse vera su una scala Likert da 0 a 7 in due condizioni:
   • Senza Contesto: Inquadramento minimo.
   • Con Contesto: Aggiunta di informazioni di sfondo identificative (es. "La persona è di Toronto") per testare come un contesto minimo moduli l'affidabilità dell'evidenza e il ragionamento sulla rilevanza.
3. Framework LLM-as-a-Judge: Per andare oltre le metriche di accuratezza, gli autori hanno sviluppato un elenco di controllo (checklist) informato dalla teoria, fondato sulla semantica formale (es. Semantica Dinamica, Pragmatica Griceana, Teoria dell'Accomodamento). Un modello giudice (Claude-haiku-4) ha valutato le tracce di ragionamento Chain-of-Thought (CoT) dei modelli target rispetto a 52–59 criteri binari che coprono dimensioni quali Accuratezza, Integrazione del Contesto, Criteri Pragmatici, Gestione della Presupposizione e Coerenza.
4. Validazione: Un sottoinsieme delle valutazioni del giudice è stato validato da esperti linguistici umani, raggiungendo un accordo inter-annotatore dell'89% e un accordo del 79,46% con il modello giudice.

Risultati Chiave

• Comportamento Umano: I giudizi umani integrano segnali probabilistici e pragmatici in modo non additivo. Quando l'antecedente è irrilevante per la presupposizione, gli umani fanno affidamento pesantemente sulla probabilità a priori (conoscenza del mondo). Tuttavia, anche una rilevanza parziale agisce come una soglia che aumenta significativamente i punteggi di probabilità, suggerendo una sensibilità alla rilevanza che sovrasta le probabilità di base in contesti specifici. Le informazioni contestuali hanno affinato questa integrazione, portando a distinzioni più graduali tra i livelli di rilevanza.
• Allineamento Uomo-LLM: Gli LLM hanno mostrato un allineamento variabile con i pattern umani.
  • Qwen2.5-7B-IT e Llama-3.1-8B-Instruct hanno dimostrato la correlazione più forte con i punteggi Likert umani ($\rho$ di Spearman $\approx 0,30\text{--}0,38$) e il più basso Errore Assoluto Medio (MAE).
  • GPT-5 e Gemini-2.5-flash hanno mostrato un allineamento più debole o inconsistente, con GPT-5 che non ha mostrato correlazioni significative in nessuna delle due condizioni.
• Ragionamento vs. Prestazione (La Dissociazione): Un risultato critico è la dissociazione tra allineamento comportamentale e qualità del ragionamento.
  • I modelli con il più alto allineamento comportamentale agli umani (es. Qwen2.5-7B-IT) hanno spesso mostrato il minore rispetto all'elenco di controllo informato dalla teoria. Il loro ragionamento si basava frequentemente su associazioni lessicali superficiali piuttosto che su vincoli pragmatici formali.
  • Al contrario, i modelli proprietari più grandi (GPT-5, Gemini) hanno generato tracce di ragionamento più coerenti con le aspettative teoriche (punteggi di elenco di controllo più alti) ma hanno prodotto giudizi finali di probabilità che si discostavano in modo più significativo dai pattern umani.
• Effetti del Contesto: Fornire un contesto minimo ha generalmente migliorato la conformità all'elenco di controllo per i modelli più piccoli, ma ha introdotto "rumore di ragionamento" per alcuni, portando a una ridotta coerenza nelle loro spiegazioni.

Contributi Chiave

1. Benchmark Guidato dalla Teoria: Il lavoro introduce un dataset controllato e un disegno sperimentale specificamente mirati al problema della clausola di riserva nelle condizionali, colmando una lacuna nei benchmark NLI e di presupposizione esistenti che spesso mancano di profondità pragmatica.
2. LLM-as-a-Judge per la Pragmatica: Propone e valida un framework di valutazione basato su un elenco di controllo che scompone la competenza pragmatica in criteri interpretabili e fondati sulla teoria, offrendo una visione più sfumata del ragionamento del modello rispetto ai soli punteggi di accuratezza.
3. Evidenza Empirica di Lacune di Competenza: Lo studio fornisce evidenze empiriche che un alto allineamento comportamentale negli LLM può derivare dal matching di pattern probabilistici sui dati di addestramento piuttosto che da una competenza pragmatica stabile, come dimostrato dalla disconnessione tra punteggi simili a quelli umani e ragionamento coerente con la teoria.

Significato e Affermazioni
Gli autori affermano che i loro risultati evidenziano i limiti degli LLM attuali nella gestione di fenomeni pragmatici complessi. Il lavoro sostiene che le prestazioni in compiti come la proiezione della presupposizione possano riflettere un "matching di pattern superficiale" piuttosto che una genuina comprensione pragmatica. Dimostrando che i modelli che meglio mimano i giudizi umani spesso mancano di un ragionamento pragmatico coerente, lo studio suggerisce che i benchmark attuali basati esclusivamente sull'accuratezza dell'output sono insufficienti per valutare la competenza semantica e pragmatica. Gli autori concludono che i benchmark radicati nella teoria linguistica sono essenziali per distinguere tra un allineamento statistico superficiale e vere capacità di ragionamento, e che il lavoro futuro deve affrontare la dissociazione tra somiglianza comportamentale e validità teorica.