Humans and LLMs Diverge on Probabilistic Inferences

1. Problema e Contesto

Il ragionamento umano quotidiano spesso si basa su informazioni parziali per giungere a conclusioni probabilistiche, piuttosto che deduzioni logiche rigide. Mentre i Large Language Models (LLM) "reasoning" (modelli dotati di capacità di ragionamento esplicito) hanno dimostrato eccellenti prestazioni in compiti logici e matematici deterministici, il loro comportamento in contesti di inferenze aperte, non deterministiche e probabilistiche rimane poco esplorato.

Il problema centrale è capire se e come i modelli LLM simulino la distribuzione delle probabilità umane quando devono valutare la plausibilità di un'ipotesi data una premessa, specialmente quando la risposta non è univoca ma varia in base al grado di incertezza.

2. Metodologia

Creazione del Dataset: PROBCOPA

Gli autori hanno introdotto PROBCOPA, un nuovo dataset composto da 210 inferenze probabilistiche costruite manualmente in inglese.

• Origine: I dati derivano dal dataset COPA (Choice of Plausible Alternatives), che contiene premesse e due alternative causali.
• Trasformazione: Ogni item COPA è stato suddiviso in due coppie Premessa-Ipotesi (stile NLI - Natural Language Inference). A differenza dei task NLI tradizionali che richiedono una classificazione binaria (entailment/contradiction), qui ogni ipotesi è valutata singolarmente per la sua probabilità.
• Selezione: Sono stati selezionati solo gli item che richiedono di valutare l'effetto di una premessa (esclusi quelli che chiedono di inferire le cause), per evitare complessità aggiuntive nella stima della probabilità causale.

Annotazione Umana

• Partecipanti: 328 madrelingua inglesi (UK, USA, Canada) reclutati tramite Prolific.
• Procedura: Ogni partecipante ha valutato fino a 30 item su una scala numerica continua da 0 a 100 (dove 0 = "definitamente falso" e 100 = "definitamente vero").
• Controllo di Qualità: Sono stati inclusi controlli di attenzione e feedback istruttivi. Per ogni item, sono stati raccolti tra 25 e 30 annotazioni da partecipanti unici.
• Validazione: Due round di validazione hanno confermato l'alta riproducibilità delle risposte umane (correlazione di Spearman > 0.97).

Valutazione dei Modelli LLM

• Modelli Testati: 8 modelli reasoning all'avanguardia (Gemini-3, GPT-5, Claude Sonnet-4.5, Qwen3, Kimi-K2, GLM-4.6, DeepSeek-R1, Grok-4.1 Fast).
• Metodo di Elicitazione: Poiché i log-probabilità non sono accessibili per molti modelli reasoning, gli autori hanno utilizzato stime verbali numeriche. Ai modelli è stato chiesto di generare una catena di ragionamento (reasoning chain) e poi restituire un numero tra 0 e 100.
• Campionamento: Per ogni item, ogni modello è stato interrogato 30 volte per ottenere una distribuzione di risposte.
• Metriche di Analisi:
  • Entropia Differenziale: Usata per quantificare la dispersione (variabilità) delle risposte sia umane che dei modelli.
  • Distanza di Wasserstein: Usata per misurare la similarità tra le distribuzioni di probabilità umane e quelle dei modelli.

3. Risultati Chiave

Comportamento Umano

• Giudizi Graded: Le risposte umane mostrano una distribuzione tri-modale (bassa, alta e media probabilità), ma con una significativa porzione di risposte "gradate" (valori intermedi) che mancano nei dataset NLI tradizionali.
• Unimodalità: Per ogni singolo item, la distribuzione delle risposte umane è quasi sempre unimodale (una sola picco), suggerendo che le variazioni sono dovute a incertezza quantitativa e non a interpretazioni qualitative divergenti.
• Disaccordo Inter-Annotatore: Gli annotatori mostrano maggiore disaccordo (alta entropia) sugli item con probabilità media (intorno a 50), mentre sono d'accordo sugli estremi. Questo disaccordo è correlato positivamente (sebbene debolmente) con i tempi di risposta più lunghi.

Comportamento degli LLM

• Mancanza di Probabilità Medie: I modelli tendono a evitare le risposte nella parte centrale della scala (probabilità media). Le loro distribuzioni sono spesso bi-modali, polarizzate verso gli estremi (molto probabile o molto improbabile), indicando un'eccessiva sicurezza (overconfidence).
• Scarsa Allineamento Distributivo: I modelli allineano bene le loro risposte mediane a quelle umane solo agli estremi della scala. Nel mezzo, dove gli umani mostrano incertezza, i modelli falliscono nel replicare la distribuzione umana.
• Bassa Variabilità: Le risposte dei modelli mostrano un'entropia differenziale significativamente inferiore rispetto a quella umana. Anche variando la temperatura o usando prompt di "persona", i modelli non riescono a raggiungere la variabilità di risposta tipica degli umani.
• Effetto del Ragionamento: Aumentare lo sforzo di ragionamento (es. budget di pensiero più alto) non porta a differenze statisticamente significative nelle stime di probabilità mediane, né migliora l'allineamento con la distribuzione umana.

Analisi delle Catene di Ragionamento

• Correlazione con l'Incertezza Umana: Esiste una correlazione positiva significativa tra la lunghezza della catena di ragionamento del modello e l'entropia delle risposte umane. I modelli ragionano più a lungo sugli item su cui gli umani sono più incerti.
• Pattern Comune: L'analisi qualitativa delle catene di ragionamento rivela un pattern ricorrente: i modelli esplicitano spesso la considerazione di scenari alternativi per giustificare la loro stima di probabilità. Tuttavia, questo processo non si traduce in una distribuzione di output simile a quella umana.

4. Contributi Principali

1. Dataset PROBCOPA: Introduzione di un nuovo benchmark di 210 inferenze probabilistiche con annotazioni umane dense (25-30 per item), progettato specificamente per studiare il ragionamento non deterministico.
2. Analisi Comparativa: Dimostrazione empirica che, nonostante le capacità di ragionamento avanzate, gli LLM attuali falliscono nel replicare le distribuzioni probabilistiche umane, mostrando una tendenza sistematica all'eccessiva sicurezza e alla mancanza di variabilità.
3. Analisi delle Catene di Ragionamento: Identificazione di pattern ricorrenti nel modo in cui i modelli ragionano su incertezza (considerazione di alternative) e correlazione tra lunghezza della catena e difficoltà percepita dagli umani.

5. Significato e Implicazioni

Il lavoro sottolinea che la valutazione del ragionamento degli LLM non può limitarsi a compiti logici o matematici deterministici.

• Limiti Attuali: I modelli attuali, anche quelli più avanzati, non catturano la natura "sfumata" e variabile del giudizio umano su eventi incerti.
• Sicurezza e Affidabilità: La tendenza dei modelli a essere eccessivamente sicuri (evitando le probabilità medie) è un problema critico per applicazioni in cui l'incertezza deve essere comunicata onestamente (es. medicina, giurisprudenza).
• Direzione Futura: È necessario sviluppare nuovi metodi di valutazione e training che incoraggino i modelli a esprimere una variabilità di output e una calibrazione delle probabilità più allineata al comportamento umano, andando oltre la semplice accuratezza logica.

In sintesi, il paper evidenzia un divario fondamentale: mentre gli umani ragionano in modo probabilistico e sfumato, i modelli LLM reasoning tendono a "categorizzare" le incertezze in risposte binarie o estreme, fallendo nel simulare la distribuzione reale del giudizio umano.