Do LLMs Share Human-Like Biases? Causal Reasoning Under Prior Knowledge, Irrelevant Context, and Varying Compute Budgets

Lo studio dimostra che, a differenza degli esseri umani, la maggior parte dei grandi modelli linguistici non replica i tipici bias causali umani ma adotta strategie di ragionamento più simili a regole, sebbene il ragionamento a catena (Chain-of-Thought) ne migliori la robustezza in presenza di contesto irrilevante.

L'essenziale

Immagina di avere due tipi di "consulenti" che ti aiutano a prendere decisioni importanti: uno è un essere umano (diciamo, un esperto di psicologia) e l'altro è un Intelligenza Artificiale (un modello linguistico avanzato come quelli che usiamo oggi).

Il paper che hai condiviso si chiede: "Quando devono ragionare su cause ed effetti, l'IA pensa come un umano o è una macchina completamente diversa?"

Ecco la spiegazione semplice, con qualche metafora per rendere tutto più chiaro.

1. Il Gioco: Il "Detective del Tempo"

Per testare questi consulenti, gli scienziati hanno creato un gioco di logica basato su un concetto chiamato Collisore (o "nodo di collisione").

Immagina una scena del crimine:

• C'è un Evento (E): Il prato è bagnato.
• Ci sono due Cause possibili (C1 e C2):
  1. Ha piovuto (C1).
  2. Il vicino ha acceso l'irrigatore (C2).

La regola logica è: "Se il prato è bagnato, potrebbe essere per la pioggia, per l'irrigatore, o per entrambi".

Il trucco del gioco:
Gli scienziati dicono ai partecipanti: "Il prato è bagnato. Sappiamo che ha piovuto. Quanto è probabile che il vicino abbia acceso l'irrigatore?"

Qui entra in gioco la differenza tra umani e macchine:

• L'Umano (Il Detective Intuitivo): Spesso pensa: "Beh, se il prato è bagnato e so che ha piovuto, forse l'irrigatore non è stato acceso. Ma aspetta... forse il vicino è un tipo strano e lo ha acceso lo stesso per scherzo, o forse c'è un'altra causa che non mi hanno detto (come un tubo rotto)?" Gli umani tendono a considerare fattori nascosti e a essere un po' confusi o "distorti" dalla loro esperienza di vita.
• L'IA (Il Detective Rigido): L'IA tende a seguire le regole matematiche alla lettera. Se la logica dice "A causa B", l'IA lo accetta come verità assoluta e non immagina facilmente "tubi rotti" o "scherzi del vicino" a meno che non gli vengano detti esplicitamente.

2. Le Scoperte Principali

A. L'IA è più "regolista" dell'Umano

Gli umani, quando ragionano, spesso fanno degli errori logici (bias) perché il loro cervello è pigro o si fida troppo delle sue intuizioni.

• Metafora: Immagina che gli umani siano come un cucina che assaggia il cibo e aggiunge sale perché "sembra poco". L'IA invece è come un robot cuoco che segue la ricetta al grammo. Se la ricetta dice "2 grammi di sale", ne mette 2, anche se il cibo sembra insipido.
• Risultato: L'IA ha seguito le regole logiche molto meglio degli umani. Non ha commesso gli stessi errori di "intuizione" che fanno le persone.

B. L'IA non ha i "pregiudizi umani"

Gli umani in questi test mostrano due "difetti" tipici:

1. Spiegazione debole: Se so che è piovuto, smetto di credere che sia stato l'irrigatore? Gli umani spesso no, continuano a credere che l'irrigatore sia stato acceso comunque.
2. Connessioni magiche: Gli umani a volte pensano che sapere che il vicino ha acceso l'irrigatore cambi la probabilità che abbia piovuto (anche se sono eventi indipendenti).

L'IA è diversa: La maggior parte dei modelli di IA studiati non ha questi difetti. Sono molto bravi a dire: "Se so che ha piovuto, allora è molto probabile che l'irrigatore non sia stato acceso" (questo si chiama Explaining Away forte). Sono più logici e meno "confusi" degli umani.

C. Il potere della "Pensierosa" (Chain-of-Thought)

Gli scienziati hanno notato che se chiedi all'IA di rispondere subito ("Quanto è probabile?"), a volte sbaglia o è fragile. Ma se le dici: "Pensa passo dopo passo prima di rispondere", l'IA diventa molto più brava e stabile.

• Metafora: È come chiedere a uno studente di fare un compito. Se gli chiedi la risposta finale, potrebbe indovinare. Se gli dici "Mostrami i calcoli", il suo ragionamento diventa molto più solido e simile a quello di un esperto.

D. Cosa succede se le distraggiamo?

Hanno provato a confondere l'IA con:

1. Testo inutile: Aggiungendo frasi senza senso nel prompt.
2. Parole strane: Sostituendo "Pioggia" con "Xylofono 88".

Risultato:

• I modelli più piccoli o vecchi si confondevano facilmente (come un bambino che si distrae se gli parli di altro).
• I modelli più grandi e nuovi (come Gemini-2.5-pro) sono rimasti invariabili. Non importa se usi parole strane o testo inutile, loro capiscono la logica di fondo. Sono come un navigatore GPS che continua a darti la strada anche se il passeggero inizia a cantare una canzone a caso.

3. La Conclusione: Perché è importante?

Il paper ci dice che l'IA non è una "copia" dell'umano. È un partner diverso.

• Quando l'IA è utile: Quando abbiamo bisogno di regole chiare, logica ferrea e di non farsi influenzare da emozioni o distrazioni (es. in medicina o legge, dove serve seguire protocolli precisi).
• Quando l'IA potrebbe fallire: Nel mondo reale, le cose sono spesso caotiche e piene di "fattori nascosti" (come il tubo rotto del vicino). L'IA, essendo troppo rigida, potrebbe non vedere queste eccezioni creative che un umano coglierebbe.

In sintesi:
L'IA non è un umano con un cervello più veloce. È un logico perfetto che segue le regole alla lettera. Se vuoi qualcuno che segua la ricetta alla perfezione, l'IA è perfetta. Se hai bisogno di qualcuno che capisca che "forse il vicino ha fatto uno scherzo" o che il mondo è un po' più caotico della ricetta, allora hai ancora bisogno dell'intuizione umana.

Il futuro sta nel far lavorare insieme i due: l'IA per la logica ferrea e l'umano per la flessibilità e l'intuizione.

Sommario tecnico

Titolo: Gli LLM condividono bias simili a quelli umani? Ragionamento causale sotto conoscenza pregressa, contesto irrilevante e budget computazionali variabili

Autore: Hanna M. Dettki (NYU, Università di Tubinga) et al.
Pubblicazione: ICLR 2026 Workshop "From Human Cognition to AI Reasoning (HCAIR)"

---

1. Il Problema

I Large Language Models (LLM) sono sempre più utilizzati in domini critici dove il ragionamento causale è fondamentale (es. supporto alle decisioni legali e mediche). Tuttavia, rimane incerto se i giudizi degli LLM riflettano:

1. Un calcolo causale normativo (corretto).
2. Scorciatoie cognitive simili a quelle umane (bias).
3. Un semplice abbinamento di pattern fragile.

Sebbene gli LLM siano addestrati su dati generati dall'uomo, non è chiaro se, in scenari reali dove le probabilità di base non sono specificate, essi replichino i bias umani noti (come la violazione della proprietà di Markov o l'"explanation away" debole) o se adottino strategie più rigide e basate su regole. Inoltre, la robustezza di questi ragionamenti di fronte a contesti ambigui, astratti o sovraccarichi di informazioni irrilevanti non è stata sufficientemente indagata su un ampio spettro di modelli.

2. Metodologia

Lo studio confronta 20+ LLM con una baseline umana (N=48 studenti universitari) su 11 compiti di giudizio causale.

• Struttura del Task: I compiti sono basati su una struttura di collider (C1 → E ← C2), dove due cause indipendenti (C1, C2) influenzano un effetto comune (E).
  • Nota: A differenza di benchmark precedenti (es. CLADDER) che forniscono tassi di base esatti, qui le probabilità a priori e le forze causali non sono specificate. Questo costringe gli agenti a fare affidamento su assunzioni implicite o modelli del mondo.
• Condizioni Sperimentali (2x2x2 = 8 condizioni):
  1. Conoscenza Precedente: Storie originali (semantico) vs. Varianti Astratte (variabili sostituite da stringhe casuali per ridurre la dipendenza dalla conoscenza del mondo reale).
  2. Carico Informativo: Prompt originali vs. Prompt Sovraccarichi (Overloaded) con testo irrilevante iniettato per ridurre il rapporto segnale/rumore.
  3. Strategia di Prompting: Direct (risposta numerica diretta) vs. Chain-of-Thought (CoT) ("ragiona passo dopo passo" prima di rispondere).
• Analisi dei Modelli:
  • I giudizi probabilistici sono stati adattati a un Modello di Rete Bayesiana Causale (CBN) interpretabile (parametrizzazione leaky noisy-OR).
  • Sono stati calcolati indicatori di bias specifici per i collider:
    • Explanation Away (EA): Quanto la prova di una causa riduce la credenza nell'altra causa quando l'effetto è osservato.
    • Violazione di Markov (MV): Quanto la credenza su una causa dipende dall'informazione sull'altra causa in assenza di evidenze sull'effetto.
  • BACS (Background-Adjusted Causal Strength): Un indice per misurare quanto un agente si attiene alle regole causali dichiarate (alto BACS) rispetto all'attribuzione a fattori latenti non menzionati (basso BACS).

3. Contributi Chiave

1. Benchmark Esteso: Valutazione sistematica di oltre 20 LLM contro una baseline umana su compiti causali non specificati, superando studi precedenti limitati a pochi modelli.
2. Nuovo Strumento Software: Rilascio di CAUSAIIGN, un pacchetto software che supporta prompt personalizzati e manipolazioni di contenuto per testare la robustezza del ragionamento causale.
3. Modelli Interpretativi: Dimostrazione che i giudizi complessi degli LLM possono essere compressi e predetti efficacemente da piccoli modelli causali interpretabili (CBN).
4. Analisi della Robustezza: Valutazione sistematica di come l'astrazione semantica e il rumore (testo irrilevante) influenzino il ragionamento, e come il CoT possa mitigare tali fragilità.

4. Risultati Principali

• Allineamento e Giudizi Sensati:

  • Sia umani che LLM giudicano l'effetto più probabile quando sono presenti più cause.
  • Il Chain-of-Thought (CoT) migliora significativamente l'allineamento tra LLM e umani, specialmente per modelli che inizialmente mostrano scarsi risultati con il prompting diretto.

• Interpretabilità (CBN):

  • I giudizi degli LLM sono ben catturati da un singolo modello CBN compatto.
  • Il CoT riduce l'errore assoluto medio (MAE) e migliora la generalizzazione fuori campione (LOOCV R²), indicando che il ragionamento diventa più coerente e meno dipendente da idiosincrasie del task.

• Confronto Umano vs. LLM (Bias e Regole):

  • Fiducia alle Regole (Rule-Fidelity): La maggior parte degli LLM mostra un BACS più alto rispetto agli umani. Gli LLM tendono a trattare le cause dichiarate come sufficienti e ignorano i fattori latenti non menzionati. Gli umani, invece, attribuiscono più peso a fattori esterni non specificati (interpretazione "open-world").
  • Bias del Collider:
    • Explanation Away (EA): Gli umani mostrano un EA debole (spesso non riducono la credenza nell'altra causa). Gli LLM mostrano un EA molto più forte, spesso normativo.
    • Violazione di Markov (MV): Gli umani violano frequentemente l'indipendenza delle cause (MV > 0). La maggior parte degli LLM è Markov-compliant (MV ≈ 0), rispettando l'indipendenza strutturale. Solo una minoranza di modelli replica il bias umano.

• Robustezza:

  • La robustezza è fortemente dipendente dal modello. Modelli avanzati come Gemini-2.5-pro mostrano un comportamento quasi invariante attraverso tutte le 8 condizioni.
  • Modelli più piccoli o vecchi sono più sensibili all'astrazione e al sovraccarico.
  • Il CoT aumenta generalmente la robustezza, riducendo la dispersione dei cluster di dati e rendendo il ragionamento più stabile di fronte a distrazioni.

5. Significato e Implicazioni

• Divergenza Strategica: Gli LLM non replicano semplicemente i bias umani; adottano strategie di ragionamento più "basate su regole" e rigide. Questo li rende potenzialmente complementari agli umani in scenari dove i bias umani sono indesiderabili, ma li rende vulnerabili in scenari reali dove l'incertezza intrinseca e i fattori non osservati sono la norma.
• Sicurezza e Deployment: La capacità degli LLM di mantenere un ragionamento causale coerente sotto CoT e in presenza di rumore suggerisce che tecniche di prompting appropriate possono mitigare la fragilità. Tuttavia, la loro tendenza a ignorare l'incertezza latente (open-world) richiede una caratterizzazione attenta prima del deployment in contesti ad alto rischio.
• Sinergia Modelli: Il lavoro dimostra che i modelli Bayesiani classici possono servire come target computazionali per interpretare e diagnosticare il comportamento di reti neurali su larga scala, confermando la complementarità tra approcci simbolici e subsimbolici nella comprensione dell'intelligenza.

In sintesi, il paper evidenzia che mentre gli LLM sono eccellenti nel seguire regole causali esplicite, la loro mancanza di bias umani "naturali" e la loro rigidità di fronte a fattori non specificati rappresentano sia un punto di forza (consistenza) che un limite critico (mancanza di adattabilità contestuale) per l'uso in scenari reali complessi.