Sintesi Tecnica: Bias Cognitivi Condizionali nei LLM

Definizione del Problema

I Large Language Models (LLM) istruiti tramite instruction-tuning sono sempre più impiegati come strumenti di supporto alle decisioni in domini ad alto rischio, come il ragionamento legale, il triage medico e la consulenza finanziaria. Mentre la ricerca precedente ha caratterizzato ampiamente i bias cognitivi nei LLM sotto valutazione zero-shot (ad esempio, framing, ancoraggio, bias di conferma), questi benchmark trattano il bias come una proprietà indipendente dal contesto. Nelle implementazioni reali, le risposte del modello sono condizionate dai turni conversazionali precedenti. Un turno utente distorto introduce un percorso causale confondente: cambia il formato dell'input da zero-shot a dialogo (attivando il condizionamento dell'instruction-tuning) e introduce simultaneamente un contenuto semantico specifico che interagisce con l'addestramento all'allineamento del modello. La letteratura esistente non riesce a distinguere se i cambiamenti nell'espressione del bias nei LLM siano guidati dalla mera presenza di un turno utente o dal contenuto specifico del bias all'interno di quel turno.

Metodologia

Per isolare questi percorsi causali, gli autori introducono un nuovo framework sperimentale a tre condizioni valutato su otto modelli LLM frontier istruiti (inclusi GPT-4o, Claude-3.5-Haiku, varianti di Llama-3.1 e DeepSeek-V3).

Disegno Sperimentale

Per ogni scenario e target bias, l'LLM viene valutato sotto tre condizioni distinte:

1. Zero-shot ($m_\emptyset$): Il prompt decisionale è presentato senza alcun contesto precedente.
2. Turno Utente Neutro ($m_n$): Un turno utente privo di bias precede il prompt decisionale, isolando l'effetto dello shift di formato (dialogo vs. zero-shot) mantenendo costante il contenuto.
3. Turno Utente Distorto ($m_b$): Un turno utente che esprime esplicitamente un particolare bias cognitivo precede il prompt decisionale.

Decomposizione dell'Effetto

Lo studio definisce tre estimandi per separare i meccanismi di modulazione del bias:

• Effetto Presenza ($\Delta_n = |m_n| - |m_\emptyset|$): Isola l'impatto del passaggio da uno zero-shot a un formato di dialogo multi-turno con contenuto neutro.
• Effetto Contenuto ($\delta = |m_b| - |m_n|$): Isola l'impatto del contenuto specifico del bias all'interno del turno utente, mantenendo costante il formato del dialogo.
• Effetto Totale ($\Delta_b = |m_b| - |m_\emptyset| = \Delta_n + \delta$): Il cambiamento netto nell'espressione del bias rispetto al baseline zero-shot.

Dataset e Validazione

Gli autori hanno costruito un banco di stimoli di 24.300 prompt utente validati da giuria che coprono tutti gli 81 segmenti di una matrice $9 \times 9$ (9 target bias di LLM $\times$ 9 bias umani).

• Selezione dei Bias: Nove bias sono stati selezionati sulla base di benchmark stabiliti (Malberg et al., 2025): Ancoraggio (Anchoring), Euristica della Disponibilità (Availability Heuristic), Effetto Bandwagon (Bandwagon Effect), Bias di Conferma (Confirmation Bias), Effetto Framing (Framing Effect), Bias di In-group (In-Group Bias), Avversione alle Perdite (Loss Aversion), Fallacia della Pianificazione (Planning Fallacy) e Bias dello Status Quo (Status Quo Bias).
• Controllo Qualità: Una giuria composta da tre modelli LLM-as-judge (GPT-4o-Mini, Claude-3.5-Haiku, Gemini) ha validato tutti i turni utente rispetto a quattro criteri: rating target, purezza (distinzione dagli altri bias), naturalezza e accuratezza dell'identificazione al buio.
• Identificazione Causale: Lo studio impiega il Difference-in-Differences (DiD), il Propensity Score Matching (PSM) e i Metodi di Controllo Sintetico (SCM) per fornire prove causali oltre le semplici correlazioni aggregate.

Risultati Chiave

1. I Turni Distorti Aumentano Sistematicamente il Bias (Effetto Totale)

In 6 di 8 modelli, l'introduzione di un turno utente distorto aumenta l'entità dell'espressione del bias dell'LLM rispetto ai baseline zero-shot ($\bar{\Delta}_b > 0$, intervallo da +0,022 a +0,051).

• GPT-4o è un'eccezione in cui i due meccanismi sottostanti si annullano a vicenda ($\bar{\Delta}_b \approx 0$).
• Claude-3.5-Haiku mostra un effetto totale negativo ($\bar{\Delta}_b = -0,064$), guidato da un forte effetto presenza negativo.

2. L'Effetto Presenza Inflaziona il Bias

La mera presenza di un turno utente (anche neutro) aumenta significativamente il bias misurato in 7 di 8 modelli ($\Delta_n$ varia da +0,019 a +0,086). Ciò suggerisce che i benchmark zero-shot sottostimano sistematicamente il bias conversazionale.

• Eccezione: Claude-3.5-Haiku presenta un effetto presenza negativo ($\Delta_n = -0,101$), coerente con la sua assenza di bias tramite l'allineamento di Constitutional AI che sopprime il bias in modalità dialogo.
• Correlazione: I modelli con capacità più elevate (misurata tramite MMLU) mostrano una minore inflazione della presenza.

3. L'Effetto Contenuto Spesso Sopprime il Bias

Contrariamente all'ipotesi che un contesto distorto aumenterebbe il bias, sostituire un turno neutro con uno distorto riduce l'entità del bias in 6 di 8 modelli ($\delta < 0$).

• Questa "soppressione per contrasto" suggerisce che i segnali di bias espliciti innescano una resistenza legata all'allineamento, portando a completamenti più normativi.
• Eccezioni: DeepSeek-V3 e Claude-3.5-Haiku mostrano effetti di contenuto positivi. Gli autori attribuiscono questo ai loro processi di allineamento deliberativo (Chain-of-Thought RLFT e Constitutional AI), che sembrano amplificare i segnali in-context piuttosto che sopprimerli.

4. Accoppiamento tra Struttura e Inducibilità

L'analisi della matrice di accoppiamento dei bias $9 \times 9$ rivela:

• Dominanza della Struttura di Riga: La suscettibilità di un target bias alla modulazione è governata dal target bias stesso, non dal tipo di bias umano specifico.
• Assenza di Vantaggio Diagonale: Non vi è evidenza di "contagio dello stesso bias" (ovvero, un essere umano che esprime il Bias X non induce selettivamente il Bias X nel modello più di altri bias).
• Fallacia della Pianificazione: È l'unico target bias confermato causalmente come universalmente inducibile in tutti gli 8 modelli. Mostra costantemente un effetto totale positivo, probabilmente perché la sua espressione (ottimismo/sottostima) è implicita e meno probabile che inneschi segnali di soppressione dell'allineamento.
• Bias Sopprimibili: L'Effetto Bandwagon e l'Euristica della Disponibilità sono costantemente sopprimibili da turni in-context distorti.

Significato e Rivendicazioni

Il documento sostiene che i benchmark del bias zero-shot sottostimano sistematicamente il bias conversazionale perché non tengono conto dell' "effetto presenza" del dialogo. Lo studio dimostra che:

1. Il Contesto Conta: L'atto stesso di impegnarsi in un dialogo multi-turno altera il profilo di espressione del bias del modello rispetto a prompt isolati.
2. L'Allineamento dipende dalla Ricetta: La direzione dell'effetto contenuto (soppressione vs. amplificazione) è determinata dalla specifica ricetta di allineamento (ad esempio, standard RLHF vs. Constitutional AI vs. Chain-of-Thought RLFT).
3. Inducibilità Universale: Mentre la maggior parte dei bias è soppressa da segnali espliciti, la Fallacia della Pianificazione rimane robustamente inducibile attraverso diverse architetture di modelli e pipeline di addestramento.

Gli autori concludono che i protocolli di valutazione della sicurezza e di auditing del bias devono essere stratificati per ricetta di allineamento e includere turni conversazionali precedenti per riflettere accuratamente le condizioni di deployment. Rilascia la loro framework, il codice e il dataset di 24.300 elementi per supportare la ricerca futura sui bias cognitivi condizionati dal contesto.