💬 NLP

OptimismBench: Forecasting Bias and the Alignment Effect in Language Model Judgment

Il documento introduce OptimismBench, un nuovo framework che utilizza coppie invertite di successo/fallimento per rilevare il bias direzionale sistematico nei grandi modelli linguistici, rivelando che la maggior parte dei modelli esibisce una "inclinazione all'ottimismo" guidata dall'allineamento post-addestramento piuttosto che dall'architettura del modello o dal linguaggio.

Autori originali: Seonglae Cho, Adriano Koshiyama

Pubblicato 2026-07-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Seonglae Cho, Adriano Koshiyama

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate di chiedere a un gruppo di amici molto intelligenti e colti di indovinare l'esito di un lancio di moneta, il successo di una startup o se pioverà domani. Chiedete loro: "Quali sono le probabilità che vada bene?" e poi, separatamente, "Quali sono le probabilità che vada male?". In un mondo perfetto, se un vostro amico dice che c'è una probabilità del 70% di successo, dovrebbe anche dire che c'è una probabilità del 30% di fallimento. Questi due numeri dovrebbero sommare esattamente al 100%. Questa è la logica di base della probabilità: se hai una torta intera, la fetta che mangi più la fetta che lasci indietro deve essere uguale all'intera torta.

Tuttavia, gli esseri umani sono famosamente scarsi in questo. Abbiamo un "glitch cognitivo" chiamato bias di ottimismo, dove tendiamo a pensare che le cose belle abbiano una probabilità maggiore di accadere a noi di quanto non sia realmente, e che le cose brutte abbiano una probabilità minore. Abbiamo anche la "teoria del prospetto", che suggerisce che sentiamo il dolore di una perdita in modo molto più acuto rispetto alla gioia di un guadagno, il che ci porta a pesare rischi e ricompense in modo sbilanciato. Per molto tempo, gli scienziati si sono chiesti: queste stesse stranezze umane infettano la nostra intelligenza artificiale? Se chiediamo a un modello linguistico di prevedere il futuro, ha la sua versione di "sperare nel meglio" che altera i suoi calcoli? Questo è importante perché stiamo iniziando a usare questi modelli di IA per aiutarci a prendere grandi decisioni, dal gestire investimenti finanziari al pianificare trattamenti medici. Se l'IA è segretamente orientata all'ottimismo, potrebbe portarci a correre rischi pericolosi che non volevamo correre.

È esattamente ciò che investiga il documento OptimismBench. I ricercatori hanno costruito un campo di prova speciale per vedere se i Large Language Models (LLM) abbiano un "pregiudizio" sistematico nei loro giudizi probabilistici. Non si sono limitati a chiedere ai modelli di indovinare; hanno usato un trucco intelligente chiamato "coppie invertite". Per ogni singolo scenario, hanno posto al modello due domande: "Qual è la probabilità di successo?" e "Qual è la probabilità di fallimento?". Se il modello fosse perfettamente logico, le sue risposte dovrebbero sempre sommare al 100%. Ma se il modello è influenzato da un bias, i numeri non torneranno.

I risultati sono stati sorprendentemente chiari. Su 16 diversi modelli di IA testati di 8 grandi aziende, 14 erano costantemente ottimisti. Sovrastimavano la probabilità di successo e sottostimavano la probabilità di fallimento. Era come chiedere a un gruppo di amici di indovinare il tempo, e quasi tutti insistevano che sarebbe stato soleggiato, anche quando le nuvole si stavano radunando. Gli unici modelli che erano "pessimisti" (pensando che le cose brutte fossero più probabili di quanto non dovrebbero essere) provenivano da un'azienda specifica, Anthropic, e solo i loro modelli più grandi e avanzati. Interessante il fatto che i loro modelli più piccoli e leggeri fossero in realtà ottimisti, proprio come tutti gli altri.

Lo studio ha anche scavato nel perché accada questo. Hanno scoperto che il bias non è solo un glitch casuale o il risultato del fatto che il modello sia confuso; è una caratteristica profonda del modo in cui questi modelli vengono addestrati. Quando i ricercatori hanno confrontato le versioni "raw" (grezze) di questi modelli (prima che venissero perfezionati per essere assistenti utili) con le loro versioni "chatbot", hanno visto che il processo di addestramento cambiava la direzione del bias. Per alcune famiglie di modelli, l'addestramento li rendeva più ottimisti; per altre, li rendeva più pessimisti. Ciò suggerisce che la "personalità" del bias dell'IA è determinata dalla specifica ricetta utilizzata per insegnare al modello come parlare agli esseri umani.

I ricercatori hanno anche verificato se questo bias fosse solo un trucco della domanda o se potesse essere corretto semplicemente dicendo all'IA: "Ehi, non essere troppo ottimista!". Hanno provato a cambiare le impostazioni della temperatura, a porre le domande da diversi punti di vista (come "Tu" vs. "Il tuo amico") e persino ad aggiungere un'etichetta di avviso nelle istruzioni dell'IA. Nessuna di queste correzioni superficiali ha funzionato. Il bias rimaneva ostinato, dimostrando che è una parte fondamentale della logica interna del modello, non solo una momentanea confusione.

Forse il reperto più sorprendente è stato che il modello contava molto più della lingua. I ricercatori hanno testato questi modelli in 10 lingue diverse. Hanno scoperto che la differenza di bias tra due modelli diversi era quasi 5 volte superiore alla differenza di bias quando lo stesso modello parlava lingue diverse. In altre parole, se un'IA è ottimista o pessimista dipende da quale IA stai usando, non dal fatto che stia parlando inglese, cinese o spagnolo.

In breve, il documento rivela che i nostri strumenti di IA non sono calcolatori neutrali. Portano con sé un "bias direzionale" nascosto che può inclinare la nostra percezione di rischio e ricompensa. Mentre la maggior parte dei modelli propende per una visione ottimistica e soleggiata del futuro, questa non è una regola universale: dipende fortemente da chi ha costruito il modello e da come lo ha addestrato. Gli autori avvertono che se usiamo questi modelli per aiutarci a prendere decisioni, dobbiamo essere consapevoli che i loro "sentimenti viscerali" potrebbero essere sistematicamente distorti, e non possiamo dare per scontato che vedano il mondo con chiarezza.

Sintesi Tecnica: OptimismBench

Definizione del Probleo

I grandi modelli linguistici (LLM) vengono sempre più impiegati come ausili decisionali in cui i loro giudizi probabilistici influenzano direttamente le scelte a valle. Tuttavia, gli attuali framework di valutazione non riescono a rilevare un tipo specifico di errore sistematico: il bias direzionale. Le metriche di calibrazione standard (ad esempio, l'Errore di Calibrazione Atteso) aggregano errori non firmati, il che significa che un modello uniformemente ottimista (che sovrastima gli esiti positivi) e uno uniformemente pessimista (che li sottostima) possono produrre punteggi di calibrazione identici. Inoltre, i compiti di previsione naturalistica spesso mancano di probabilità di verità fondamentale (ground-truth), rendendo difficile distinguere tra un modello semplicemente impreciso e uno che possiede una "inclinazione" sistematica verso le valenze positive o negative.

Il documento postula che gli LLM possano esibire una distorsione dipendente dalla valenza simile al bias di ottimismo umano (Weinstein, 1980; Sharot, 2011), dove i modelli sovrastimano sistematicamente la probabilità di esiti positivi e sottostimano quelli negativi, o viceversa. Questo bias non è stato misurato direttamente perché i lavori precedenti sulla coerenza probabilistica (ad esempio, Zhu e Griffiths, 2025) hanno riportato solo violazioni non firmate, senza decomporre la direzione dell'errore.

Metodologia: OptimismBench

Per colmare questa lacuna, gli autori introducono OptimismBench, un benchmark progettato per rilevare il bias direzionale utilizzando coppie invertite.

Meccanismo Core: Coppie Invertite

Per ogni scenario, al modello viene chiesto di stimare due probabilità complementari:

$P(\text{successo})$ (Inquadramento positivo)
$P(\text{fallimento})$ (Inquadramento negativo)

Un modello perfettamente coerente dovrebbe produrre stime che sommano a 100. Il benchmark definisce una metrica di Skew (asimmetria) per quantificare l'asimmetria direzionale:
$\text{Skew}_i = s^+_i - (100 - s^-_i)$
Dove $s^+_i$ e $s^-_i$ sono le risposte intere (0–100) del modello alle versioni positiva e negativa dello scenario $i$ .

Skew Positivo: Indica un bias ottimistico (sovrastima del successo rispetto al fallimento).
Skew Negativo: Indica un bias pessimistico.
Skew Zero: Indica coerenza interna.

La metrica è decomposta in componenti di valenza ( $\delta^+$ e $\delta^-$ ) per distinguere tra "sovra-rivendicazione composta" (inflazione di entrambi gli esiti) e il classico ottimismo/pessimismo direzionale.

Design Sperimentale

Dataset: 60 scenari controllati a coppia invertita attraverso 6 domini (quotidiano, accademico, progetti, business, policy, salute). Gli scenari sono culturalmente neutri e privi di basi di probabilità dichiarate per forzare il giudizio probabilistico piuttosto che il recupero di informazioni.
Scala: Il dataset rilasciato include 3.870 elementi in 10 lingue.
Modelli Valutati: 16 modelli di 8 provider (OpenAI, Anthropic, Google, Alibaba, DeepSeek, Mistral, Meta, Zhipu), che spaziano dai livelli piccoli ai modelli di frontiera.
Track:
- Track A (Controllo della Calibrazione): Scenari con basi di probabilità esplicite per verificare se i modelli possono riportare probabilità note (aspettandosi uno Skew $\approx$ 0).
- Track B (Primaria): Scenari naturalistici senza basi di probabilità dichiarate.
- Tracks C & D: Track di raccomandazione e salienza per testare se il bias persiste attraverso diversi frame di elicitazione.
Interventi: Lo studio impiega interventi fattoriali inclusi la manipolazione narrativa (aggiunta di contesto positivo/negativo), spostamenti di prospettiva (prima, seconda, terza persona), variazioni di temperatura e avvisi espliciti di auto-debiasing.

Risultati Chiave

1. Bias Direzionale Universale

Tutti i 16 modelli valutati esibiscono un bias direzionale significativo ( $p < 0.002$ ).

Ottimismo: 14 modelli sono ottimisti, con valori di Skew compresi tra +4.2 e +16.6.
Pessimismo: Solo i modelli di frontiera di Anthropic (Opus 4.6: -5.1, Sonnet 4.6: -7.7) esibiscono un bias pessimista.
Indipendente dal Provider: Il bias attraversa API commerciali, provider cinesi e modelli europei, indicando che non è specifico per i dati di addestramento di un singolo provider.

2. Il Ruolo del Post-Training (Alignment)

La direzione del bias è determinata dal post-training (allineamento) piuttosto che dal pre-training o dall'architettura da sola.

Probe Controllate: Confrontando le coppie base-versus-chat corrispondenti in quattro famiglie (Qwen, Llama, Gemma, Mistral), si rivelano spostamenti specifici per famiglia:
- Qwen: L'allineamento sposta il bias verso un minore ottimismo (spostamento negativo in tutte le 5 coppie).
- Llama: L'allineamento amplifica l'ottimismo (spostamento positivo in tutte le 4 coppie).
- Gemma/Mistral: Mostrano pilot singoli coerenti con queste tendenze.
Gradiente Anthropic: All'interno di Anthropic, il modello leggero Haiku 4.5 è ottimista (+6.1), mentre i modelli più grandi Opus e Sonnet sono pessimisti. Questa non-monotonicità scarta l'ipotesi di un semplice "modello più grande è meno distorto", suggerendo che le ricette di allineamento variano per livello.

3. Robustezza e Stabilità

Prompt e Temperatura: La direzione del bias è preservata attraverso variazioni di prompt, temperature (0.7 vs 1.0) e spostamenti di prospettiva (escludendo la sicofantia come causa primaria).
Auto-Debiasing: Gli avvisi espliciti sull'ottimismo riducono leggermente l'entità, ma non eliminano la direzione, suggerendo che il bias sia una proprietà profonda delle rappresentazioni apprese dal modello.
Suscettibilità Narrativa: Sebbene l'aggiunta di contesto positivo/negativo sposti le stime di circa 20 punti percentuali, la direzione del bias sottostante (ottimistico vs pessimista) rimane invariata.

4. Varianza Cross-Lingua e di Dominio

L'Identità del Modello Domina: La varianza inter-modello è 4.7× più grande della varianza inter-lingua. Il modello specifico utilizzato conta molto più della lingua che sta parlando.
Modulazione del Dominio: Sebbene l'entità del bias vari per dominio (ad esempio, le abitudini sulla salute mostrano la maggiore dispersione), la direzione del bias è stabile tra i domini.

5. Coerenza Probabilistica

Congiunzione vs. Dose-Risposta: I modelli mostrano un'alta coerenza sugli assiomi di congiunzione semplice ( $P(A) \ge P(A \cap B)$ ), ma alti tassi di violazione (27–47%) sulla monotonicità dose-risposta (aggiornamento coerente attraverso scale di evidenza). L'allineamento migliora la coerenza a singolo step ma non risolve il ragionamento monotonico multi-step.

Significato e Rivendicazioni

Il documento sostiene che il bias di probabilità direzionale è una proprietà universale, misurabile e stabile degli attuali LLM, distinta dall'errore di calibrazione.

Effetto Collaterale dell'Allineamento: Lo studio identifica la distorsione della probabilità dipendente dalla valenza come un effetto collaterale precedentemente non misurato dell'allineamento. La direzione di questo bias (ottimismo vs pessimismo) è impostata dagli stack di post-training specifici della famiglia di modelli.
Auditabilità: OptimismBench fornisce una metrica firmata (Skew) che consente ai professionisti di sottoporre i modelli ad audit per il bias direzionale senza richiedere probabilità di verità fondamentale.
Dipendenza dal Framing del Task: Fondamentalmente, il paper nota che il bias non è un singolo tilt latente. Mentre il framing probabilistico (Track B) produce un bias direzionale costante, il framing di raccomandazione (Track C) può invertire il segno (elicitando cautela), e il framing di salienza (Track D) elisita un ottimismo uniforme. Ciò implica che le pipeline a valle che ereditano questi modelli erediteranno il tilt specifico del frame utilizzato.
Implicazione Pratica: Per i sistemi di previsione e consulenza, l'identità del modello e la sua specifica storia di allineamento sono i determinanti primari del bias, non la lingua o il dominio specifico. I professionisti devono profilare i modelli per tipologia di task piuttosto che assumere una direzione di bias uniforme.

Gli autori concludono che, sebbene l'allineamento renda i modelli più utili, esso simultaneamente inclina i loro giudizi probabilistici, e tale inclinazione viene ereditata per impostazione predefinita nelle applicazioni a valle. Il benchmark e il dataset vengono rilasciati per consentire l'audit del bias direzionale per ogni modello.