💬 NLP

Evaluating Stochastic Collapse and Implicit Bias in Multimodal Large Language Models

Questo articolo introduce RandomBench, un benchmark e un insieme di metriche per valutare la capacità dei Modelli Linguistici di Grandi Dimensioni Multimodali di mantenere un comportamento distribuzionalmente neutro in scenari di neutralità logica, rivelando un fenomeno pervasivo chiamato "Collasso Stocastico" in cui i modelli esibiscono un forte bias implicito e non riescono a generare una casualità uniforme anche quando esplicitamente istruiti a farlo.

Autori originali: Huiyuan Zheng, Houtao Zhang, Boyang Wang, Qingyi Si, Hongcheng Guo

Pubblicato 2026-06-05

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Huiyuan Zheng, Houtao Zhang, Boyang Wang, Qingyi Si, Hongcheng Guo

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Centrale: Il Problema della "Moneta Truccata"

Immagina di chiedere a un amico di lanciare una moneta e dirti se è uscita Testa o Croce. Se sono davvero casuali, dovrebbero scegliere Testa il 50% delle volte e Croce il 50% delle volte.

Ora, immagina di chiedere a un'IA super intelligente (un Modello Linguistico di Grandi Dimensioni Multimodale o MLLM) di fare la stessa cosa: "Lancia una moneta. Dimmi Testa o Croce". Ti aspetti che l'IA sia perfettamente equa.

La scoperta scioccante del paper: La "moneta" dell'IA non è equa. È pesantemente truccata. Anche quando all'IA viene detto di essere casuale, ha segretamente un lato preferito. Potrebbe scegliere "Testa" il 97% delle volte e "Croce" solo il 3%, anche se sa di dover essere casuale.

Gli autori chiamano questo fenomeno "Stochastic Collapse" (Collasso Stocastico). È come se il cervello dell'IA rimanesse incastrato in un solco, incapace di lasciarsi andare davvero e scegliere in modo casuale.

Lo Strumento: "RandomBench" (La Cucina Sperimentale)

Per dimostrare questo, i ricercatori hanno costruito un nuovo test chiamato RandomBench. Immaginalo come una "zona priva di logica" o un "parco giochi neutrale".

L'Obiettivo: Creare situazioni in cui non esiste una risposta giusta.
L'Impostazione: Hanno creato 200 diversi scenari. Alcuni erano solo testuali (es. "Scegli una lettera: A, B, C o D"), altri coinvolgevano immagini (es. "Scegli una tra queste quattro forme identiche").
La Regola: Ogni opzione era esattamente uguale. Non c'era alcun motivo per scegliere A invece di B. Se l'IA fosse stata davvero casuale, avrebbe scelto ogni opzione il 25% delle volte.

Hanno chiesto a 7 diversi modelli di IA di alto livello di giocare a questo gioco 50 volte per ogni singolo scenario. Sono in totale 10.000 "lanci di moneta".

Cosa Hanno Scoperto: Le "Abitudini Segrete" dell'IA

I risultati hanno mostrato che i modelli di IA hanno fallito il test in modo spettacolare. Inveve di essere una moneta equa, si sono comportati come una slot machine guasta che finisce sempre sullo stesso simbolo.

Ecco le principali "cattive abitudini" che hanno trovato, spiegate con delle metafore:

1. Il "Sequestro Visivo" (L'Insegna Rumorosa)

Quando all'IA veniva mostrata un'immagine, la sua "casualità" si rompeva ancora più velocemente.

La Metafora: Immagina di dover scegliere una porta a caso. Ma una porta ha una piccola, quasi invisibile macchia, mentre le altre sono pulite. Anche se ti viene detto di ignorare la macchia, il tuo cervello è attratto da essa.
Il Risultato: L'IA non riusciva a ignorare i dettagli visivi. Se un'opzione era leggermente più luminosa, in un angolo specifico, o aveva una piccola sfocatura, l'IA sceglierebbe quella quasi ogni volta. L'indizio visivo ha "sequestrato" l'istruzione di essere casuale.

2. Il "Bias Posizionale" (Il Posto Centrale)

La Metafora: Immagina una fila di quattro sedie vuote. Ti viene detto di sederti in una a caso. Gli esseri umani potrebbero scegliere quella centrale perché sembra "sicura" o "centrale".
Il Risultato: L'IA aveva una forte preferenza per posizioni specifiche. Amava il centro, la parte superiore o il lato destro. Anche se le opzioni erano solo quattro quadrati bianchi, l'IA sceglieva quello in alto a destra il 90% delle volte.

3. Lo "Switch Linguistico" (L'Effetto Accento)

La Metafora: Immagina di chiedere a una persona di scegliere un numero a caso in inglese, e lei sceglie "7". Poi chiedi alla stessa persona di scegliere un numero a caso in francese, e lei improvvisamente passa a scegliere "3".
Il Risultato: La scelta "preferita" dell'IA cambiava a seconda della lingua utilizzata. La stessa immagine visiva portava a una scelta "casuale" totalmente diversa se le istruzioni erano in cinese rispetto all'inglese. Questo dimostra che il bias è profondamente legato ai dati linguistici su cui l'IA è stata addestrata.

4. Il Paradosso "Più Forte è Peggio"

La Metafora: Potresti pensare che un robot più intelligente o più obbediente sarebbe migliore nel seguire la regola del "sii casuale".
Il Risultato: Sorprendentemente, i modelli più intelligenti e "allineati" (quelli che seguono molto bene le istruzioni) erano in realtà peggiori nell'essere casuali. Erano così bravi a trovare uno schema per giustificare la loro scelta che si bloccavano su un'unica opzione e vi rimanevano attaccati, spesso inventando una scusa logicamente plausibile per spiegare perché l'avevano scelta, anche se non c'era alcuna logica in gioco.

Perché Succede? (Il Glitch del "Sistema 1")

Il paper utilizza un concetto della psicologia chiamato Teoria del Doppio Processo:

Sistema 2: Pensiero lento e logico (come risolvere un problema di matematica).
Sistema 1: Pensiero veloce, intuitivo, basato sull'istinto (come un riflesso).

La maggior parte dei benchmark per l'IA testa il Sistema 2 (Sai risolvere questo puzzle?). Ma questo paper ha testato il Sistema 1 (Qual è il tuo istinto quando non c'è un puzzle?).

I ricercatori hanno scoperto che quando l'IA viene forzata in un "vuoto logico" (dove nessuna opzione è migliore di un'altra), il suo Sistema 1 prende il sopravvento. Inveve di lanciare una moneta, l'IA torna ai suoi dati di addestramento. Sceglie l'opzione che appariva più spesso nei suoi libri di testo o quella che sembra più "familiare" al suo codice interno. Non sta facendo una scelta; sta solo seguendo la via di minor resistenza nascosta.

In Sintesi

Il paper conclude che gli attuali modelli di IA non sono veramente casuali. Anche quando diciamo loro di esserlo, possiedono profondi e invisibili bias basati su:

Dove si trova un oggetto sullo schermo.
Come appare l'oggetto (anche piccoli dettagli).
La lingua usata per porre la domanda.
Gli specifici simboli utilizzati (come lettere greche o forme).

Questo è un problema perché se un'IA dovrebbe prendere decisioni eque (come raccomandare un prodotto o scegliere un percorso) e ha segretamente un "preferito", potrebbe sembrare che stia facendo una scelta, ma in realtà sta solo seguendo uno script nascosto. La moneta che l'IA lancia è fondamentalmente rotta.

Sintesi Tecnica: Valutazione del Collasso Stocastico e del Bias Implicito nei Modelli Linguistici Multimodali Grandi

1. Definizione del Problema

Le attuali valutazioni dei Modelli Linguistici Multimodali (MLLM) si concentrano prevalentemente su obiettivi orientati all'utilità, come il ragionamento logico e il completamento di task, lasciando ampiamente inesplorato il comportamento dei modelli in scenari logicamente neutri. Nella cognizione umana, di fronte a opzioni perfettamente equivalenti prive di superiorità logica, gli individui rompono intuitivamente le stalli decisionali "lanciando una moneta". Tuttavia, indagini preliminari suggeriscono che gli MLLM non riescano a replicare questo comportamento; le loro "monete" sono fondamentalmente sbilanciate, mostrando distribuzioni di probabilità altamente non uniformi anche quando esplicitamente istruiti a scegliere casualmente.

Questo fallimento è critico poiché gli MLLM si stanno evolvendo in agenti autonomi. In sistemi di pianificazione multi-step o di raccomandazione commerciale, la mancanza di una genuina stocasticità può portare a traiettorie ripetitive, esperienze utente collassate e una copertura iniqua delle alternative percorribili. Mentre la ricerca esistente sui bias affronta gli stereotipi sociali espliciti o i fallimenti di allineamento cross-modale, la quantificazione sistematica dei bias comportamentali endogeni e privi di trigger in contesti di scelta puramente casuale rimane un territorio inesplorato.

2. Metodologia: RandomBench

Per colmare questa lacuna, gli autori introducono RandomBench, un benchmark progettato per quantificare il comportamento del modello sotto assoluta equivalenza semantica. Il framework si basa sul Principio di Neutralità Logica, dove tutte le opzioni candidate sono semanticamente equivalenti e logicamente non correlate all'obiettivo del task, costringendo il modello in un regime decisionale stocastico privo dell'ausilio del ragionamento deliberato (Sistema 2).

Costruzione del Dataset

RandomBench comprende 200 istanze divise in due modalità:

RB-Text (100 istanze): Valuta i prior linguistici attraverso quattro dimensioni:
- Simboli Astratti e Numeri: Prior di token e numerici (es. lanci di moneta, lanci di dadi).
- Scelta Linguistica e Funzionale: Stalli razionali utilizzando istruzioni sinonimiche.
- Spazio e Percezione: Modelli di mondo interiorizzati riguardanti direzioni spaziali e coordinate.
- Identità Affettiva e Sociale: Common sense e prior di stile di vita in contesti ambigui.
RB-Vision (100 istanze): Indaga come le caratteristiche visive rimodellino il comportamento stocastico tramite interazione cross-modale:
- Salienza Percezionale: Sensibilità a pattern geometrici, colori e materiali.
- Layout Spaziale: Bias posizionali in matrici standardizzate (es. griglie 2x2).
- Identità Affettiva e Sociale: Indizi visivi che inducono conformismo sociale.
- Hijacking Cross-Modale: Conflitti di tipo Stroop dove le caratteristiche visive contraddicono le istruzioni testuali.

La pipeline di cura prevede la costruzione manuale, un rigoroso filtraggio della neutralità logica per rimuovere contenuti sensibili, la costruzione di stimoli visivi ibridi (rendering basato su codice e generazione assistita da IA con standardizzazione a livello di pixel) e una revisione esperta multi-round da parte di ricercatori in scienze cognitive.

Metriche di Valutazione

Per quantificare le deviazioni dalla distribuzione uniforme ideale ( $P_{gt}(o_i) = 1/K$ ), gli autori propongono tre metriche basate sulla teoria dell'entropia dell'informazione:

Indice di Randomness (RI): Entropia di Shannon normalizzata che misura l'incertezza della distribuzione. Un RI alto indica uniformità; un RI basso indica collasso.
Indice di Intensità del Bias (BII): Divergenza di Kullback-Leibler (KL) tra la distribuzione empirica e la distribuzione uniforme ideale, misurando l'entità della "forza di hijacking" esercitata dai prior latenti.
Indice di Consistenza del Bias (BCI): Il residuo della probabilità empirica massima rispetto al baseline casuale, catturando la "persistenza selettiva" o l'ostinazione verso specifiche opzioni.

Configurazione Sperimentale

Lo studio valuta sette MLLM all'avanguardia (GPT 5.1, Gemini 3.1 Flash-Lite, Claude Sonnet 4.6, Kimi K2.5, Qwen 3.6 Plus, Grok 4 Fast, Doubao Seed 1.6) in inglese e cinese. Ogni istanza subisce 50 prove di campionamento ripetute a una temperatura di decoding di $T=1.0$ . Crucialmente, il ragionamento esplicito Chain-of-Thought (CoT) viene soppresso per isolare le euristiche di "Sistema 1".

3. Risultati Chiave

Collasso Stocastico

Gli esperimenti rivelano un fenomeno pervasivo denominato Collasso Stocastico. Sotto istruzioni esplicite di casualità, gli MLLM non riescono a mantenere una casualità uniforme. Inveve, concentrano la massa di probabilità su un piccolo sottoinsieme di scelte.

Gravità: In alcuni casi (es. Claude Sonnet 4.6), le probabilità del top-1 raggiungono il 97% partendo da un baseline ideale del 25%, con un RI che scende a 0.068.
Paradosso della Capacità: I modelli con capacità di ragionamento più forti e un migliore allineamento alle istruzioni spesso mostrano un collasso stocastico più severo. Ciò suggerisce che, man mano che i modelli ottimizzano la coerenza interna, interiorizzano rigidamente gli euristici impliciti, portando a un "ragionamento motivato" in cui generano razionalizzazioni post-hoc fluide per scelte influenzate da bias.

Hijacking Visivo

Nel dominio multimodale (RB-Vision), la degradazione stocastica è significativamente più profonda rispetto ai setting solo testuali. Gli ancoraggi visivi (salienza, posizione spaziale, complessità geometrica) sovrastano costantemente le istruzioni testuali per scegliere casualmente. Questo "Visual Hijacking" dimostra che lo strato di codifica visiva può effettivamente dominare il regime stocastico inteso.

Robustezza Cross-Lingua e dei Simboli

Dipendenza Linguistica: I bias impliciti non dipendono puramente dalla visione, ma sono modulati dal contesto linguistico. Cambiare lingua (es. da inglese a cinese) induce spesso riconsiderazioni sostanziali del manifold decisionale e inversioni di preferenza.
Sensibilità ai Simboli: Sostituire le etichette standard (A, B, C, D) con forme geometriche, lettere greche o hash casuali non riesce a ripristinare l'uniformità. Al contrario, i modelli collassano su nuovi prior di token (es. specifiche forme geometriche o lettere greche come $\gamma$ ), indicando che i simboli non standard agiscono come ancoraggi euristici primitivi.

4. Contributi Chiave

Scelta Casuale Neutra rispetto all'Utilità: Il paper stabilisce un nuovo setting diagnostico per valutare il bias comportamentale endogeno negli MLLM sotto equivalenza semantica, andando oltre i tradizionali benchmark di ragionamento logico.
RandomBench: Un benchmark multimodale caratterizzato da protocolli di campionamento ripetuto e metriche basate sull'entropia (RI, BCI, BII) progettati specificamente per quantificare il comportamento di scelta casuale non uniforme.
Collasso Stocastico: L'identificazione di un fallimento sistematico in cui gli MLLM esibiscono preferenze stabili, influenzate da bias e razionalizzate, anche quando nessuna opzione è logicamente superiore. Ciò include la scoperta di Visual Hijacking e del Paradosso Capacità-Coerenza.

5. Significato e Rivendicazioni

Il paper afferma che il Collasso Stocastico non è semplicemente un sintomo di modelli deboli o di formattazione superficiale, ma una vulnerabilità strutturale impressa nel manifold dei parametri dai prior di frequenza dei token pre-addestrati e dall'over-alignment.

Neutralità Cognitiva: Le scoperte sfidano l'assunto che gli MLLM possano raggiungere una vera neutralità cognitiva. Anche quando il ragionamento è non necessario, le decisioni rimangono sistematicamente influenzate da bias, eccessivamente sicure e distribuzionalmente collassate.
Implicazioni di Rischio: Gli autori evidenziano che il rischio più critico di questo fenomeno è l'illusione di un processo decisionale razionale. In scenari del mondo reale ad alto rischio e ambigui (es. guida autonoma, diagnosi medica), gli MLLM possono generare scelte fondamentalmente distorte ma presentate con estrema sicurezza, mascherate da razionalizzazioni post-hoc, amplificando bias sistemici impercettibili in fallimenti catastrofici.
Direzioni Future: Il lavoro pone le basi per future strategie di mitigazione, suggerendo che affrontare questi bias richiede più di semplici modifiche superficiali ai prompt; richiede interventi a livello dei prior di frequenza dei token pre-addestrati e della regressione del manifold di embedding.

Gli autori concludono che raggiungere una vera neutralità cognitiva nel decision-making ambiguo richiede di affrontare permanentemente le preferenze euristiche guidate dai dati che sono state impressamente nella topologia fisica della rete.