🤖 AI

Neural Diversity Regularizes Hallucinations in Language Models

Questo articolo introduce la "diversità neurale" come terzo asse di scalabilità per i modelli linguistici, proponendo il metodo ND-LoRA per ridurre le allucinazioni fino al 25,6% attraverso rappresentazioni parallele decorrelate e la regolarizzazione di Barlow Twins, stabilendo al contempo limiti formali che collegano una minore correlazione neurale a una maggiore affidabilità.

Autori originali: Kushal Chakrabarti, Nirmal Balachundhar

Pubblicato 2026-08-06

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Kushal Chakrabarti, Nirmal Balachundhar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un indovinello complicato, ma invece di chiedere a una sola persona, ne chiedi a un intero team. Se tutti i membri del team pensano esattamente allo stesso modo, potrebbero commettere tutti lo stesso errore sciocco e darti la risposta sbagliata insieme. Questo è il problema centrale dei moderni "modelli linguistici": i super-intelligenti programmi informatici che scrivono storie, rispondono a domande e chiacchierano con noi. Anche se questi programmi stanno diventando più grandi e intelligenti, a volte inventano le cose, un glitch chiamato "allucinazione". Potrebbero affermare con sicurezza un fatto falso o inventare una storia mai accaduta.

Per risolvere questo problema, gli scienziati di solito cercano di rendere i modelli più grandi o di nutrirli con più dati, come cercare di risolvere un puzzle comprando una scatola più grande. Ma questo articolo suggerisce un approccio diverso: invece di rendere il team più grande, rendi i membri del team diversi. Gli autori prendono in prestito un'idea dalla finanza chiamata "diversificazione". Proprio come un investitore non mette tutti i suoi soldi in un unico titolo perché se quel titolo fallisce, perde tutto, l'investitore distribuisce i suoi soldi su molti titoli diversi. Se un titolo crolla, gli altri potrebbero restare stabili, mantenendo il portafoglio al sicuro. L'articolo si chiede: possiamo fare la stessa cosa con i cervelli informatici? Se costringiamo le diverse parti del modello a pensare in modi leggermente diversi e non correlati, possiamo impedire che cadano tutte nello stesso errore contemporaneamente?

Questo è esattamente ciò che i ricercatori si sono proposti di testare. Propongono un nuovo metodo chiamato Neural Diversity (Diversità Neurale), che agisce come un "coach della diversità" per il cervello del computer. Inveve di lasciare che tutte le vie interne del modello collassino nel pensare nello stesso modo, costringono queste vie a rimanere distinte e indipendenti. Hanno costruito uno strumento chiamato ND-LoRA per farlo. Immagina di dare a un singolo modello informatico quattro diversi "cappelli" da indossare contemporaneamente. Ogni cappello rappresenta un modo leggermente diverso di elaborare la stessa frase. Il modello combina poi le risposte di tutti e quattro i cappelli.

I risultati sono piuttosto promettenti. Utilizzando questo approccio a "quattro cappelli" e un trucco matematico speciale per evitare che i cappelli diventino troppo simili, i ricercatori hanno scoperto di poter ridurre il numero di fatti inventati fino al 25,6% in test specifici, con un miglioramento medio del 14,6%. Questo è avvenuto senza dover rendere il modello informatico più grande o addestrarlo su più dati. In effetti, è costato solo un briciolo di potenza di calcolo in più: circa lo 0,008% in più di tempo di addestramento e solo 1,1 volte la velocità di esecuzione.

Tuttamente, però, l'articolo ha scoperto un colpo di scena: più diversità non è sempre meglio. È come un coro: se tutti cantano una nota diversa, si sente solo rumore. Se tutti cantano esattamente la stessa nota, è noioso e incline agli errori. Esiste un "punto di equilibrio" in cui le voci sono abbastanza diverse da cogliere gli errori, ma abbastanza simili da concordare sulla verità. I ricercatori hanno scoperto che questo punto di equilibrio cambia a seconda di ciò che il computer sta facendo. Per compiti che coinvolgono la narrazione creativa o la verifica dei fatti, avere voci più "diverse" (specificamente, da 4 a 8 flussi paralleli) funzionava meglio. Ma per compiti di memoria semplici, come ricordare un nome specifico, avere una sola voce era in realtà il metodo più affidabile.

Gli autori avvertono con cautela che, sebbene la loro matematica dimostri che questo dovrebbe funzionare e i loro esperimenti su un piccolo modello dimostrino che funziona, questa è una soluzione specifica per un tipo specifico di errore. Sostengono che le allucinazioni siano spesso causate dal fatto che le parti interne del modello rimangano intrappolate in un ciclo di idee simili e sbagliate, piuttosto che da una semplice mancanza di conoscenza. Rompendo quel ciclo con la diversità, possono rendere il modello più affidabile senza dover costruire un gigantesco e costoso supercomputer. È un modo intelligente e a basso costo per rendere l'IA un po' meno propensa a mentire, dimostrando che a volte, il modo migliore per ottenere una risposta migliore è porre contemporaneamente alcune domande diverse.

Sintesi Tecnica: La Diversità Neurale Regolarizza le Allucinazioni nei Modelli di Linguaggio

Definizione del Problema

Nonostante la scalabilità di parametri, calcolo e dati, i modelli di linguaggio (LM) continuano a soffrire di persistenti allucinazioni. Questa crisi di affidabilità è particolarmente acuta per i piccoli modelli di linguaggio (SLM), che sono sempre più favoriti per applicazioni edge e agentiche, ma possiedono rappresentazioni compresse che li rendono vulnerabili alla generazione di contenuti fattualmente errati o incoerenti.

Le attuali strategie di mitigazione si concentrano ampiamente sull'ottimizzazione delle prestazioni medie (miglioramenti del primo momento) piuttosto che sul controllo del rischio di coda. Tecniche come il Reinforcement Learning from Human Feedback (RLHF), la Generazione Aumentata da Recupero (RAG) e il decoding contrastivo mirano a migliorare l'innocuità media o l'ancoraggio fattuale. Tuttavia, questi metodi mancano di garanzie formali riguardo alla probabilità di fallimenti catastrofici (allucinazioni). Inoltre, i metodi di scaling parallelo esistenti soffrono spesso di "collasso rappresentazionale", dove flussi paralleli convergono verso rappresentazioni simili, fallendo nel realizzare guadagni di affidabilità. Il paper postula che le allucinazioni derivanti da errori rappresentazionali correlati, piuttosto che dalla mancanza di conoscenza, costituiscano un problema di affidabilità del secondo momento suscettibile alla diversificazione della teoria del portafoglio.

Metodologia

Framework Teorico: Teoria del Portafoglio per le Allucinazioni

Gli autori riformulano la probabilità di allucinazione come un problema di affidabilità del secondo momento governato dalla covarianza rappresentazionale. Tracciando il modello di Markowitz della teoria del portafoglio (1952), propongono che rappresentazioni parallele decorrelate ("diversità neurale") possano ridurre il limite superiore della coda della probabilità di allucinazione.

Modello Segnale-Rumore: Il modello assume $P$ flussi computazionali paralleli che elaborano lo stesso input. Ogni flusso produce una rappresentazione nascosta $Z_i = z^* + \epsilon_i$ , dove $\epsilon_i$ è il rumore.
Indice di Diversità Neurale ( $D$ ): Un indice basato sul coseno misura la diversità tra gli stream. $D=0$ implica perfetta ortogonalità, mentre $D=1$ implica un completo collasso.
Limiti Teorici:
- Teorema 1: Dimostra che la probabilità di allucinazione $P(H_\delta)$ è limitata da una funzione della diversità neurale $D$ e del numero di stream $P$ . Nello specifico, con una decorrelazione perfetta, $P(H_\delta)$ scala come $O(1/P)$ .
- Teorema 2: Dimostra un comportamento di scaling non monotono. Sebbene l'aumento di $P$ riduca inizialmente le allucinazioni, un eccessivo parallelismo può portare a un aumento della correlazione (a causa dei vincoli dell'ottimizzatore), causando un degrado della affidabilità. Ciò risulta in una curva a forma di U dove esiste un $P^*$ ottimale per un dato compito.

ND-LoRA: Neural Diversity Low-Rank Adaptation

Per operazionalizzare questa teoria, gli autori introducono ND-LoRA, un'architettura parameter-efficient che combina adattatori LoRA paralleli con una esplicita regolarizzazione della decorrelazione.

Architettura: Il modello impiega $P$ $P$ flussi paralleli. Ogni stream utilizza:
- Adattatori LoRA specifici per lo stream: Applicati ad ogni livello per perturbare la rappresentazione.
- Token di Prefisso Apprendibili: 48 token preposti alla sequenza di input.
- Aggregatore Multi-Stream: Un meccanismo appreso per combinare gli output degli stream con pesi dinamici, prevenendo il collasso dell'attenzione.
Regolarizzazione: L'obiettivo di training incorpora una regolarizzazione Barlow Twins ( $L_{BT}$ ) applicata a coppie di stream in un livello di design designato. Questo forza la matrice di cross-correlazione delle feature biancate tra gli stream ad avvicinarsi alla matrice identità, minimizzando esplicitamente la ridondanza rappresentazionale.
Efficienza dei Costi: Il backbone rimane congelato; vengono addestrati solo gli adattatori paralleli e l'aggregatore. Ciò comporta un costo di pre-training trascurabile (+0,008% del pre-training continuato) e un modesto aumento della latenza di inferenza (1,1×).

Contributi Chiave

Collegamento Teorico: Il paper fornisce il primo framework formale per i limiti della probabilità di allucinazione negli ensemble di LM. Dimostra che la diversità neurale riduce questi limiti ed stabilisce l'esistenza di un livello di parallelismo ottimale ( $P^*$ ) che minimizza le allucinazioni, spiegando il 94,3% della variazione di affidabilità nelle loro configurazioni.
Dimostrazione Costruttiva (ND-LoRA): Gli autori dimostrano la fattibilità empirica riducendo le allucinazioni fino al 25,6% (14,6% in media) su un piccolo modello di linguaggio (Qwen2.5-0.5B) senza degradare le capacità generali. Ciò è ottenuto con un costo computazionale aggiuntivo quasi nullo.
Analisi Meccanicistica: Attraverso ablazioni e interventi causali, il paper stabilisce che la diversità neurale è il fattore mediatore.
- Causalità: Corrompere artificialmente la diversità porta a cali di accuratezza statisticamente significativi ( $p < 0,001$ ).
- Sinergia: Gli adattatori LoRA e la regolarizzazione Barlow Twins agiscono sinergicamente; nessuno dei due da solo è sufficiente per massimizzare i guadagni.
- Dipendenza dal Compito: Diversi compiti richiedono diversi livelli ottimali di diversità. I compiti focalizzati sulle allucinazioni beneficiano di una maggiore diversità, mentre i compiti di recupero della conoscenza spesso raggiungono il picco a $P=1$ .

Risultati Sperimentali

La valutazione è stata condotta su Qwen2.5-0.5B addestrato su 20 milioni di token da The Pile, valutato su 12 compiti.

Riduzione delle Allucinazioni: ND-LoRA ha ottenuto miglioramenti significativi sui benchmark delle allucinazioni rispetto ai baseline con parametri equivalenti:
- HaluEval (Summarization): +25,6% di miglioramento relativo ( $P^*=4$ ).
- HaluEval (QA): +23,4% di miglioramento relativo ( $P^*=4$ ).
- TruthfulQA (MC2): +9,5% di miglioramento relativo ( $P^*=2$ ).
- MemoTrap v2: +8,8% di miglioramento relativo ( $P^*=8$ ).
Preservazione delle Capacità: Le capacità generali (misurate da NQ, Winogrande, Wikitext BPB) sono state preservate o leggermente migliorate, indicando l'assenza di una "tassa sulla conoscenza".
Confronto con i Baseline: ND-LoRA ha superato le interazioni al tempo di inferenza (Context-Aware Decoding, Activation Decoding) e la regolarizzazione del disaccordo al tempo di training, ottenendo una riduzione media delle allucinazioni del +14,6% rispetto al +4,1% del secondo miglior metodo.
Fit Teorico: La relazione empirica tra diversità neurale e affidabilità ha seguito la previsione teorica con un $R^2$ di 0,943.

Significatività e Rivendicazioni

Il paper sostiene di offrire un cambio di paradigma nel trattamento dell'affidabilità dei LM, riformulando le allucinazioni come un problema del secondo momento (varianza e correlazione) piuttosto che un problema del primo momento (accuratezza media).

Ortogonale allo Scaling: La diversità neurale consente guadagni di affidabilità senza un massiccio scaling di parametri o dati. Essa controlla la probabilità di coda attraverso la struttura della varianza e della correlazione piuttosto che attraverso la capacità.
Efficienza dei Costi: L'approccio ottiene sostanziali miglioramenti di affidabilità con un overhead di pre-training quasi nullo e solo un penalità di latenza di inferenza di 1,1×, rendendolo adatto a deployment sensibili alla sicurezza e tolleranti alla latenza.
Ottimalità Specifica per Compito: Il lavoro evidenzia che l'affidabilità non è una proprietà monolitica; diversi compiti richiedono diversi gradi di diversità neurale. Ciò suggerisce un passaggio dalle leggi di scaling "one-size-fits-all" verso un design architettonico principiato basato sulle caratteristiche del compito.

Gli autori concludono che, sebbene la loro dimostrazione sia su un modello piccolo, il framework teorico e il basso overhead suggeriscono che la diversità neurale sia un meccanismo scalabile e pratico per migliorare l'affidabilità dei modelli di linguaggio in domini ad alto rischio.