💻 computer science

Hallucination Span Detection with Input-Side Evidence Alignment

Questo articolo introduce un nuovo compito e un metodo basato su encoder per rilevare gli span allucinati nel testo generato da LLM, sfruttando la prevedibilità dei token fedeli dall'evidenza di input per identificare simultaneamente le allucinazioni e allinearle alla loro fonte.

Autori originali: Miyu Yamada, Yuki Arase

Pubblicato 2026-08-18

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Miyu Yamada, Yuki Arase

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

I modelli linguistici di grandi dimensioni hanno trasformato il modo in cui interagiamo con i computer, agendo come potenti motori capaci di riassumere notizie, rispondere a domande complesse e redigere documenti. Questi sistemi funzionano prevedendo la parola successiva in una frase sulla base di schemi che hanno appreso da enormi quantità di testo. Tuttavia, un difetto persistente ne mina l'affidabilità: a volte inventano fatti. Questo fenomeno, noto come allucinazione, si verifica quando un modello genera informazioni che sembrano plausibili ma che sono o non supportate dal materiale sorgente o la contraddicono direttamente. Per gli utenti che si affidano a questi strumenti per compiti critici, distinguere tra un riassunto utile e una storia fabbricata è difficile. La sfida principale non risiede solo nel sapere che esiste un errore, ma nel individuare esattamente quali parole siano sbagliate e trovare la parte specifica del testo originale che dimostri che sono errate. Senza questo livello granulare di dettaglio, verificare la veridicità di un documento lungo rimane un processo manuale e tedioso.

I ricercatori dell'Istituto di Scienza di Tokyo hanno sviluppato un nuovo approccio per risolvere questo problema, spostando l'attenzione dal giudicare un intero testo all'esaminare le singole parole. Invece di chiedere a un computer di etichettare semplicemente un intero paragrafo come vero o falso, il loro metodo agisce come una lente d'ingrandimento, scansionando l'output generato parola per parola per vedere se può essere ricondotto alla fonte. Il team opera su un'osservazione semplice ma potente: se una parola nel riassunto è fedele al testo originale, un computer dovrebbe essere in grado di prevederla usando solo il materiale sorgente come guida. Al contrario, se una parola è un'allucinazione, sarà impossibile prevederla dalla fonte perché l'informazione semplicemente non esiste lì. Addestrando un modello a testare questa prevedibilità, i ricercatori hanno creato un sistema che non solo segnala le parole inventate, ma evidenzia anche l'evidenza specifica nell'input che supporta l'informazione corretta.

Il processo inizia scomponendo il testo generato in frammenti significativi, come frasi o clausole, piuttosto che trattarlo come un unico blocco. Il sistema prende poi una parola da uno di questi frammenti e la nasconde temporaneamente, chiedendo al modello di indovinare quale dovrebbe essere quella parola basandosi esclusivamente sul testo di input originale. Se il modello può indovinare con fiducia la parola nascosta usando la fonte, il sistema la marca come fedele. Se il modello fatica a fare una supposizione, o se il punteggio di confidenza è basso, il sistema segnala la parola come una potenziale allucinazione. Fondamentalmente, poiché il modello ha dovuto guardare il testo sorgente per fare la sua ipotesi, esso produce naturalmente un collegamento tra la parola di output e la parte specifica dell'input che l'ha aiutato. Questo crea una mappa di evidenze, mostrando all'utente esattamente dove il modello ha trovato la sua informazione o, nel caso di un errore, dove non ha trovato alcun supporto.

Per testare questa idea, i ricercatori hanno utilizzato un dataset contenente migliaia di esempi in cui gli esseri umani avevano già identificato quali parti delle risposte generate fossero fattualmente errate. Hanno confrontato il loro nuovo metodo con le tecniche esistenti, incluse quelle che si affidano a modelli massicci e complessi per leggere e giudicare il testo. I risultati hanno mostrato che il loro approccio più leggero e mirato era eccezionalmente bravo a trovare gli errori. Mentre altri metodi a volte mancavano completamente gli errori, questo nuovo sistema ha identificato con successo la stragrande maggioranza delle parole allucinate, in particolare quelle completamente inventate. Ha anche dimostrato di essere efficace nel collegare le parole corrette nel riassunto alle giuste frasi nella fonte, fornendo un chiaro percorso di prove da seguire per l'utente.

Tuttavia, lo studio ha anche rivelato una specifica debolezza del sistema nel rilevare certi tipi di errori. Il metodo ha faticato quando l'allucinazione era una contraddizione diretta, come cambiare un numero da "quattro" a "venti" in un modo che suonava ancora grammaticalmente e contestualmente simile all'originale. In questi casi, il modello trovava il contesto circostante così simile da rimanere fiducioso nella propria previsione, non riuscendo a riconoscere la sottile variazione di significato. I ricercatori hanno osservato che, sebbene il sistema eccella nel individuare informazioni interamente assenti dalla fonte, necessita di ulteriori affinamenti per cogliere questi errori conflittuali più ingannevoli. Nonostante questa limitazione, il lavoro dimostra un passo avanti significativo nel rendere l'intelligenza artificiale più trasparente, offrendo un modo pratico per verificare la veridicità dei contenuti generati dalle macchine collegando ogni affermazione direttamente alla sua fonte.

Riepilogo Tecnico: Rilevamento di Span di Allucinazione con Allineamento dell'Evidenza sul Lato Input

Definizione del Problema

I Large Language Models (LLM) hanno fatto avanzare compiti di generazione di testo condizionale come la sintesi e il question answering, ma rimangono soggetti ad allucinazioni — ovvero la generazione di contenuti non supportati dall'input o contraddittori rispetto ad esso. I metodi di rilevamento esistenti trattano principalmente l'allucinazione come un problema di classificazione binaria a livello di frase o di documento. Sebbene efficaci per stimare la fattualità complessiva, questi approaggi non riescono a localizzare specifici span allucinati o a identificare la corrispondente evidenza nell'input. Tale limitazione ostacola l'interpretabilità delle predizioni del modello e complica la verifica del contenuto generato, particolarmente in documenti lunghi dove il tracciamento manuale è difficile. Inoltre, l'ottenimento di coppie input-output allineate manualmente per l'addestramento è costoso e impraticabile data la rapida evoluzione degli LLM.

Metodologia

Gli autori propongono un nuovo compito: il rilevamento di span di allucinazione con allineamento dell'evidenza sul lato input. Questo compito identifica congiuntamente gli span allucinati nel testo generato e allinea i token di output con la loro corrispondente evidenza nell'input. L'approccio si basa sull'osservazione che i token di output fedeli sono generalmente prevedibili dal loro contesto di supporto nell'input, mentre i token allucinati non lo sono.

Framework Core

Il metodo formula il rilevamento delle allucinazioni come un problema di predizione di token mascherati basato sull'input, ispirato ai Modelli di Linguaggio Non-Parametrici (NPM). Invece di fare affidamento su grandi LLM basati su decoder, il sistema impiega un modello leggero basato su encoder.

Strategia di Addestramento (Distant Supervision):
- Segmentazione degli Span: I testi di output vengono segmentati in span semanticamente significativi utilizzando la Semantic Role Labeling (SRL). Predicati e i loro argomenti vengono estratti per formare gli span; le parole che non fanno parte di alcun predicato o argomento (ad esempio, le congiunzioni) vengono escluse.
- Predizione Mascherata: Durante l'addestramento, gli span vengono mascherati con token speciali (``). Il modello viene addestrato a predire questi span mascherati utilizzando solo la rappresentazione del testo di input.
- Metrica di Confidenza: La confidenza della predizione per uno span mascherato $s$ rispetto a uno span di input $(i, j)$ è definita come la somma delle similitudini del coseno tra gli embedding dei token mascherati e gli embedding dei token di input:
  $c(s, i, j) := \text{sim}(m_s, d_i) + \text{sim}(m_e, d_j)$
- Funzione di Perdita (Loss Function): Una funzione di perdita personalizzata incoraggia un'alta confidenza per gli span fedeli e una bassa confidenza per gli span allucinati. Penalizza gli span allucinati che raggiungono un'alta confidenza e gli span fedeli che raggiungono una bassa confidenza, con un peso aggiuntivo per gli esempi "difficili".
Inferenza:
- A differenza dell'addestramento, l'inferenza opera a livello di token. Ogni token di output viene mascherato singolarmente e il modello recupera il token di input più rilevante in base al punteggio di confidenza.
- Classificazione: Un token di output è classificato come allucinato se la sua massima confidenza scende al di sotto di una soglia $\lambda_h$ .
- Allineamento: Il token di input che produce il punteggio di confidenza più elevato funge da allineamento dell'evidenza.
- Aggregazione: Le predizioni a livello di token vengono aggregate a livello di parola; una parola è considerata allucinata solo se tutti i suoi sub-token sono classificati come tali.

Contributi Chiave

Definizione del Compito: Introduzione di un nuovo compito che rileva congiuntamente gli span allucinati e li allinea con l'evidenza sul lato input, andando oltre la classificazione binaria a livello di frase.
Architettura Efficiente: Sviluppo di un metodo leggero basato su encoder che evita il costo computazionale dei grandi LLM basati su decoder e non richiede dati di addestramento allineati manualmente (utilizzando la distanti supervision).
Output Duplice: Il framework produce simultaneamente etichette di rilevamento delle allucinazioni e allineamenti dell'evidenza a livello di token.

Risultati Sperimentali

Il metodo è stato valutato sul dataset RAGTruth, che copre compiti di Question Answering (QA) e News Summarization.

Valutazione Automatica:
- Il metodo proposto ha ottenuto la recall più alta sia nei compiti di QA che di summarization (82,7% e 38,0%, rispettivamente), superando i baseline come Llama-SFT e LettuceDetect in termini di recall, il che è critico per scenari in cui mancare il rilevamento di allucinazioni è inaccettabile.
- Sebbene la precisione sia inferiore rispetto ad alcuni baseline (ad esempio, Llama-SFT sulla summarization), l'alta recall indica che il metodo identifica efficacemente la maggior parte del contenuto allucinato.
- Il baseline OTAlign ha performato scarsamente, probabilmente a causa della difficoltà di allineare frasi di lunghezze significativamente diverse.
Valutazione Umana:
- Annotatori umani hanno valutato la qualità degli allineamenti dell'evidenza predetta sul lato input.
- Per le parole fedeli e per le allucinazioni senza base (baseless), il metodo proposto ha ottenuto punteggi di allineamento medi intorno a 2,0 (su una scala 0-3), indicando che i token di input recuperati erano evidenze rilevanti.
- Allucinazioni di Conflitto (Conflict Hallucinations): Il metodo ha avuto difficoltà con le allucinazioni di conflitto (dove l'output contraddice l'input), assegnando spesso punteggi di confidenza elevati a questi token. Ciò è attribuito all'alta similitudine semantica tra il contesto di input e quello di output in conflitto, che confonde la stima della confidenza basata sulla similitudità.

Significato e Limitazioni

Il paper sostiene che il metodo proposto rileva efficacemente gli span allucinati identificando al contempo l'evidenza significativa sul lato input, come confermato dalla valutazione umana della qualità dell'allineamento. L'approccio offre una soluzione pratica per verificare il contenuto generato senza il costo proibitivo di dati di allineamento manuale.

Tuttavia, gli autori riconoscono specifiche limitazioni:

Rilevamento del Conflitto: Il metodo è meno efficace nel rilevare le allucinazioni di "conflitto" rispetto a quelle "senza base", poiché l'alta similitudine tra il testo in conflitto e l'input porta a una falsa confidenza.
Efficienza dell'Inferenza: Il processo di masking e re-encoding token per token comporta costi di inferenza lineari rispetto alla lunghezza dell'output, il che può essere computazionalmente oneroso per testi lunghi.
3.Ambito: Gli esperimenti sono stati limitati a QA e news summarization utilizzando il benchmark RAGTruth; la generalizzabilità ad altri domini, lingue o famiglie di LLM rimane non investigata.

Gli autori concludono che, sebbene il metodo sia efficace per le allucinazioni senza base, il lavoro futuro dovrebbe concentrarsi sullo sviluppo di metodi di stima della confidenza più sofisticati per gestire meglio le allucinazioni di conflitto e migliorare l'efficienza dell'inferenza.