Riepilogo Tecnico: TOHA – Rilevamento delle Allucinazioni Basato sulla Topologia sui Grafi di Attenzione

Enunciato del Problema

I Modelli Linguistici di Grande Dimensione (LLM), in particolare quando implementati in scenari di Generazione Aumentata dal Recupero (RAG), rimangono soggetti a "allucinazioni", ovvero la generazione di contenuti fattualmente o contestualmente errati. Sebbene esistano metodi di rilevamento consolidati, questi affrontano vincoli pratici significativi: gli approcci supervisionati richiedono dataset annotati scarsi; i metodi basati sulla coerenza (ad esempio, la generazione di più campioni) comportano elevati costi computazionali; e le metriche basate sull'incertezza (ad esempio, la perplessità) spesso non riescono a catturare la vera incertezza del modello o le sfumature del suo stato interno. È necessario un meccanismo di rilevamento che sia efficiente dal punto di vista dei dati, computazionalmente leggero e capace di sfruttare le proprietà strutturali interne degli LLM senza richiedere un addestramento estensivo.

Metodologia

Il documento introduce TOHA (un TOpology-based HAllucination detector, ovvero un Rilevatore di Allucinazioni basato sulla Topologia), un framework senza addestramento progettato per rilevare le allucinazioni analizzando la struttura topologica delle mappe di attenzione all'interno degli LLM.

1. Grafi di Attenzione come Oggetti Topologici

Il metodo riformula il meccanismo di auto-attenzione degli LLM basati solo su decoder come un grafo pesato completo $G$. In questo grafo:

• I Nodi rappresentano i token, suddivisi in token del prompt ($P$) e token della risposta ($R$).
• Gli Archi sono pesati con $1 - w_{ij}$, dove $w_{ij}$ è il punteggio di attenzione dal token $i$ al token $j$, rappresentando pseudo-distanze.
• Il sottografo del prompt è trattato come una struttura di riferimento, mentre il sottografo della risposta rappresenta il contenuto generato.

2. Metrica MTop-DivG(R, P)

Il cuore di TOHA è MTop-DivG(R, P), un adattamento della Divergenza di Topologia di Varietà (MTop-Div) per contesti basati su grafi.

• Calcolo: Il metodo azzeria i pesi degli archi tra i token del prompt ($P$) per isolare la relazione strutturale tra prompt e risposta. Successivamente, calcola il barcode di omologia di ordine 0 del grafo modificato risultante.
• Definizione: Il punteggio di divergenza è la somma delle lunghezze degli intervalli nel barcode di ordine 0 ($B_0$).
• Interpretazione Geometrica: Questo punteggio è uguale alla lunghezza della Foresta di Ricoprimento Minima (MSF) che collega i token della risposta ($R$) ai token del prompt ($P$).
• Interpretazione Teorico-Informatica: Il punteggio funge da proxy per la "novità" della risposta rispetto al prompt. Una divergenza più elevata implica che i token della risposta sono meno strettamente connessi alla struttura del prompt, suggerendo l'introduzione di nuove informazioni, potenzialmente allucinate.

3. Teste Consapevoli delle Allucinazioni

Una scoperta critica del documento è che non tutte le teste di attenzione contribuiscono in egual misura al rilevamento delle allucinazioni.

• Analizzando i valori di divergenza attraverso diversi livelli e teste, gli autori hanno identificato un sottoinsieme specifico di teste "consapevoli delle allucinazioni".
• Queste teste producono costantemente punteggi di divergenza più elevati per campioni allucinati rispetto a campioni fondati su dati reali, attraverso dataset diversificati (ad esempio, MS MARCO, CoQA, SQuAD).
• Interessantemente, queste teste specifiche spesso mostrano un "comportamento di copia" (prestando forte attenzione al primo token quando le occorrenze precedenti sono assenti), allineandosi con precedenti scoperte nell'ambito dell'interpretabilità meccanica.

4. L'Algoritmo TOHA

L'algoritmo opera in due fasi:

1. Selezione delle Teste (Fase di Sonda): Utilizzando un piccolo insieme di dati di sonda annotati (allucinati vs. fondati), il metodo classifica le teste di attenzione in base alla loro capacità di separare le due classi (misurata da $\Delta_{ij}$). Seleziona le prime $N_{opt}$ teste (limitate a 10) che massimizzano l'Area Sotto la Curva Caratteristica Operativa del Ricevitore (AUROC).
2. Predizione: Per un campione di test, il punteggio finale di allucinazione è il valore medio di MTop-DivG(R, P) calcolato solo sulle $N_{opt}$ teste selezionate.

Contributi Chiave

1. Framework TOHA: Un rilevatore di allucinazioni basato sulla topologia e senza addestramento che sfrutta le proprietà strutturali dei grafi di attenzione. Opera significativamente più velocemente di metodi di qualità comparabile e richiede dati annotati minimi.
2. MTop-DivG(R, P): Una metrica innovativa che adatta la Divergenza di Topologia di Varietà ai grafi di attenzione. Quantifica la dissimilarità topologica tra prompt e risposta, catturando efficacemente la novità della risposta negli scenari RAG.
3. Scoperta di Teste Consapevoli delle Allucinazioni: L'identificazione di un piccolo sottoinsieme coerente di teste di attenzione che distinguono in modo affidabile le allucinazioni attraverso i dataset. Questa scoperta consente un rilevamento robusto utilizzando solo circa 10 teste, garantendo la trasferibilità tra domini.
4. Efficienza e Prestazioni: Il metodo ottiene risultati all'avanguardia o competitivi su molteplici benchmark, mantenendo al contempo un'efficienza computazionale (circa 70 volte più veloce dei metodi basati sulla coerenza come SelfCheckGPT nella pratica).

Risultati Sperimentali

Gli autori hanno valutato TOHA su cinque dataset (MS MARCO, CNN/DM, CoQA, SQuAD, XSum) utilizzando cinque LLM open-source (LLaMA-2-7B/13B, LLaMA-3.1-8B, Mistral-7B, Qwen2.5-7B).

• Prestazioni: TOHA ha costantemente superato le baseline basate sull'incertezza (Perplessità, Entropia Massima) e ha eguagliato o superato i metodi basati sulla coerenza (SelfCheckGPT, Entropia Semantica) e quelli basati sullo stato interno (ReDEEP, HaloScope).
  • Miglioramenti notevoli includono +11,7% su MS MARCO (Mistral-7B) e +21,6% su CoQA (LLaMA-2-7B) rispetto a baseline solide.
  • Sul dataset multi-hop HotpotQA, TOHA ha dimostrato prestazioni superiori, validando la sua efficacia in scenari di query complessi e reali.
• Efficienza: TOHA è circa 7 volte più veloce di SelfCheckGPT con una singola generazione e oltre 70 volte più veloce quando SelfCheckGPT richiede più generazioni (10-20). Il suo tempo di esecuzione è paragonabile a quello di baseline di entropia leggere.
• Robustezza: Il metodo ha mostrato una forte trasferibilità; le prestazioni su dataset di trasferimento (ad esempio, addestramento su MS MARCO, test su XSum) sono rimaste entro le deviazioni standard delle prestazioni del metodo su dati in distribuzione.
• Efficienza dei Dati: Il metodo richiede solo un piccolo insieme di sonda (fino a 50 campioni) per selezionare le teste ottimali, dopodiché opera senza ulteriore addestramento.

Significato e Affermazioni

Il documento afferma che l'analisi della struttura topologica delle matrici di attenzione fornisce un indicatore robusto ed efficiente dell'affidabilità fattuale negli LLM. Il significato di TOHA risiede nella sua capacità di:

• Colmare il divario tra l'analisi topologica dei dati teorica (TDA) e il rilevamento pratico delle allucinazioni.
• Superare la scarsità di dati richiedendo dati annotati minimi per la calibrazione, a differenza dei classificatori supervisionati.
• Ridurre il sovraccarico computazionale evitando la generazione di più campioni, rendendolo adatto ad applicazioni in tempo reale o con risorse limitate.
• Fornire interpretabilità collegando i segnali di allucinazione a specifiche teste di attenzione "consapevoli delle allucinazioni", offrendo approfondimenti sulle origini meccaniche delle allucinazioni (in particolare il loro legame con il comportamento di copia).

Gli autori concludono che TOHA offre una soluzione pratica e scalabile per garantire la sicurezza e l'affidabilità degli LLM in settori sensibili, in particolare all'interno di sistemi RAG dove l'accuratezza fattuale è fondamentale. Riconoscono limitazioni riguardanti le dipendenze specifiche del modello (le teste specifiche possono variare in base all'architettura) e l'attuale restrizione alle sole modalità testuali.