Sintesi Tecnica: CORTEX

Problematica

La Generazione Aumentata da Recupero (RAG) è ampiamente utilizzata per ancorare gli output dei Large Language Model (LLM) a riferimenti esterni, eppure i modelli generano frequentemente contenuti allucinati anche quando i riferimenti vengono forniti. I metodi esistenti di rilevamento delle allucinazioni affrontano due limitazioni primarie:

1. Granularità: La maggior parte degli approcci opera a livello di "risposta", valutando l'intero output come un'unica unità. Ciò è insufficiente per gli output RAG a lungo formato, dove contenuti fedeli e allucinati spesso coesistono.
2. Metodologia: Molti metodi esistenti si affidano alla self-consistency (che richiede più generazioni) o al fact-checking basato su prompt (che richiede ulteriore inferenza e prompt engineering), il che comporta elevati costi computazionali. Inoltre, molti rilevatori basati su rappresentazioni analizzano uno stato interno singolo in isolamento, piuttosto che confrontare come lo stato del modello cambi quando i riferimenti sono presenti rispetto a quando sono assenti.

Il documento propone la necessità di un metodo di rilevamento a livello di token che possa localizzare il contenuto non ancorato all'interno di output misti e operare come un framework pratico post-hoc sia per LLM open-weight che closed-weight (basati su API).

Metodologia: CORTEX

CORTEX (Comparative Observed Reference-based Token-level EXpressions) è un framework di rilevamento delle allucinazioni post-hoc progettato specificamente per la RAG. Utilizza un LLM open-weight ($M_{open}$) come modello di analisi per ispezionare le rappresentazioni interne di una risposta generata, la quale potrebbe essere stata prodotta da un LLM closed-weight ($M_{close}$).

Il framework opera attraverso tre componenti core:

1. Rappresentazione Delta Indotta dal Riferimento

CORTEX costruisce una visione controfattuale accoppiata della stessa risposta sotto due condizioni:

• Input condizionato dal riferimento: $x_{ref} = \text{domanda} \parallel \text{riferimenti} \parallel \text{risposta}$
• Input senza riferimento: $x_{no-ref} = \text{domanda} \parallel \text{risposta}$

Elaborando entrambi gli input attraverso $M_{open}$, il metodo estrae le rappresentazioni interne a livello di token ($h_i$) per ogni token della risposta $t_i$. Calcola una rappresentazione delta ($\Delta h_i$) che rappresenta il cambiamento dello stato del token quando i riferimenti vengono forniti:
$$\Delta h_i = h_{i}^{ref} - h_{i}^{no-ref}$$
L'intuizione è che i token fedeli esibiscono spostamenti rappresentazionali coerenti quando ancorati ai riferimenti, mentre i token allucinati mostrano cambiamenti più deboli o incoerenti.

2. Residuo Contestuale Basato sull'Attenzione

Nella generazione a lungo formato, l'influenza del riferimento può propagarsi indirettamente. Un token $t_i$ potrebbe essere ancorato non da un legame diretto con il riferimento, ma da token precedenti ($t_{<i}$) che erano stati ancorati. Fare affidamento esclusivamente su $\Delta h_i$ potrebbe classificare erroneamente questi token indirettamente ancorati come allucinazioni.

Per affrontare questo problema, CORTEX calcola un residuo contestuale ($c_i$). Stima l'influenza del riferimento mediata dai token precedenti utilizzando i pesi di attenzione ($\alpha_{ij}^{ref}$) dall'input condizionato dal riferimento:
$$\bar{\Delta h}_i = \sum_{j<i} \alpha_{ij}^{ref} \Delta h_j$$
$$c_i = \Delta h_i - \bar{\Delta h}_i$$
Il residuo $c_i$ isola il cambiamento specifico del token che rimane dopo aver considerato l'influenza propagata dal contesto, riducendo i falsi positivi per i token indirettamente ancorati al riferimento.

3. Classificazione a Livello di Token e Smoothing

Le feature $[\Delta h_i; c_i]$ vengono inviate a un classificatore MLP per produrre un punteggio di allucinazione grezzo $s_i$.

Per allinearsi ai pattern di annotazione umana (dove le allucinazioni appaiono tipicamente come span contigui piuttosto che token isolati), CORTEX applica lo Smoothing della Persistenza dell'Etichetta (Label-Persistence Smoothing) come passaggio di post-elaborazione. Questo modella la tendenza delle etichette di allucinazione a persistere tra i token vicini utilizzando un termine di persistenza a coppie ($\rho$) e una confidenza a livello di token derivata da $s_i$. Il punteggio finale smussato viene calcolato tramite l'algoritmo forward-backward, riducendo il rumore locale pur preservando la granularità a livello di token.

Contributi Chiave

1. Primo Rilevatore RAG a Livello di Token: Per quanto ne sappiamo, CORTEX è il primo metodo di rilevamento delle allucinazioni a livello di token progettato specificamente per la RAG, consentendo la localizzazione fine del contenuto non ancorato.
2. Framework Post-Hoc Pratico: Il metodo non richiede la modifica dei parametri del generatore. Può analizzare gli output di arbitrari LLM, inclusi i modelli closed-weight basati su API, utilizzando un modello open-weight separato per l'estrazione delle feature.
3. Approccio di Rappresentazione Comparativa: A differenza del lavoro precedente che analizza singoli stati interni, CORTEX sfrutta il contrasto tra le rappresentazioni interne condizionate dal riferimento e quelle senza riferimento per isolare i segnali indotti dal riferimento.
4. Design Contestuale e Consapevole degli Span: L'introduzione del residuo contestuale affronta l'ancoraggio indiretto, mentre lo smoothing della persistenza dell'etichetta allinea le predizioni alle strutture di annotazione basate su span.

Risultati Sperimentali

Gli autori hanno valutato CORTEX su due benchmark (RAGTruth e HalluRAG) utilizzando tre LLM (Llama-3.1-8B, Qwen3-8B e Mistral-7B).

• Performance a Livello di Token: CORTEX ha superato sostanzialmente cinque baseline (inclusi NLL, SAPLMA, LLM-Check, ICR Probe e RAGLens) in termini di Average Precision (AP) e AUROC. Su RAGTruth, CORTEX ha raggiunto un AP di 0.5940 (Qwen) rispetto al secondo miglior risultato (RAGLens) a 0.4575.
• Performance a Livello di Risposta: Sebbene addestrato per il rilevamento a livello di token, CORTEX ha ottenuto performance competitive a livello di risposta (utilizzando il valore massimo del punteggio del token come punteggio della risposta), dimostrando che i segnali a livello di token sono efficaci per la valutazione della affidabilità globale.
• Studi di Ablazione: La rimozione del residuo contestuale ($c$) o del passaggio di smoothing ha causato cali di performance, confermando che entrambi i componenti sono necessari per un rilevamento robusto. È stato dimostrato che il passaggio di smoothing è ampiamente benefico anche quando applicato ai metodi baseline.

Significato e Rivendicazioni

Il documento sostiene che CORTEX dimostra l'efficacia del confronto delle rappresentazioni interne sotto diverse condizioni (con vs senza riferimenti) come segnale per il rilevamento delle allucinazioni.

• Praticità: Decoupling (disaccoppiando) il generatore dall'analizzatore, CORTEX offre una soluzione vitale per la valutazione dell'affidabilità in sistemi implementati dove il generatore è un'API black-box.
• Granularità: Affronta il limite del rilevamento a livello di risposta fornendo un meccanismo per localizzare le allucinazioni a specifici token, che possono poi essere aggregati a qualsiasi granularità richiesta (parole, frasi, paragrafi).
• Ambito: Gli autori notano esplicitamente che CORT much CORTEX è progettato per la generazione ancorata al riferimento. Rileva contenuti non supportati dai riferimenti forniti, il che è cruciale per applicazioni controllate (es. supporto aziendale), ma potrebbe segnalare la conoscenza parametrica utile in scenari open-ended. Il documento non rivendica il rilevamento di errori fattuali generali indipendenti dal contesto fornito.

Gli autori concludono che questi segnali comparativi di rappresentazione interna potrebbero anche servire come base per future strategie di mitigazione delle allucinazioni, come il reward modeling per il tuning dei generatori.