CORVUS: Red-Teaming Hallucination Detectors via Internal Signal Camouflage in Large Language Models

Riepilogo Tecnico: CORVUS

Definizione del Problema

I Large Language Models (LLM) sono soggetti a allucinazioni — ovvero alla generazione di contenuti fluenti ma privi di fondamento. Le difese attuali si affidano spesso ad approcci basati su telemetria interna, che tentano di rilevare le allucinazioni analizzando i calcoli del modello stesso (ad esempio, l'incertezza dei token, la geometria degli stati nascosti e i pattern di attenzione) durante un singolo passaggio in avanti (forward pass). Questi metodi, inclusi i punteggi training-free (es. PPL, LLM-Check) e i rilevatori basati su sonde (es. SEP, ICR-probe), assumono implicitamente che le allucinazioni lascino tracce separabili e rilevabili in questi segnali interni.

Tuttavia, le valutazioni precedenti trattano tipicamente l'LLM come un bersaglio passivo. In scenari di distribuzione open-weight o auto-ospitati, un avversario lato modello, in ambito white-box, può modificare il modello per mascherare queste tracce senza alterare l'output superficiale. Questo articolo investiga se i rilevatori a singolo passaggio siano robusti contro un avversario che perfeziona (fine-tunes) leggeri adattatori per camuffare i segnali di telemetria specifici utilizzati per il rilevamento, mantenendo invariata la risposta generata.

Metodologia: CORVUS

Gli autori introducono CORVUS (Camouflaging Open-weight Representations, Volumes, Uncertainty, and Structure), una procedura di red-teaming progettata per apprendere leggeri adattatori LoRA che camuffano la telemetria visibile dai rilevatori.

Meccanismo Core

CORVUS opera sotto un protocollo di replay a risposta fissa e teacher-forcing. L'avversario non cambia il testo generato; invece, modifica lo stato interno del modello affinché i segnali di telemetria associati a una risposta allucinata appaiano statisticamente simili a quelli di una risposta fedele.

Il metodo ottimizza tre segnali di telemetria generali sull'intervallo della risposta:

1. Entropia dei Token (TE): La media dell'entropia predittiva della distribuzione del token successivo.
2. Volume del Logaritmo Nascosto (HV): Un proxy del determinante logaritmico della matrice di covarianza degli stati nascosti, che riassume come le rappresentazioni dei token della risposta si diffondono nello spazio nascosto.
3. Diagonalità dell'Attenzione (AD): Una misura dell'attenzione auto-focalizzata all'interno dell'intervallo della risposta (concentrazione dell'attenzione sul token stesso).

Obiettivo di Addestramento

CORVUS addestra adattatori LoRA (rank $r=64$, scaling $\alpha=128$) utilizzando una funzione di perdita congiunta che preserva l'utilità del compito pur spostando la telemetria:
$$\mathcal{L} = \mathcal{L}_{CE} + \beta_{te} \text{TE}_{clean} - \beta_{hv} \text{HV}_{clean} - \lambda_{adv} \text{AD}_{adv}$$

• $\mathcal{L}_{CE}$: Cross-entropy standard per mantenere la risposta corretta sotto teacher forcing.
• $\text{TE}_{clean}$: Penalizzato per ridurre l'incertezza del token.
• $\text{HV}_{clean}$: Massimizzato (tramite segno negativo) per spostare la geometria dello stato nascosto.
• $\text{AD}_{adv}$: Un nuovo stress test di embedding avversario. Gli autori utilizzano un singolo step del metodo Fast Gradient Sign Method (FGSM) nello spazio degli embedding per perturbare gli input specificamente per diminuire la diagonalità dell'attenzione. Il termine di perdita incoraggia il modello a recuperare un'alta diagonalità anche sotto questa perturbazione, "indurendo" efficacemente il segnale di attenzione contro il rilevamento.

Dati e Trasferimento

Crucialmente, CORVUS è addestrato solo su 1.000 istruzioni out-of-distribution (OOD) di tipo Alpaca. Non vede mai il benchmark target (FAVA-Annotation) o le etichette di allucinazione durante l'addestramento. Gli adattatori vengono poi applicati zero-shot ai modelli e ai dataset target.

Contributi Chiave

1. Definizione del Metodo: Gli autori definiscono un set specifico di segnali di telemetria dell'intervallo della risposta (TE, HV, AD) e dimostrano come addestrare leggeri adattatori per rimodellarli sotto teacher forcing, incluso un test di stress dell'attenzione tramite FGSM in un singolo step nello spazio degli embedding.
2. Generalizzazione OOD: Il metodo è addestrato su un piccolo dataset OOD (Alpaca) senza etichette di allucinazione, eppure riesce a trasferirsi con successo al benchmark FAVA-Annotation attraverso molteplici famiglie di modelli.
3. Risultati di Evasione: CORVUS degrada con successo le prestazioni sia dei rilevatori training-free (LLM-Check, PPL, Window-Entropy) sia delle sonde addestrate (SEP, ICR-probe) quando applicati ai modelli adattati.
4. Intuizione Meccanicistica: Il documento collega gli spostamenti controllati di TE, HV e AD al fallimento dei punteggi dei rilevatori fissi, mostrando come modesti aggiornamenti degli adattatori possano far collassare la separabilità dei segnali di telemetria.

Risultati Sperimentali

Gli autori hanno valutato CORVUS su quattro LLM open-weight (Llama-2, Vicuna, Llama-3, Qwen2.5) utilizzando il dataset FAVA-Annotation.

• Degradazione dei Rilevatori: In tutti i modelli, CORVUS ha ridotto significativamente l'AUROC, l'accuratezza e i punteggi F1 dei rilevatori esistenti.
  • Punteggi training-free: L'Attention Score di LLM-Check ha subito cali severi (ad esempio, un calo di 25,5 punti nell'AUROC su Llama-2, da 73,6 a 48,1).
  • Sonde addestrate: SEP e ICR-probe, che sono state addestrate sulla telemetria di modelli puliti, non sono riuscite a generalizzare ai modelli adattati da CORVUS, con cali di AUROC compresi tra 17 e 27 punti.
• Collasso della Soglia Fissa: Quando i rilevatori sono stati calibrati su modelli puliti (ad esempio, con un tasso di falsi positivi del 5%), il tasso di veri positivi è crollato quasi a zero quando applicato ai modelli adattati da CORVUS, indicando un grave spostamento di calibrazione e una perdita di separabilità.
• Preservazione dell'Utilità: I controlli di sanità hanno confermato che i modelli adattati mantengono l'utilità di generazione. Producono risposte non vuote e conformi alle istruzioni senza collasso della ripetizione, e il testo superficiale rimane fluido (misurato tramite perplessità esterna).

Significato e Rivendicazioni

Il documento sostiene che la sola telemetria interna non è un segnale affidabile per il rilevamento delle allucinazioni sotto attacchi adattivi lato modello.

• Vulnerabilità dei Rilevatori a Singolo Passaggio: I risultati dimostrano che i rilevatori che si affidano a tracce interne (incertezza, geometria, attenzione) sono fragili. Un avversario con accesso white-box può apprendere come camuffare questi segnali senza alterare l'output testuale, rendendo inefficaci i rilevatori fissi.
• Necessità di Audit Consapevoli dell'Avversario: Gli autori concludono che un audit robusto richiede probabilmente di andare oltre i segnali interni statici del singolo modello. Suggeriscono che le difese future debbano incorporare:
  1. Diversità nei segnali di telemetria che siano più difficili da manipolare congiuntamente.
  2. Meccanismi di randomizzazione o di sfida-risposta (challenge–response) per prevenire la minimizzazione white-box.
  3. Fondamento esterno o prove cross-modello (ad esempio, approcci di recupero aumentato - RAG) per superare i limiti della telemetria interna.

Il lavoro funge da esercizio di red-teaming per esporre questa vulnerabilità, motivando lo sviluppo di difese contro le allucinazioni più robuste e consapevoli dell'avversario.