Sintesi Tecnica: Tracciamento delle Risposte Target in Corpora di Recupero Avvelenati tramite Attribuzione dell'Influenza dei Token

Definizione del Problema

I sistemi di Generazione con Recupero Potenziato (RAG), pur potenziando i Large Language Models (LLM) con conoscenze esterne, sono vulnerabili agli attacchi di avvelenamento del corpus. In questi attacchi, gli avversari iniettano documenti fuorvianti nel corpus di recupero per manipolare l'output dell'LLM verso una specifica risposta errata target. I metodi di rilevamento esistenti si affidano tipicamente a classificatori ausiliari o a una verifica aggiuntiva basata su LLM (ad esempio, interrogando un modello separato per verificare gli output). Questi approcci introducono un overhead computazionale e costi di manutenzione sostanziali, rendendoli impraticabili per molte implementazioni aziendali che richiedono meccanismi di difesa leggeri e in tempo reale.

Metodologia: Framework TRACE

Gli autori propongono TRACE, un framework di rilevamento leggero che identifica gli attacchi di avvelenamento tracciando i token correlati alla risposta attraverso l'attribuzione dell'influenza dei token. A differenza dei metodi che classificano i documenti come benigni o malevoli, TRACE analizza la meccanica interna del target LLM per identificare i token che esercitano la maggiore influenza sulle predizioni. Il framework opera in due fasi distinte:

Fase 1: Ricerca delle Parole Chiave

1. Calcolo dell'Influenza: Per ogni documento recuperato, il sistema calcola i punteggi di influenza a livello di token tramite backpropagation. La stringa target è un'affermazione predefinita (ad esempio, "Sì, la risposta è:"). L'influenza di un embedding di token $x_i$ è calcolata come la norma al quadrato del gradiente della log-probabilità dell'affermazione rispetto a quel token: $\|\nabla_{x_i} \log P_\theta(y|x_{1:n})\|^2$.
2. Filtraggio: Il sistema estrae i top-$k_1$ token più influenti, escludendo rigorosamente la punteggiatura, le parole frequenti (stopword) e i token già presenti nella query dell'utente per ridurre il rumore.
3. Costruzione delle Frasi: Gli indici contigui ad alta influenza vengono concatenati in frasi candidate.
4. Filtraggio del Consenso: Queste frasi vengono aggregate attraverso tutti i documenti recuperati. Una frase viene ammessa nell'insieme di parole chiave candidate $K$ solo se ricorre in un numero di documenti che soddisfa una soglia $a_1$. Ciò isola il payload malevolo consolidato sincronizzato attraverso il corpus avvelenato.

Fase 2: Verifica Secondaria

1. Rivalutazione Mirata: Per ogni parola chiave candidata $p \in K$, il sistema rivaluta i documenti recuperati. A differenza della Fase 1, la frase candidata $p$ stessa viene impostata come la predizione target per calcolare i nuovi gradienti di influenza dei token.
2. Identificazione del Trigger: L'algoritmo identifica i top-$k_2$ token più influenti all'interno di ciascun documento che corrispondono alla frase candidata.
3. Verifica Finale: Questi token vengono aggregati, e un token viene aggiunto all'insieme target finale $T$ solo se appare come un trigger ad alta influenza in almeno $a_2$ documenti separati.
4. Flag di Rilevamento: Se l'insieme target finale $T$ non è vuoto, il corpus recuperato viene contrassegnato come avvelenato.

Contributi Chiave

1. Framework Leggero: TRACE introduce un meccanismo di rilevamento che non richiede classificatori ausiliari e né verifica aggiuntiva tramite LLM, riducendo significativamente l'overhead computazionale.
2. Paradigma di Attribuzione dei Token: L'articolo propone un nuovo approccio di rilevamento che identifica l'avvelenamento tracciando i token ricorrenti ad alta influenza attraverso i documenti recuperati, collegando direttamente l'influenza del token alle predizioni del modello.
3. Rivelazione della Risposta Target: Oltre al semplice rilevamento, TRACE dimostra la capacità di rivelare le risposte target specificate dall'attaccante con un basso costo computazionale, fornendo intelligence azionabile per l'analisi difensiva.

Risultati Sperimentali

Gli autori hanno valutato TRACE su tre benchmark di QA (Natural Questions, HotpotQA, MS-MARCO) utilizzando sei diversi LLM (Llama-3.1-8B, Gemma-3-4b, Qwen-3.5-4B, Vicuna-7b, Mistral-7B e Phi-4-mini) contro il baseline di attacco PoisonedRAG.

• Prestazioni di Rilevamento: TRACE ha costantemente raggiunto un True Positive Rate (TPR) superiore al 90% in quasi tutti i modelli valutati. Sul modello Phi-4-mini, ha garantito un TPR medio del 98,87%.
• Controllo dei Falsi Positivi: Regolando gli iperparametri, il framework ha soppresso il False Positive Rate (FPR al di sotto del 10% in scenari benigni, dimostrando un robusto controllo sui falsi allarmi.
• Identificazione della Risposta Target: Il framework ha identificato con successo la risposta target dell'attaccante in circa il 90% dei casi sui dataset NQ e MS-MARCO, e oltre il 70% su HotpotQA.
• Efficienza: Rispetto a RAGForensics (un baseline che utilizza la verifica basata su LLM), TRACE ha ottenuto prestazioni di rilevamento superiori con tempi di esecuzione significativamente inferiori (ad esempio, ~1,0s rispetto a ~9,0s per domanda per Llama-3.1-8B).

Significato e Rivendicazioni

L'articolo sostiene che TRACE offra una difesa in tempo reale, come prima linea per le pipeline RAG. La sua importanza risiede in:

• Zero Conoscenza Pregressa: A differenza delle difese reattive che richiedono di conoscere la risposta target per verificare gli output, TRACE identifica i token della risposta target prima della generazione senza conoscenza preventiva dell'attacco.
• Viabilità Operativa: Eliminando la necessità di addestrare modelli ausiliari o ripetere l'inferenza dell'LLM, TRACE affronta i vincoli pratici del deployment aziendale.
• Trasparenza: La capacità di rivelare i token specifici che guidano la predizione malevola consente alle organizzazioni di intercettare gli output malevoli e mitigare i rischi reputazionali.

Gli autori riconoscono i limiti, notando che il metodo si basa sulla ricorrenza statistica delle risposte target e potrebbe essere meno sensibile ad attacchi che coinvolgono pochissimi documenti avvelenati. Tuttavia, sostengono che tali iniezioni sparse riducono intrinsecamente il tasso di successo dell'attacco (ASR), rendendo TRACE un filtro efficace per tentativi di avvelenamento ad alto impatto. Il lavoro è presentato strettamente come uno strumento difensivo per la valutazione della sicurezza, senza il rilascio di nuovi meccanismi di attacco o dataset.