Riepilogo Tecnico: Attraverso la Lente della Furtività: Difese Consapevoli dell'Attenzione contro l'Avvelenamento nei Sistemi RAG

Enunciato del Problema

I sistemi di Generazione Aumentata dal Recupero (RAG), che integrano Modelli Linguistici di Grande Dimensione (LLM) con basi di conoscenza esterne, sono vulnerabili ad attacchi di corruzione del recupero. In questi attacchi, gli avversari iniettano passaggi avvelenati nel database di conoscenza (ad esempio, tramite pagine Wikipedia manipolate o social media) per corrompere il contesto recuperato. Anche con tassi di corruzione bassi (ad esempio, un passaggio avvelenato su dieci), attacchi esistenti come PoisonedRAG riescono a manipolare con successo la risposta dell'LLM verso una risposta target.

La sfida centrale affrontata in questo articolo è la furtività. Sebbene gli attacchi esistenti raggiungano alti tassi di successo, gli autori sostengono che non sono progettati per essere furtivi. Per sovrascrivere il consenso dei passaggi benigni, i passaggi avversari devono influenzare in modo sproporzionato il processo di inferenza dell'LLM. Questo requisito intrinseco crea una "traccia maliziosa" rilevabile negli stati interni del modello, specificamente nella distribuzione dei pesi dell'attenzione. L'articolo ipotizza che le difese attuali spesso trascurino questi segnali intermedi, affidandosi invece alla semantica di superficie o alla perplessità, che sono meno efficaci contro l'avvelenamento sofisticato.

Metodologia

1. Formalizzazione della Furtività: Il Gioco SADG

Gli autori formalizzano il concetto di furtività attraverso il Gioco di Distinguibilità degli Attacchi Furtivi (SADG). In questo gioco di sicurezza, un difensore tenta di distinguere tra un insieme recuperato benigno e uno corrotto (contenente fino a una frazione $\epsilon$ di passaggi avvelenati). Un attacco è considerato $\tau$-furtivo se il vantaggio del difensore nel distinguere gli insiemi è al massimo $\tau$. L'articolo sostiene che gli attacchi di bassa corruzione di successo falliscono intrinsecamente questo test perché concentrano l'influenza su un piccolo sottoinsieme di passaggi, creando un'anomalia statistica rilevabile.

2. Punteggio di Attenzione Normalizzato del Passaggio (NPAS)

Per quantificare l'influenza dei singoli passaggi sulla risposta generata, l'articolo introduce il Punteggio di Attenzione Normalizzato del Passaggio (NPAS).

• Meccanismo: Il metodo aggrega i pesi dell'attenzione dai livelli e dalle teste del decoder dell'LLM. Per un passaggio recuperato $z_t$, somma i punteggi di attenzione da tutti i token della risposta generata ai token più attenzionati (top-$\alpha$) all'interno di $z_t$.
• Normalizzazione: Il punteggio è normalizzato rispetto all'attenzione totale su tutti i $k$ passaggi recuperati per consentire il confronto tra diverse query e modelli.
• Razionale: In scenari benigni, l'attenzione è distribuita relativamente uniformemente tra i passaggi rilevanti. Negli attacchi di avvelenamento di successo, il modello concentra pesantemente l'attenzione sul passaggio avvelenato (specificamente sui token corrispondenti all'obiettivo avversario), risultando in una distribuzione ad alta varianza dell'NPAS.

3. Filtro della Varianza dell'Attenzione (Filtro AV)

Sfruttando l'osservazione che gli insiemi avvelenati presentano un'alta varianza nell'NPAS, gli autori propongono il Filtro della Varianza dell'Attenzione (Filtro AV).

• Processo: Il filtro rimuove iterativamente il passaggio con l'NPAS più alto dall'insieme recuperato.
• Condizione di Arresto: Il processo continua finché la varianza dei punteggi NPAS rimanenti non scende sotto una soglia $\delta$ o il numero di passaggi rimossi raggiunge il budget di corruzione $\epsilon$.
• Implementazione: Per mitigare il bias posizionale (effetti di recenza), i passaggi vengono riordinati in base al loro NPAS prima del filtraggio. La soglia $\delta$ è stimata dai dati puliti (media + 1 deviazione standard).

4. Attacchi Adattivi

Per testare i limiti di questa difesa, gli autori sviluppano attacchi adattivi ottimizzati per la furtività. Utilizzando metodologie di jailbreak (estendendo GCG e AutoDAN), questi attacchi minimizzano una funzione di perdita composita:
$$L_t = L_1 + \lambda \cdot L_2$$
Dove $L_1$ è la perdita di entropia incrociata per la risposta target (efficacia) e $L_2$ è la varianza dell'NPAS (furtività). Questo costringe l'attaccante a trovare passaggi avvelenati che inducano la risposta target senza creare una firma di attenzione ad alta varianza.

Contributi Chiave

1. Formalizzazione della Furtività: Introduzione del SADG per definire e misurare rigorosamente la furtività degli attacchi di avvelenamento RAG.
2. Metrica NPAS: Sviluppo del Punteggio di Attenzione Normalizzato del Passaggio per quantificare l'influenza passaggio-risposta, dimostrando che diventa distorto sotto corruzione.
3. Difesa Filtro AV: Proposta di un filtro leggero basato sulla varianza dell'attenzione che distingue e rimuove in modo affidabile i passaggi corrotti senza alterare la pipeline di inferenza.
4. Valutazione Completa: Sperimentazioni estese su 4 dataset, 5 LLM e 5 tipi di attacco, inclusa la sviluppo di attacchi adattivi per sondare i limiti della difesa.
5. Applicabilità White/Black-Box: Dimostrazione che la difesa funziona in ambienti white-box (accesso diretto agli interni del modello) e black-box (utilizzando un modello open-source ausiliario per approssimare i segnali di attenzione).

Risultati

• Capacità di Rilevamento (RQ1): Il difensore che utilizza la varianza NPAS ($D_{AV}$) identifica con successo gli insiemi corrotti negli attacchi esistenti con un tasso di vittoria medio di 0,78 nel SADG, superando significativamente il caso casuale.
• Robustezza (RQ2): Il Filtro AV migliora significativamente l'accuratezza robusta (RACC) rispetto alle baseline.
  • Raggiunge fino al 23% di accuratezza in più rispetto alle difese baseline in ambienti benigni.
  • Sotto attacco, produce fino al 20% di RACC in più rispetto a baseline come Certified Robust RAG (Parole Chiave/Decodifica).
  • Riduce il Tasso di Successo dell'Attacco (ASR) del RAG vanilla (che può raggiungere ~88% su alcuni dataset) a una media del 6,6% su RQA-MC, comparabile o migliore rispetto ai metodi robusti esistenti.
• Limiti degli Attacchi Adattivi (RQ3): Gli attacchi adattivi possono aggirare il Filtro AV, raggiungendo un ASR fino al 35%. Tuttavia, questo comporta un costo proibitivo:
  • Richiedono l'accesso completo agli interni del modello e alla base di conoscenza.
  • Coinvolgono un'ottimizzazione specifica per query, aumentando il tempo di esecuzione di circa $10^3$ a $10^4$ volte rispetto agli attacchi standard (ad esempio, ~18.000 secondi per query).
  • Gli autori concludono che questi rappresentano un limite teorico estremo piuttosto che una minaccia pratica.

Significato e Affermazioni

L'articolo afferma che furtività ed efficacia sono fondamentalmente compromessi nell'avvelenamento RAG. Per manipolare con successo una risposta con una minoranza di passaggi avvelenati, un avversario deve esercitare un'influenza sproporzionata, il che lascia una firma rilevabile nei pesi dell'attenzione.

• Efficacia della Difesa: Il Filtro AV offre una difesa pratica a basso sovraccarico che preserva l'utilità dei sistemi RAG (minimo calo nell'accuratezza su dati puliti) mitigando efficacemente gli attuali attacchi a bassa furtività.
• Limitazioni: La difesa si basa su assunzioni specifiche: la corruzione deve essere una minoranza ($\epsilon < 0,5$), la conoscenza corretta deve essere rappresentata in modo ridondante nei passaggi benigni e l'attacco deve mirare al contenuto della risposta (non allo stile o alla fuoriuscita di dati).
• Prospettive Future: Sebbene gli attacchi adattivi mostrino che la furtività può essere migliorata, rimangono computazionalmente costosi e intensivi in termini di risorse. L'articolo suggerisce che raggiungere una vera furtività efficiente nell'avvelenamento RAG rimane una sfida aperta significativa, e difese in tempo polinomiale come il Filtro AV sono attualmente sufficienti per scenari pratici.

Gli autori sottolineano che il loro doppio contributo (difesa e attacco adattivo) mira a promuovere lo sviluppo di sistemi RAG più robusti esponendo le attuali vulnerabilità e l'alto costo per superarle.