Riepilogo Tecnico: SilentRetrieval

Enunciato del Problema

I sistemi di Generazione Aumentata dal Recupero (RAG) dipendono dall'integrità dei loro corpus di conoscenza esterna per mitigare le allucinazioni dei Modelli Linguistici su Grande Scala (LLM). Tuttavia, questa dipendenza crea una vulnerabilità critica: se un avversario può iniettare documenti malevoli nel corpus, può dirottare il processo di recupero e successivamente manipolare la generazione dell'LLM.

I precedenti attacchi avversariali contro i RAG affrontano un compromesso persistente tra efficacia del recupero, manipolazione della generazione e furtività. I metodi esistenti producono spesso output facilmente rilevabili:

• Ottimizzazione basata sul gradiente (es. AGGD, GASLITE) ottiene un forte dirottamento del recupero ma spesso fallisce nel manipolare efficacemente la fase di generazione o manca di vincoli di fluidità.
• Attacchi congiunti recuperatore-generatore (es. Joint-GCG, PoisonedRAG) manipolano bene la generazione ma generano testi ad alta perplessità (PPL > 150), rendendoli vulnerabili a semplici filtri basati sulla perplessità.
• Decodifica avversariale preserva la fluidità ma opera al momento della generazione piuttosto che attraverso l'avvelenamento del corpus.

La sfida principale è costruire un attacco di avvelenamento dei dati che ottenga simultaneamente il dirottamento del recupero, manipoli l'output dell'LLM e rimanga sostanzialmente meno sospetto rispetto ai precedenti baseline sia sotto i filtri automatizzati che sotto l'ispezione umana.

Metodologia: SilentRetrieval

Gli autori propongono SilentRetrieval, un framework di avvelenamento dei dati in due fasi progettato per ottimizzare il dirottamento del recupero e la manipolazione della generazione aderendo rigorosamente a un budget di fluidità.

Fase 1: Ricerca a Raggio Coordinata (CBS)

Questa fase ottimizza un documento "ospite" topicamente rilevante per garantire che rimanga recuperabile dopo l'inserimento di un payload malevolo. A differenza dei precedenti approcci greedy a singolo token, la CBS esegue un'ottimizzazione congiunta multi-token.

• Obiettivo: Un problema di massimizzazione penalizzato che bilancia la similarità dell'embedding contro una penalità per la violazione della fluidità:
  $$d_{opt} = \arg \max_{d \in T} \text{sim}(E(q_{target}), E(d)) - \lambda \cdot \max(0, \text{PPL}(d) - \tau_{ppl})$$
• Meccanismo:
  1. Candidati Guidati dal Gradiente: I gradienti dal recuperatore e un segnale euristico dal modello di Perplessità (PPL) propongono modifiche candidate dei token.
  2. Ricerca a Raggio Coordinata: L'algoritmo seleziona le top-$M$ posizioni in base alla magnitudine del gradiente e costruisce un raggio sullo spazio congiunto di $M \times K$ sostituzioni candidate.
  3. Valutazione: Viene eseguita una valutazione completa dell'obiettivo (incluso il PPL tramite GPT-2) sui candidati del raggio. I candidati che superano il budget PPL ($\tau_{ppl} = 50$) vengono rifiutati.
• Obiettivo: Precondizionare il documento ospite in modo che la successiva inserzione di un payload portatore dell'obiettivo non causi il collasso della posizione di recupero del documento.

Fase 2: Generazione di Trigger Adattiva al Contesto (CATG)

Invece di aggiungere template di trigger fissi, questa fase sfrutta un LLM congelato (Llama-2-7B-Chat) per generare un trigger integrato contestualmente con il documento ottimizzato.

• Sintesi: L'LLM viene sollecitato a continuare il documento ottimizzato ($d_{opt}$) con una frase che incorpora naturalmente l'affermazione target ($a_{target}$), abbinando lo stile del passaggio, il vocabolario del dominio e la voce narrativa.
• Filtraggio: I trigger generati subiscono tre gate di qualità:
  1. Inferenza: Deve implicare la risposta target (verificato tramite modello NLI).
  2. Coerenza: La similarità coseno tra gli embedding dell'ospite e del trigger deve superare 0.7.
  3. Gate PPL: Il documento avversario concatenato deve soddisfare il budget PPL.
• Inquadratura: Il prompt incoraggia una formulazione autorevole (es. "fonti verificate") per sfruttare la tendenza dell'LLM a deferire a un linguaggio sicuro in contesti recuperati.

Contributi Chiave

1. Framework di Attacco in Due Fasi: L'introduzione di CBS per l'ottimizzazione multi-token vincolata alla fluidità e di CATG per una fusione di trigger leggera e consapevole del contesto.
2. Valutazione Completa: Valutazione su Natural Questions (NQ, 361K passaggi) e MS MARCO (8.8M passaggi) sotto un protocollo unificato a documento singolo. Lo studio include generalizzabilità cross-modello (4 LLM), attacchi di trasferimento surrogate contro recuperatori non visti (inclusi embedding commerciali) e analisi di scalabilità fino a 21M passaggi.
3. Difesa e Analisi Adattiva: Valutazione empirica delle difese lato recupero (riordinamento, recupero ibrido) e lato generazione (isolamento del passaggio), insieme a un attacco adattivo che incorpora un'ottimizzazione consapevole della difesa.
4. Valutazione Umana: Uno studio ($n=600$ documenti) che dimostra che i documenti SilentRetrieval hanno tassi di segnalazione significativamente più bassi rispetto ai baseline disfluenti.

Risultati Sperimentali

Prestazioni Principali

Sul dataset NQ (corpus 361K), SilentRetrieval ottiene:

• HR@10: 84.6% (il più alto tra i baseline).
• ASR-LLM (Tasso di Successo dell'Attacco tramite LLM come Giudice): 57.5%.
• Perplessità (PPL-G2): 32.4 (vicino al benigno, rispetto a 28.4 per i documenti benigni).
• Furtività: Solo l'8.7% dei documenti SilentRetrieval viene rilevato da un audit PPL indipendente ($\tau=50$), rispetto al 94.2% per Joint-GCG e all'83.3% per il baseline di Zhong et al.

Generalizzabilità e Trasferimento

• Cross-Modello: L'attacco mantiene un'efficacia non trascurabile su quattro LLM target (Llama-2, Mistral, Qwen, GPT-3.5), con ASR-LLM che varia dal 48.6% al 57.5%.
• Trasferimento Surrogate: Quando ottimizzato contro un recuperatore surrogate (Contriever) e testato contro sistemi target non visti (inclusi ColBERTv2 ed embedding commerciali come text-embedding-ada-002), l'attacco mantiene un HR@10 medio del 64.7%.
• Scalabilità: In una valutazione campionata su 21M passaggi, l'HR@10 scende al 74.2% a un rapporto di avvelenamento dello 0.016%, indicando che, sebbene l'espansione del corpus fornisca una difesa naturale parziale, è insufficiente per neutralizzare completamente l'attacco.

Efficacia della Difesa

• Difese Combinata: Una strategia di difesa a strati (Recupero Ibrido + Riordinamento Cross-Encoder + Isolamento del Passaggio) riduce l'ASR-LLM al 21.3% (a 11× latenza) o al 25.6% (a 6× latenza).
• Attacchi Adattivi: Un attacco adattivo che ottimizza contro un riordinatore specifico (MiniLM-L6-v2) recupera circa il 6.2% di HR@10 rispetto all'attacco non adattivo sotto la stessa difesa, evidenziando una corsa agli armamenti emergente.

Valutazione Umana

In uno studio con 10 annotatori, i documenti SilentRetrieval sono stati segnalati come sospetti nel 14.7% dei casi, significativamente meno rispetto a PoisonedRAG (56.7%) e Zhong et al. (83.3%). Sebbene la differenza tra SilentRetrieval (14.7%) e contenuti benigni (7.3%) non fosse statisticamente significativa a $\alpha=0.05$ ($p \approx 0.064$), la tendenza suggerisce un divario rilevabile che potrebbe ampliarsi con dimensioni campionarie più grandi.

Significato e Affermazioni

Il documento afferma che SilentRetrieval stabilisce un nuovo stato dell'arte nel compromesso furtività-efficacia per l'avvelenamento dei RAG. Il suo significato principale risiede nel dimostrare che:

1. L'integrità del corpus è una preoccupazione di sicurezza di primo livello: Gli attacchi che preservano la fluidità possono aggirare audit semplici basati sulla PPL e sono molto più difficili da segnalare per gli umani rispetto ai precedenti attacchi disfluenti.
2. Sono necessarie difese a strati: Nessuna singola difesa è sufficiente; è necessario combinare il riordinamento lato recupero, il recupero ibrido e l'isolamento del passaggio lato generazione per mitigare sostanzialmente la minaccia.
3. Il fronte furtività-efficacia è una lente di valutazione critica: I confronti grezzi del Tasso di Successo dell'Attacco (ASR) senza normalizzazione della perplessità oscurano la rilevabilità pratica degli attacchi. SilentRetrieval ottiene prestazioni forti mantenendo una perplessità vicina al benigno, sfidando l'assunzione secondo cui attacchi ad alta efficacia devono essere rumorosi o ovvi.

Gli autori sottolineano che il loro lavoro è una divulgazione responsabile che utilizza target sintetici su benchmark standard per motivare difese più robuste, piuttosto che una dimostrazione della fattibilità dell'iniezione nel mondo reale.