Sintesi Tecnica: PRA-RAG

Problematica

I sistemi di Retrieval-Augmented Generation (RAG) potenziano i Large Language Models (LLM) integrando conoscenze esterne, ma rimangono vulnerabili ad attacchi di corruzione del recupero (retrieval corruption attacks). In questi scenari, gli avversari iniettano testi malevoli (documenti avvelenati) nel database della conoscenza esterna. Quando viene elaborata una query dell'utente, il sistema di recupero può selezionare questi testi avvelenati, guidando l'LLM a generare output errati specificati dall'attaccante (ad esempio, rispondere "Monte Fuji" alla domanda "Qual è la montagna più alta?").

I meccanismi di difesa esistenti presentano limitazioni significative:

• Mancanza di Garanzie Teoriche: La maggior parte dei metodi (ad es., AstuteRAG, TrustRAG) si affida al rilevamento euristico o alla conoscenza interna dell'LLM, offrendo nessuna certificazione formale di robustezza.
• Dipendenza dalla Conoscenza dell'LLM: Le difese che richiedono all'LLM di riconoscere contenuti avvelenati falliscono quando il modello manca di sufficiente conoscenza del dominio per distinguere gli input malevoli.
• Elevato Overhead Computazionale: I metodi che forniscono garanzie teoriche, come RobustRAG, spesso richiedono molteplici generazioni dell'LLM, con conseguente latenza proibitiva.
• Affidabilità Non Verificata: Gli approcci attuali mancano di un framework quantitativo per misurare l'impatto massimo dell'avvelenamento o per certificare la robustezza del sistema in condizioni avversarie.

Metodologia: PRA-RAG

Gli autori propongono PRA-RAG (Provably Robust Aggregation in Retrieval-Augmented Generation), un algoritmo di aggregazione agnostico rispetto al modello, progettato per mitigare l'avvelenamento nella fase di recupero senza fare affidamento sulla conoscenza interna dell'LLM.

Workflow Core

1. Recupero Diversificato: Il sistema recupera intenzionalmente un set più ampio di documenti Top-$K$ (dove $K$ supera il requisito standard) per aumentare la diversità informativa e diluire l'influenza di un singolo testo malevolo.
2. Campionamento Combinatorio: Il set recuperato viene scomposto in molteplici sottoinsiemi di dimensione $n$. Ogni sottoinsieme viene codificato in un vettore di embedding ad alta dimensione.
3. Aggregazione Geometrica Robusta:
   • L'algoritmo opera nello spazio degli embedding per identificare una sfera a raggio minimo che racchiuda più della metà degli embedding del sottoinsieme.
   • Il centro di questa sfera rappresenta un "sottoinsieme robusto" che cattura il consenso della maggioranza (testi puliti) escludendo gli outlier (testi avvelenati).
   • Questo approccio si basa su una maggioranza combinatoria: finché il numero di testi avvelenati $\epsilon$ è inferiore a una certa soglia rispetto a $K$ e $n$, il numero di sottoinsiemi puliti supera il numero di sottoinsiemi avvelenati.
4. Aggregazione Pesata: Viene calcolata una media pesata degli embedding nel sottoinsieme robusto selezionato per generare il contesto finale per l'LLM.

Framework Teorico

Il documento introduce una metrica di Deviazione Media Provabile (Provable Average Deviation - PAD). Modellando lo spostamento semantico causato dall'avvelenamento come un problema di perturbazione di un set, gli autori derivano un limite superiore teorico sulla deviazione tra la rappresentazione aggregata dei dati puliti e quella dei dati avvelenati.

• Certificazione: Il metodo fornisce un limite certificato ($d \le (1+\beta)\hat{R}$) sulla deviazione semantica, garantendo che l'output aggregato rimanga entro un intervallo controllabile anche sotto attacco.
• Scalabilità: Per gestire l'esplosione combinatoria dei sottoinsiemi ($\binom{K}{n}$), gli autori impiegano una strategia di campionamento Monte Carlo. Dimostrano che il campionamento di un sottoinsieme di combinazioni fornisce un'approssimazione statisticamente limitata del raggio di robustezza ottimale senza una significativa degradazione delle prestazioni.

Contributi Chiave

1. Certificazione Teorica: Il lavoro fornisce la prima caratterizzazione e certificazione teorica della massima deviazione semantica causata dai recuperi avvelenati nei sistemi RAG, offrendo una metrica rigorosa (PAD) per valutare la robustezza.
2. Algoritmo Provabilmente Robusto: PRA-RAG introduce un metodo di aggregazione geometrica che mitiga efficacemente l'influenza del recupero avvelenato selezionando il centro di una Sfera Minima Includente (Minimum Enclosing Ball - MEB) che copre la maggioranza, preservando l'accuratezza della generazione senza richiedere il rilevamento basato su LLM.
3. Validazione Empirica: Esperimenti estesi su molteplici dataset (Natural Questions, MS-MARCO, HotpotQA) e diversi LLM (Mistral, Llama, Vicuna, varianti di GPT) dimostrano che PRA-RAG supera significativamente le difese allo stato dell'arte.

Risultati Sperimentali

• Robustezza: Sotto un tasso di avvelenamento del 20%, PRA-RAG ha ridotto l'Attack Success Rate (ASR) fino all'1%, mantenendo un'accuratezza (ACC) del 71% sul dataset MS-MARCO.
• Confronto: Il metodo ha superato costantemente i baseline come RobustRAG, InstructRAG e TrustRAG, ottenendo un ASR più basso e una ACC più alta attraverso varie strategie di attacco (PoisonedRAG, Adversarial Decoding, DoS, CorruptRAG).
• Efficienza: A differenza dei metodi che richiedono molteplici generazioni di LLM, PRA-RAG ha dimostrato la minore latenza di inferenza tra le difese confrontate (ad es., ~6 secondi rispetto a ~27 secondi per RobustRAG su MS-MARCO), rendendolo pratico per l'implementazione nel mondo reale.
• Studi di Ablazione: I risultati hanno confermato che l'aumento del numero di testi recuperati ($K$) e della dimensione del sottoinsieme ($n$) migliora la robustezza (punteggi PAD più bassi), mentre il campionamento Monte Carlo mantiene le prestazioni con un ridotto overhead computazionale.

Significato e Rivendicazioni

Il documento sostiene che PRA-RAG affronti una lacuna critica nella sicurezza RAG spostando il paradigma della difesa dal rilevamento (fare affidamento sull'LLM per individuare le menzogne) all'aggregazione (filtrare matematicamente le menzogne tramite consenso geometrico).

• Garanzia Agnostica rispetto al Modello: La garanzia di robustezza è derivata dalle proprietà geometriche degli embedding di recupero, non dalle capacità specifiche dell'LLM, rendendola efficace anche quando il modello ha una conoscenza limitata del contenuto recuperato.
• Sicurezza Quantitativa: Fornendo un limite superiore certificato sulla deviazione semantica, il lavoro consente una valutazione quantitativa dell'affidabilità del sistema in condizioni avversarie, andando oltre le osservazioni empiriche.
• Viabilità Pratica: Gli autori sottolineano che il loro approccio ottiene una forte difesa con un basso overhead computazionale, bilanciando sicurezza e usabilità senza l' "over-refusal" (eccessivo rifiuto) o l'alta latenza visti in altri metodi robusti precedenti.

Gli autori riconoscono i limiti, notando che la difesa dipende dal fatto che il numero di testi avvelenati rimanga al di sotto di una specifica soglia e che la costruzione dei sottoinsiemi introduce un certo overhead computazionale, sebbene questo sia gestibile e scambiabile rispetto alle necessità di sicurezza.