Architecture Matters: Comparing RAG Systems under Knowledge Base Poisoning

Sintesi Tecnica: L'Architettura Conta: Confronto di Sistemi RAG sotto Avvelenamento della Base di Conoscenza

Enunciato del Problema
I sistemi di Generazione Aumentata dal Recupero (RAG) sono vulnerabili all'avvelenamento della base di conoscenza, dove un avversario inietta un documento creato appositamente per manipolare le output del sistema. Sebbene la letteratura esistente abbia valutato estesamente questi attacchi contro pipeline di tipo "vanilla" (recupera-poi-genera), rimane un divario critico: le architetture progettate esplicitamente per gestire informazioni conflittuali — come il dibattito multi-agente, il recupero agentic e i modelli linguistici ricorsivi — non sono mai state testate contro contraddizioni ottimizzate in modo avversario. Inoltre, le valutazioni precedenti spesso si basano su scenari in cui i documenti avvelenati dominano il contesto di recupero (ad esempio, $N=5$ documenti avvelenati su $K=5$ recuperati), fallendo nel testare la capacità del sistema di ragionare su un singolo documento avversario che coesiste con fonti legittime ($N=1$).

Metodologia
Lo studio valuta quattro distinte architetture RAG sotto un modello di minaccia di avvelenamento controllato $N=1$ su 921 coppie domanda-risposta tratte dal dataset Natural Questions (NQ), recuperate da un corpus Wikipedia di 2,68 milioni di passaggi utilizzando Contriever. Tutti i sistemi utilizzano GPT-5-mini come LLM di base per isolare gli effetti architetturali dalle differenze di capacità del modello.

Le quattro architetture testate sono:

1. RAG Vanilla: Una pipeline standard di recupero-poi-generazione a passaggio singolo.
2. RAG Agentic: Implementata tramite PydanticAI, che consente a un agente di cercare iterativamente, riformulare le query e raccogliere prove prima di rispondere.
3. MADAM-RAG: Un sistema di dibattito multi-agente in cui ogni documento recuperato è assegnato a un agente indipendente per la deliberazione, seguito da un aggregatore che sintetizza la risposta finale.
4. Modelli Linguistici Ricorsivi (RLM): Un sistema che elabora il contesto tematico completo (recuperando i primi 100 passaggi ed espandendoli a tutti i passaggi che condividono i titoli degli articoli, tipicamente $\sim$2.600 passaggi) tramite decomposizione programmatica e chiamate sub-ricorsive.

I sistemi sono testati sotto tre condizioni:

• Baseline Pulita: Nessun documento avvelenato.
• Iniezione Naive: Un passaggio contraddittorio scritto in modo naturale senza ottimizzazione del recupero.
• CorruptRAG-AK: Un attacco avversario che impiega un "inquadramento meta-epistemico" (ad esempio, "molte fonti obsolete affermano erroneamente... i dati più recenti confermano...") progettato per minare la credibilità delle fonti corrette. Questo attacco include una componente ottimizzata per il recupero per garantire che il documento avvelenato venga recuperato.

Le metriche di valutazione includono il Tasso di Successo dell'Attacco (ASR), condizionato all'accuratezza pulita per garantire un confronto equo tra architetture, e una tassonomia comportamentale a sette categorie (ad esempio, Corretto e Sicuro, Corretto con Rilevamento, Indecisione, Errato e Sicuro) valutata tramite un giudice LLM.

Principali Contributi

1. Prima Valutazione di Architetture Avanzate: Il documento fornisce la prima valutazione avversaria di architetture agentic, di dibattito multi-agente e ricorsive contro l'avvelenamento della base di conoscenza, colmando il divario tra la letteratura sull'avvelenamento e quella sulla gestione dei conflitti.
2. Architettura come Variabile di Primo Ordine: Lo studio dimostra che le scelte di progettazione architetturale da sole producono una variazione di quasi 58 punti percentuali nei tassi di successo dell'attacco (dall'81,9% per Vanilla al 24,4% per RLM) tra sistemi con accuratezza pulita comparabile ($\sim$92%).
3. Decomposizione del Successo dell'Attacco: Gli autori scompongono il divario di prestazioni tra attacchi naive e avversari in "effetti di recupero" (ottenere il recupero del veleno) ed "effetti di contenuto" (persuasività dell'inquadramento). Essi rilevano che, per tre delle quattro architetture, la maggior parte del vantaggio avversario deriva dall'inquadramento meta-epistemico nella fase di generazione, non dall'ottimizzazione del recupero.
4. Tassonomia Comportamentale: L'introduzione di una tassonomia a sette categorie cattura le modalità di fallimento oltre alla semplice accuratezza binaria, inclusa la rilevazione delle contraddizioni, l'indecisione e i livelli di sicurezza.

Risultati

• Varianza della Robustezza: Sotto CorruptRAG-AK, il RAG Vanilla subisce un ASR dell'81,9% (condizionato alla pulizia), mentre il RAG Agentic scende al 43,8% e l'RLM ottiene la massima robustezza al 24,4%. Il MADAM-RAG mostra un ASR del 45,5% ma è complicato da un alto tasso di non-risposta (41,4% su input puliti), suggerendo un compromesso "sicuro ma inutile" in cui il sistema rifiuta frequentemente di rispondere piuttosto che rischiare un errore.
• Risultati della Decomposizione:
  • RAG Vanilla: Il vantaggio dell'attacco è diviso tra recupero ($\sim$18 punti percentuali) e contenuto ($\sim$32 punti percentuali).
  • RAG Agentic: Il vantaggio è prevalentemente guidato dal contenuto ($\sim$30 punti percentuali), con un contributo minimo del recupero. Notevolmente, il ciclo agentic amplifica l'inquadramento avversario, riproducendo marcatori meta-epistemici nel 63% delle risposte errate.
  • RLM: L'intero divario di vulnerabilità è localizzato nella fase di ragionamento sul contenuto; l'ottimizzazione del recupero non offre alcun vantaggio aggiuntivo all'attaccante.
  • MADAM-RAG: L'effetto del contenuto è statisticamente indistinguibile da zero. Una volta recuperato il veleno, l'inquadramento avversario non offre alcun vantaggio rispetto a una contraddizione naive, suggerendo che la struttura di dibattito filtra il linguaggio persuasivo. Tuttavia, l'aggregatore non riesce a risolvere le contraddizioni in modo affidabile indipendentemente dall'inquadramento.
• Analisi Comportamentale: I fallimenti del RAG Vanilla sono prevalentemente "Errato e Sicuro". Il RAG Agentic mostra fallimenti più distribuiti, inclusa l'indecisione. Il MADAM-RAG presenta alti tassi di indecisione e risposte "Sconosciuto", sopprimendo gli errori sicuri ma riducendo anche l'utilità. L'RLM mantiene il tasso più basso di risposte errate e sicure.

Significato e Affermazioni
Il documento sostiene che la scelta architetturale è una variabile ad alto impatto e poco esplorata nella robustezza avversaria dei RAG, potenzialmente più significativa di molti meccanismi di difesa dedicati. Gli autori affermano che:

• Priorità di Progettazione: La selezione di un'architettura di ragionamento dovrebbe essere una decisione di progettazione co-eguale alla selezione dei meccanismi di difesa. Una pipeline vanilla con difese sofisticate potrebbe performare peggio di una pipeline agentic o ricorsiva nuda contro minacce realistiche.
• Contingenza del Modello di Minaccia: Per la corruzione organica (documenti obsoleti), il RAG Agentic offre un forte compromesso costo-robustezza. Tuttavia, contro un inquadramento avversario sofisticato, il RAG Agentic è insufficiente da solo, e i Modelli Linguistici Ricorsivi (RLM) offrono una robustezza superiore, sebbene a un costo di latenza significativo.
• Vulnerabilità a Livello di Generazione: La principale vulnerabilità per la maggior parte delle architetture avanzate risiede nella fase di generazione/ragionamento (effetto contenuto), non nel recupero. Ciò motiva difese a livello di generazione (ad esempio, prompting difensivo, controlli di coerenza) come obiettivo primario di intervento per i sistemi Agentic e RLM.
• Limitazioni del MADAM-RAG: Sebbene la struttura di dibattito multi-agente mostri promesse nel filtrare il linguaggio avversario e nel rilevare contraddizioni, l'implementazione specifica testata non è riuscita a risolvere i conflitti in modo affidabile, risultando in alti tassi di non-risposta. Il documento suggerisce che è necessaria una logica di aggregazione migliorata per realizzare il potenziale di questa architettura.

Lo studio conclude che, sebbene gli RLM offrano attualmente la robustezza più forte, l'alta latenza e l'asimmetria informativa (contesto più ampio) presentano sfide per il deployment. Gli autori ipotizzano che il lavoro futuro dovrebbe investigare se un prompting difensivo leggero possa colmare il divario di robustezza tra le architetture Agentic e Ricorsive al punto di costo inferiore dei sistemi Agentic.