Riepilogo Tecnico: ADMIT – Attacchi di Avvelenamento della Conoscenza Few-Shot su Sistemi di Verifica dei Fatti Basati su RAG

1. Definizione del Problema

I sistemi di Generazione Aumentata dal Recupero (RAG) potenziano i Modelli Linguistici di Grande Dimensione (LLM) integrando conoscenze esterne per mitigare le allucinazioni e i limiti temporali delle conoscenze. Tuttavia, questi sistemi sono vulnerabili all'avvelenamento della conoscenza, dove gli attaccanti iniettano contenuti avversi nelle basi di conoscenza per manipolare gli output degli LLM.

La letteratura esistente sull'avvelenamento della conoscenza si basa spesso su ipotesi irrealistiche per gli scenari reali di verifica dei fatti:

1. Dominanza del Volume: Si presume che i contenuti malevoli dominino il contesto recuperato, mentre i sistemi reali recuperano tipicamente prove autorevoli da fonti affidabili (ad esempio, agenzie di stampa, database medici) dove l'informazione credibile prevale.
2. Mancanza di Giustificazione: Si presume che gli LLM generino risposte errate senza richiedere giustificazioni coerenti, ignorando le moderne pipeline RAG che impiegano ragionamento guidato da agenti per produrre conclusioni ben motivate.
3. Accesso al Sistema: Si presume spesso che l'attaccante abbia accesso al recuperatore o agli interni dell'LLM, mentre gli attacchi nel mondo reale sono tipicamente black-box.

Il documento affronta la domanda critica: I moderni sistemi RAG basati su LLM possono rimanere robusti quando contenuti avvelenati coesistono con prove di supporto credibili nel contesto recuperato?

2. Metodologia: ADMIT

Gli autori propongono ADMIT (ADversarial Multi-Injection Technique), un attacco di avvelenamento few-shot e semanticamente allineato progettato per ribaltare le decisioni di verifica dei fatti e indurre giustificazioni ingannevoli senza accesso agli LLM target, ai recuperatori o al controllo a livello di token.

2.1 Modello di Minaccia

• Accesso Black-Box: L'attaccante non ha accesso al recuperatore o all'LLM della vittima.
• Iniezione Few-Shot: L'attaccante inietta un numero minimo di passaggi avversi ($m$) nella base di conoscenza, dove $m \le k$ (il numero di passaggi recuperati). Nella configurazione 1-shot, un singolo passaggio malevolo deve sovrascrivere potenzialmente quattro passaggi puliti.
• Allineamento Semantico: Il contenuto iniettato non può essere privo di senso o contenere istruzioni malevole palesi (ad esempio, "ignora le istruzioni precedenti"). Deve essere un passaggio coerente e leggibile dall'uomo che imita notizie o prove legittime.

2.2 Componenti Principali

ADMIT opera attraverso una configurazione di verifica proxy per simulare l'ambiente target:

1. Costruzione del Passaggio Proxy:

   • Basata sulla Ricerca: L'attaccante utilizza un LLM leggero per generare query diversificate da una affermazione, recupera documenti da fonti web aperte e li filtra per trovare passaggi che contraddicono l'affermazione target.
   • Basata su LLM: Per scenari vincolati, l'attaccante sollecita un LLM a generare un passaggio a sostegno della posizione opposta rispetto all'affermazione target.
   • Questi passaggi proxy servono come contesto "pulito" contro cui il passaggio avverso viene ottimizzato.

2. Multi-Iniezione Avversa (Il Ciclo di Attacco):

   • Generazione a Singolo Turno: Un passaggio avverso iniziale viene generato in base al contesto proxy.
   • Ottimizzazione a Multi-Turno: Se la generazione a singolo turno fallisce, l'attaccante impiega un ciclo di feedback iterativo. Un LLM attaccante ($A$) aggiorna il passaggio avverso ($p$) in base al precedente risultato di verifica ($\tilde{V}$) e al contesto proxy ($R_{proxy}$).
   • Cancellazione della Memoria: Per prevenire il degrado del contesto, la memoria viene resettata ogni $L$ iterazioni, reinizializzando la generazione del passaggio per esplorare nuove direzioni semantiche.
   • Obiettivo: L'obiettivo è trovare un passaggio $p$ tale che $\tilde{f}_{verify}(C_i, R_{proxy} \cup p) \approx V^{target}_i$, ribaltando efficacemente il verdetto mantenendo la coerenza semantica.

3. Augmentation del Prefisso Avverso:

   • Per garantire che il passaggio avverso venga recuperato nonostante la presenza di prove pulite, l'attaccante antepone le query di ricerca utilizzate per costruire i passaggi proxy al testo avverso. Questo sfrutta la tendenza del recuperatore a corrispondere le parole chiave della query, aumentando la probabilità di recupero del contenuto malevolo.

3. Contributi Chiave

• Paradigma di Attacco Innovativo: ADMIT è il primo lavoro a dimostrare un'avvelenamento efficace della conoscenza in contesti few-shot dove prove credibili dominano il pool di recupero. Mette in discussione l'ipotesi secondo cui un'iniezione su larga scala sia necessaria per il successo.
• Giustificazione Ingannevole: A differenza di attacchi precedenti che si basano su istruzioni palesi o generano testi incoerenti, ADMIT produce disinformazione semanticamente coerente e leggibile dall'uomo che include giustificazioni ingannevoli per il verdetto ribaltato.
• Applicabilità Black-Box: Il metodo non richiede accesso white-box al sistema vittima, affidandosi esclusivamente a verificatori proxy e motori di ricerca pubblici.
• Valutazione Completa: L'attacco è valutato su 4 benchmark cross-dominio (FEVER, SciFact, Climate-FEVER, HealthVer), 11 LLM (inclusi modelli open-source, commerciali e di ragionamento) e 4 recuperatori diversi.

4. Risultati Sperimentali

• Alto Tasso di Successo dell'Attacco (ASR): ADMIT raggiunge un ASR medio del 86% in tutte le configurazioni con un tasso di avvelenamento estremamente basso di $0.93 \times 10^{-6}$.
• Superiorità rispetto alle Baseline: Rispetto ai metodi all'avanguardia (ad esempio, PoisonedRAG, CorruptRAG, Prompt Injection), ADMIT migliora l'ASR del 11.2% in media. Notevolmente, mentre le baseline spesso falliscono sugli LLM commerciali (ad esempio, GPT-4o), ADMIT mantiene un'alta efficacia.
• Robustezza alle Controprove: Anche quando il contesto recuperato contiene forti controprove fattuali (ad esempio, 4 passaggi puliti contro 1 malevolo), ADMIT ribalta con successo il verdetto nell'80% dei casi su LLM open-source e nel 65% sui sistemi commerciali.
• Trasferibilità: L'attacco si trasferisce efficacemente su recuperatori e LLM non visti. I modelli orientati al ragionamento (ad esempio, o1-mini), nonostante la loro progettazione per la coerenza fattuale, si sono rivelati vulnerabili, con ASR che raggiungono il 60–70%.
• Evasione delle Difese: ADMIT aggira costantemente le difese esistenti, tra cui:
  • Rilevamento delle Fake News: I classificatori basati su LLM non riescono a distinguere i passaggi ADMIT dalle notizie reali (punteggi AUC vicini al caso casuale).
  • Rilevamento Statistico: Le metriche di Perplexity (PPL) e similarità ROUGE-N non riescono a separare i passaggi avversi da quelli puliti a causa della coerenza semantica del contenuto generato.
  • Consolidamento della Conoscenza: Strategie come "divide-and-vote" o clustering spesso amplificano l'influenza avversa invece di mitigarla.
  • Difese Basate su Agenti: Gli agenti ReAct, che scompongono i compiti in fasi di ricerca e riflessione, rimangono altamente vulnerabili, con l'ASR che sale all'88–94% all'aumentare del volume di iniezione.

5. Significato e Affermazioni

Il documento afferma che la robustezza fattuale non deriva automaticamente dalla scala o dalla capacità di ragionamento di un LLM. L'esistenza di ADMIT espone fragilità strutturali significative nei sistemi reali di verifica dei fatti basati su RAG.

• Vulnerabilità dei Sistemi Ibridi: Lo studio rivela che anche quando i sistemi aggregano fonti diverse e affidabili, un singolo passaggio avverso ben costruito può sovrascrivere prove autorevoli.
• Limiti delle Difese Attuali: Le difese esistenti (filtraggio statistico, rilevamento delle fake news e consolidamento della conoscenza) sono insufficienti contro l'avvelenamento few-shot semanticamente allineato.
• Implicazioni per la Sicurezza dell'IA: I risultati evidenziano la necessità urgente di difese che vadano oltre la coerenza superficiale, come il tracciamento della provenienza, la valutazione dell'incertezza e il ragionamento oltre il contesto recuperato.

Gli autori sottolineano che il loro lavoro è puramente difensivo, mirato a informare la progettazione di sistemi di verifica dei fatti più robusti valutando sistematicamente le vulnerabilità. Osservano che, sebbene l'attacco sia efficace, si basa su condizioni specifiche (ad esempio, la possibilità di iniettare nelle basi di conoscenza pubbliche) e non afferma di rompere universalmente tutti i sistemi RAG, ma piuttosto espone una superficie di attacco critica e poco esplorata.