Technische Samenvatting: ADMIT – Few-Shot Kennisvergiftigingsaanvallen op RAG-gebaseerde Feitencontrole

1. Probleemdefinitie

Retrieval-Augmented Generation (RAG)-systemen verbeteren Large Language Models (LLM's) door externe kennis te integreren om hallucinaties en kennisafsnijdingen te verminderen. Deze systemen zijn echter kwetsbaar voor kennisvergiftiging, waarbij aanvallers adversariale inhoud injecteren in kennisbanken om de output van LLM's te manipuleren.

Bestaande literatuur over kennisvergiftiging maakt vaak gebruik van onrealistische aannames voor feitencontrolescenario's uit de echte wereld:

1. Volume-dominantie: Er wordt aangenomen dat kwaadaardige inhoud de opgehaalde context domineert, terwijl systemen uit de echte wereld doorgaans gezaghebbend bewijs uit vertrouwde bronnen (bijvoorbeeld nieuwsuitzendingen, medische databases) ophalen waar geloofwaardige informatie de overhand heeft.
2. Gebrek aan rechtvaardiging: Er wordt aangenomen dat LLM's onjuiste antwoorden genereren zonder samenhangende rechtvaardigingen te vereisen, waardoor moderne RAG-pijplijnen worden genegeerd die agent-gedreven redenering inzetten om goed onderbouwde conclusies te produceren.
3. Systeemtoegang: Er wordt vaak aangenomen dat de aanval toegang heeft tot de retriever of de interne werking van de LLM, terwijl aanvallen uit de echte wereld doorgaans black-box zijn.

Het artikel adresseert de kritieke vraag: Kunnen moderne op LLM's gebaseerde RAG-systemen robuust blijven wanneer vergiftigde inhoud naast geloofwaardig ondersteunend bewijs in de opgehaalde context bestaat?

2. Methodologie: ADMIT

De auteurs stellen ADMIT (ADversarial Multi-Injection Technique) voor, een few-shot, semantisch uitgelijnde vergiftigingsaanval die is ontworpen om feitencontrolebeslissingen om te draaien en misleidende rechtvaardigingen te induceren zonder toegang tot de doel-LLM's, retrievers of token-niveau controle.

2.1 Bedreigingsmodel

• Black-Box-toegang: De aanval heeft geen toegang tot de retriever of LLM van het slachtoffer.
• Few-Shot-injectie: De aanval injecteert een minimaal aantal adversariale passages ($m$) in de kennisbank, waarbij $m \le k$ (het aantal opgehaalde passages). In de 1-shot-instelling moet een enkele kwaadaardige passage potentieel vier schone passages overrulen.
• Semantische uitlijning: De ingevoegde inhoud kan niet onzinnig zijn of openlijke kwaadaardige instructies bevatten (bijvoorbeeld "negeer vorige instructies"). Het moet een samenhangende, menselijk leesbare passage zijn die legitiem nieuws of bewijs nabootst.

2.2 Kerncomponenten

ADMIT werkt via een proxy-verificatieopstelling om de doelomgeving te simuleren:

1. Constructie van Proxy-passages:

   • Zoekopdracht-gebaseerd: De aanval gebruikt een lichtgewicht LLM om diverse zoekopdrachten te genereren vanuit een bewering, haalt documenten op uit open webbronnen en filtert ze om passages te vinden die in tegenspraak zijn met de doelbewering.
   • LLM-gebaseerd: Voor beperkte scenario's vraagt de aanval een LLM om een passage te genereren die het tegenovergestelde standpunt van de doelbewering ondersteunt.
   • Deze proxy-passages dienen als de "schone" context waartegen de adversariale passage wordt geoptimaliseerd.

2. Adversariale Multi-injectie (De aanvalslus):

   • Generatie in één beurt: Een initiële adversariale passage wordt gegenereerd op basis van de proxy-context.
   • Meerdere-beurt-optimatie: Als de generatie in één beurt faalt, hanteert de aanval een iteratieve feedbacklus. Een aanval-LLM ($A$) werkt de adversariale passage ($p$) bij op basis van de vorige verificatie-uitkomst ($\tilde{V}$) en de proxy-context ($R_{proxy}$).
   • Wissen van het geheugen: Om contextdegradatie te voorkomen, wordt het geheugen elke $L$ iteraties gereset, waardoor de passagegeneratie wordt herinitialiseerd om nieuwe semantische richtingen te verkennen.
   • Doel: Het doel is een passage $p$ te vinden zodat $\tilde{f}_{verify}(C_i, R_{proxy} \cup p) \approx V^{target}_i$, waarbij het oordeel effectief wordt omgedraaid terwijl de semantische samenhang wordt behouden.

3. Adversariale Prefix-augmentatie:

   • Om ervoor te zorgen dat de adversariale passage wordt opgehaald ondanks de aanwezigheid van schone bewijsstukken, plakt de aanval de zoekopdrachten die zijn gebruikt om de proxy-passages te construeren, voor de adversariale tekst. Dit exploiteert de neiging van de retriever om zoekopdracht-trefwoorden te matchen, waardoor de ophaalkans van de kwaadaardige inhoud toeneemt.

3. Belangrijkste Bijdragen

• Nieuw Aanvalsparadigma: ADMIT is het eerste werk dat effectieve kennisvergiftiging demonstreert in few-shot-instellingen waar geloofwaardig bewijs de ophaalpool domineert. Het daagt de aanname uit dat grootschalige injectie noodzakelijk is voor succes.
• Misleidende Rechtvaardiging: In tegenstelling tot eerdere aanvallen die vertrouwen op openlijke instructies of onzusamenhangende tekst genereren, produceert ADMIT semantisch samenhangende, menselijk leesbare desinformatie die misleidende rechtvaardigingen bevat voor het omgekeerde oordeel.
• Black-Box-toepasbaarheid: De methode vereist geen white-box-toegang tot het slachtoffersysteem, en vertrouwt uitsluitend op proxy-verificatoren en openbare zoekmachines.
• Uitgebreide Evaluatie: De aanval wordt geëvalueerd over 4 cross-domein benchmarks (FEVER, SciFact, Climate-FEVER, HealthVer), 11 LLM's (inclusief open-source, commerciële en redeneringsmodellen) en 4 verschillende retrievers.

4. Experimentele Resultaten

• Hoog Aanvalsuccespercentage (ASR): ADMIT bereikt een gemiddeld ASR van 86% in alle instellingen met een extreem lage vergiftigingsgraad van $0,93 \times 10^{-6}$.
• Superioriteit ten opzichte van Baselines: In vergelijking met state-of-the-art-methoden (bijvoorbeeld PoisonedRAG, CorruptRAG, Prompt Injection) verbetert ADMIT het ASR met 11,2% in gemiddeld. Opmerkelijk is dat terwijl baselines vaak falen bij commerciële LLM's (bijvoorbeeld GPT-4o), ADMIT een hoge effectiviteit behoudt.
• Robuustheid tegen Tegenbewijs: Zelfs wanneer de opgehaalde context sterke feitelijke tegenbewijzen bevat (bijvoorbeeld 4 schone passages versus 1 kwaadaardige), slaagt ADMIT erin het oordeel in 80% van de gevallen om te draaien bij open-source LLM's en in 65% bij commerciële systemen.
• Overdraagbaarheid: De aanval wordt effectief overgedragen aan onzichtbare retrievers en LLM's. Op redenering gerichte modellen (bijvoorbeeld o1-mini), ondanks hun ontwerp voor feitelijke consistentie, bleken kwetsbaar, met ASR's van 60–70%.
• Ontduiking van Verdediging: ADMIT omzeilt consequent bestaande verdedigingen, waaronder:
  • Detectie van Fake News: Op LLM's gebaseerde classifiers slagen er niet in om ADMIT-passages te onderscheiden van echt nieuws (AUC-scores dicht bij een willekeurige kans).
  • Statistische Detectie: Perplexiteit (PPL) en ROUGE-N-lijjkheidsmetrieken slagen er niet in om adversariale passages te scheiden van schone passages vanwege de semantische samenhang van de gegenereerde inhoud.
  • Kennisconsolidatie: Strategieën zoals "divide-and-vote" of clustering versterken vaak de adversariale invloed in plaats van deze te verminderen.
  • Agent-gebaseerde Verdedigingen: ReAct-agents, die taken ontleden in zoek- en reflectiestappen, blijven zeer kwetsbaar, waarbij het ASR stijgt naar 88–94% naarmate het injectievolume toeneemt.

5. Betekenis en Claims

Het artikel beweert dat feitelijke robuustheid niet automatisch voortvloeit uit de schaal of het redeneervermogen van een LLM. Het bestaan van ADMIT blootlegt aanzienlijke structurele fragiliteiten in RAG-gebaseerde feitencontrolesystemen uit de echte wereld.

• Kwetsbaarheid van Hybride Systemen: De studie onthult dat zelfs wanneer systemen diverse, vertrouwde bronnen aggregeren, een enkele, goed ontworpen adversariale passage gezaghebbend bewijs kan overrulen.
• Beperkingen van Huidige Verdedigingen: Bestaande verdedigingen (statistische filtering, detectie van fake news en kennisconsolidatie) zijn ontoereikend tegen semantisch uitgelijnde, few-shot vergiftiging.
• Implicaties voor AI-veiligheid: De bevindingen benadrukken de dringende behoefte aan verdedigingen die verder gaan dan oppervlakkige consistentie, zoals het traceren van herkomst, het beoordelen van onzekerheid en het redeneren buiten de opgehaalde context.

De auteurs benadrukken dat hun werk puur defensief is en gericht is op het informeren van het ontwerp van robuustere feitencontrolesystemen door systematisch kwetsbaarheden te evalueren. Zij merken op dat hoewel de aanval effectief is, deze afhankelijk is van specifieke voorwaarden (bijvoorbeeld de mogelijkheid om in openbare kennisbanken te injecteren) en niet beweert alle RAG-systemen universeel te breken, maar eerder een kritiek, onderbelicht aanvalsoppervlak blootlegt.