Technische Samenvatting: Door de Stealth-Lens: Aandacht-bewuste Verdedigingen tegen Vergiftiging in RAG

Probleemstelling

Retrieval-Augmented Generation (RAG)-systemen, die Large Language Models (LLM's) integreren met externe kennisbanken, zijn kwetsbaar voor aanvallen op de retrieval-corruptie. Bij deze aanvallen injecteren tegenstanders vergiftigde passages in de kennisdatabase (bijvoorbeeld via gemanipuleerde Wikipedia-pagina's of sociale media) om de opgehaalde context te corrumperen. Zelfs bij lage corruptiepercentages (bijvoorbeeld één vergiftigde passage onder tien) kunnen bestaande aanvallen zoals PoisonedRAG de reactie van het LLM succesvol manipuleren naar een gewenst antwoord.

De kernuitdaging die in dit artikel wordt aangepakt is stealth (onopgemerkt blijven). Hoewel bestaande aanvallen hoge succespercentages behalen, betogen de auteurs dat ze niet zijn ontworpen om onopgemerkt te blijven. Om de consensus van onschuldige passages te doorbreken, moeten vijandige passages de inferentieprocessen van het LLM disproportioneel beïnvloeden. Deze inherente vereiste creëert een detecteerbaar "kwaadaardig spoor" in de interne toestanden van het model, specifiek in de verdeling van aandachtsgewichten. Het artikel stelt dat huidige verdedigingen deze tussentijdse signalen vaak over het hoofd zien, en zich in plaats daarvan baseren op oppervlakkige semantiek of perplexiteit, wat minder effectief is tegen geavanceerde vergiftiging.

Methodologie

1. Formalisering van Stealth: Het SADG-Spel

De auteurs formaliseren het concept van stealth via het Stealth Attack Distinguishability Game (SADG). In dit beveiligingsspel probeert een verdediger een onderscheid te maken tussen een onschuldige opgehaalde set en een gecorrumpeerde set (die tot een fractie $\epsilon$ aan vergiftigde passages bevat). Een aanval wordt beschouwd als $\tau$-stealthig als het voordeel van de verdediger om de sets te onderscheiden maximaal $\tau$ bedraagt. Het artikel betoogt dat succesvolle aanvallen met lage corruptie deze test inherent falen omdat ze invloed concentreren op een klein subset van passages, waardoor een detecteerbare statistische anomalie ontstaat.

2. Genormaliseerde Passage Aandachtsscore (NPAS)

Om de invloed van individuele passages op de gegenereerde reactie te kwantificeren, introduceert het artikel de Genormaliseerde Passage Aandachtsscore (NPAS).

• Mechanisme: De methode aggregeert aandachtsgewichten uit de decoderlagen en -hoofden van het LLM. Voor een opgehaalde passage $z_t$ somt het de aandachtsscores op van alle gegenereerde reactietokens naar de top-$\alpha$ meest bekeken tokens binnen $z_t$.
• Normalisatie: De score wordt genormaliseerd door de totale aandacht over alle $k$ opgehaalde passages om vergelijking mogelijk te maken tussen verschillende queries en modellen.
• Redenering: In onschuldige scenario's is de aandacht relatief uniform verdeeld over relevante passages. Bij succesvolle vergiftigingsaanvallen concentreert het model de aandacht zwaar op de vergiftigde passage (specifiek tokens die overeenkomen met het vijandige doelwit), wat resulteert in een verdeling van NPAS met hoge variantie.

3. De Aandacht-Variantie Filter (AV Filter)

Gebruikmakend van de observatie dat vergiftigde sets een hoge variantie in NPAS vertonen, stellen de auteurs de Aandacht-Variantie Filter (AV Filter) voor.

• Proces: De filter verwijdert iteratief de passage met de hoogste NPAS uit de opgehaalde set.
• Stopconditie: Het proces gaat door totdat de variantie van de resterende NPAS-scores onder een drempelwaarde $\delta$ daalt of het aantal verwijderde passages het corruptiebudget $\epsilon$ bereikt.
• Implementatie: Om positionele bias (recency-effecten) te mitigeren, worden passages opnieuw gesorteerd op basis van hun NPAS voordat er wordt gefilterd. De drempelwaarde $\delta$ wordt geschat op basis van schone data (gemiddelde + 1 standaarddeviatie).

4. Adaptieve Aanvallen

Om de grenzen van deze verdediging te testen, ontwikkelen de auteurs adaptieve aanvallen die geoptimaliseerd zijn voor stealth. Met behulp van jailbreak-methodologieën (uitbreiding van GCG en AutoDAN) minimaliseren deze aanvallen een samengestelde verliesfunctie:
$$L_t = L_1 + \lambda \cdot L_2$$
Waarbij $L_1$ de cross-entropy loss is voor het doelantwoord (effectiviteit) en $L_2$ de variantie van NPAS is (stealth). Dit dwingt de aanvaller om vergiftigde passages te vinden die het doelantwoord induceren zonder een aandachts-signatuur met hoge variantie te creëren.

Belangrijkste Bijdragen

1. Formalisering van Stealth: Introductie van het SADG om de stealth van RAG-vergiftigingsaanvallen rigoureus te definiëren en te meten.
2. NPAS-metriek: Ontwikkeling van de Genormaliseerde Passage Aandachtsscore om de invloed van passage op reactie te kwantificeren, waarbij wordt aangetoond dat deze scheeftrekt onder corruptie.
3. AV Filter-verdediging: Voorstellen van een lichtgewicht, op aandachtsvariantie gebaseerde filter die gecorrumpeerde passages betrouwbaar onderscheidt en verwijdert zonder de inferentiepiplijn te wijzigen.
4. Uitgebreide Evaluatie: Uitgebreide experimenten over 4 datasets, 5 LLM's en 5 aanvalstypen, inclusief de ontwikkeling van adaptieve aanvallen om de grenzen van de verdediging te toetsen.
5. Toepasbaarheid Wit/Black-Box: Aantonen dat de verdediging werkt in witte-omgevingen (directe toegang tot modelinterne details) en zwarte-omgevingen (met behulp van een aanvullend open-source model om aandachtsignalen te benaderen).

Resultaten

• Detectievermogen (Vraag 1): De verdediger die variantie in NPAS gebruikt ($D_{AV}$), identificeert gecorrumpeerde sets bij bestaande aanvallen succesvol met een gemiddelde winstkans van 0,78 in het SADG, wat significant beter is dan raden.
• Robuustheid (Vraag 2): De AV Filter verbetert de robuuste nauwkeurigheid (RACC) aanzienlijk ten opzichte van baselines.
  • Het bereikt tot 23% hogere nauwkeurigheid dan basisverdedigingen in onschuldige settings.
  • Onder aanval levert het tot 20% hogere RACC op dan baselines zoals Certified Robust RAG (Sleutelwoord/Decoding).
  • Het verlaagt het Aanvals Succespercentage (ASR) van standaard RAG (dat op sommige datasets tot ~88% kan reiken) naar een gemiddelde van 6,6% op RQA-MC, vergelijkbaar met of beter dan bestaande robuuste methoden.
• Grenzen Adaptieve Aanvallen (Vraag 3): Adaptieve aanvallen kunnen de AV Filter omzeilen, met een ASR tot 35%. Dit komt echter tegen een verbodsbepalende prijs:
  • Ze vereisen volledige toegang tot modelinterne details en de kennisbank.
  • Ze omvatten query-specifieke optimalisatie, wat de runtime met ongeveer $10^3$ tot $10^4$ keer vergroot ten opzichte van standaardaanvallen (bijvoorbeeld ~18.000 seconden per query).
  • De auteurs concluderen dat deze een extreme theoretische limiet vertegenwoordigen in plaats van een praktische bedreiging.

Betekenis en Claims

Het artikel claimt dat stealth en effectiviteit fundamenteel in een afweging staan bij RAG-vergiftiging. Om een reactie succesvol te manipuleren met een minderheid aan vergiftigde passages, moet een tegenstander een disproportionele invloed uitoefenen, wat een detecteerbare signatuur achterlaat in de aandachtsgewichten.

• Doeltreffendheid Verdediging: De AV Filter biedt een praktische, laag-overhead verdediging die de bruikbaarheid van RAG-systemen behoudt (minimale daling in nauwkeurigheid op schone data) terwijl het huidige aanvallen met lage stealth effectief mitigeert.
• Beperkingen: De verdediging rust op specifieke aannames: de corruptie moet een minderheid zijn ($\epsilon < 0,5$), correcte kennis moet redundant vertegenwoordigd zijn in onschuldige passages, en de aanval moet gericht zijn op reactie-inhoud (niet op stijl of datalekken).
• Toekomstperspectief: Hoewel adaptieve aanvallen tonen dat stealth kan worden verbeterd, blijven ze rekenkundig duur en resource-intensief. Het artikel suggereert dat het bereiken van ware, efficiënte stealth bij RAG-vergiftiging een aanzienlijke open uitdaging blijft, en dat verdedigingen in polynomiale tijd zoals de AV Filter momenteel voldoende zijn voor praktische scenario's.

De auteurs benadrukken dat hun dubbele bijdrage (verdediging en adaptieve aanval) gericht is op het stimuleren van de ontwikkeling van robuustere RAG-systemen door de huidige kwetsbaarheden en de hoge kosten om deze te overwinnen bloot te leggen.