Technische Zusammenfassung: Durch die Stealth-Linse: Aufmerksamkeitsbewusste Abwehrmaßnahmen gegen Vergiftung in RAG

Problemstellung

Retrieval-Augmented Generation (RAG)-Systeme, die Large Language Models (LLMs) mit externen Wissensdatenbanken integrieren, sind anfällig für Vergiftungsangriffe auf die Abrufphase (retrieval corruption attacks). Bei diesen Angriffen injizieren Angreifer vergiftete Passagen in die Wissensdatenbank (z. B. über manipulierte Wikipedia-Seiten oder soziale Medien), um den abgerufenen Kontext zu verfälschen. Selbst bei niedrigen Vergiftungsraten (z. B. eine vergiftete Passage unter zehn) können bestehende Angriffe wie PoisonedRAG die Antwort des LLM erfolgreich auf eine Zielantwort manipulieren.

Die zentrale Herausforderung, die in diesem Papier adressiert wird, ist Stealth (Tarnung). Während bestehende Angriffe hohe Erfolgsquoten erzielen, argumentieren die Autoren, dass sie nicht darauf ausgelegt sind, unauffällig zu sein. Um den Konsens unbeschädigter Passagen zu überstimmen, müssen adversarische Passagen den Inferenzprozess des LLM unverhältnismäßig stark beeinflussen. Diese inhärente Anforderung erzeugt eine nachweisbare „böswillige Spur" in den internen Zuständen des Modells, speziell in der Verteilung der Aufmerksamkeitsgewichte. Das Papier geht davon aus, dass aktuelle Abwehrmaßnahmen diese intermediären Signale oft übersehen und stattdessen auf oberflächliche Semantik oder Perplexität setzen, die gegen fortgeschrittene Vergiftung weniger wirksam sind.

Methodik

1. Formalisierung von Stealth: Das SADG-Spiel

Die Autoren formalisieren das Konzept der Stealth durch das Stealth Attack Distinguishability Game (SADG). In diesem Sicherheits-Spiel versucht ein Verteidiger, zwischen einem unbeschädigten abgerufenen Satz und einem korrupten Satz (der bis zu einem Bruchteil $\epsilon$ vergifteter Passagen enthält) zu unterscheiden. Ein Angriff gilt als $\tau$-stealthig, wenn der Vorteil des Verteidigers bei der Unterscheidung der Sätze höchstens $\tau$ beträgt. Das Papier argumentiert, dass erfolgreiche Angriffe mit niedriger Vergiftungsrate diesen Test inhärent nicht bestehen, da sie ihren Einfluss auf eine kleine Teilmenge von Passagen konzentrieren und damit eine nachweisbare statistische Anomalie erzeugen.

2. Normalisierter Passage-Aufmerksamkeits-Score (NPAS)

Um den Einfluss einzelner Passagen auf die generierte Antwort zu quantifizieren, führt das Papier den Normalized Passage Attention Score (NPAS) ein.

• Mechanismus: Die Methode aggregiert Aufmerksamkeitsgewichte aus den Decoder-Schichten und -Köpfen des LLM. Für eine abgerufene Passage $z_t$ werden die Aufmerksamkeitswerte aller generierten Antwort-Token auf die am stärksten beachteten Top-$\alpha$-Token innerhalb von $z_t$ summiert.
• Normalisierung: Der Score wird durch die gesamte Aufmerksamkeit über alle $k$ abgerufenen Passagen normalisiert, um Vergleiche über verschiedene Abfragen und Modelle hinweg zu ermöglichen.
• Begründung: In unbeschädigten Szenarien ist die Aufmerksamkeit relativ gleichmäßig über relevante Passagen verteilt. Bei erfolgreichen Vergiftungsangriffen konzentriert sich die Aufmerksamkeit des Modells stark auf die vergiftete Passage (insbesondere Token, die dem adversarischen Ziel entsprechen), was zu einer hochvarianzigen Verteilung des NPAS führt.

3. Der Attention-Variance-Filter (AV-Filter)

Unter Ausnutzung der Beobachtung, dass vergiftete Sätze eine hohe Varianz im NPAS aufweisen, schlagen die Autoren den Attention-Variance-Filter (AV-Filter) vor.

• Prozess: Der Filter entfernt iterativ die Passage mit dem höchsten NPAS aus dem abgerufenen Satz.
• Stoppbedingung: Der Prozess wird fortgesetzt, bis entweder die Varianz der verbleibenden NPAS-Werte unter einen Schwellenwert $\delta$ fällt oder die Anzahl der entfernten Passagen das Vergiftungsbudget $\epsilon$ erreicht.
• Implementierung: Um Positionsverzerrungen (Recency-Effekte) zu mildern, werden Passagen vor dem Filtern nach ihrem NPAS neu sortiert. Der Schwellenwert $\delta$ wird aus sauberen Daten geschätzt (Mittelwert + 1 Standardabweichung).

4. Adaptive Angriffe

Um die Grenzen dieser Abwehr zu testen, entwickeln die Autoren adaptive Angriffe, die auf Stealth optimiert sind. Unter Verwendung von Jailbreak-Methoden (Erweiterung von GCG und AutoDAN) minimieren diese Angriffe eine zusammengesetzte Verlustfunktion:
$$L_t = L_1 + \lambda \cdot L_2$$
Wobei $L_1$ der Kreuzentropieverlust für die Zielantwort (Wirksamkeit) und $L_2$ die Varianz des NPAS (Stealth) ist. Dies zwingt den Angreifer, vergiftete Passagen zu finden, die die Zielantwort hervorrufen, ohne eine hochvarianzige Aufmerksamkeits-Signatur zu erzeugen.

Hauptbeiträge

1. Formalisierung von Stealth: Einführung des SADG zur rigorosen Definition und Messung der Stealth von RAG-Vergiftungsangriffen.
2. NPAS-Metrik: Entwicklung des Normalized Passage Attention Score zur Quantifizierung des Einflusses von Passagen auf die Antwort, wobei gezeigt wird, dass dieser unter Vergiftung verzerrt wird.
3. AV-Filter-Abwehr: Vorschlag eines leichten, auf der Aufmerksamkeitsvarianz basierenden Filters, der korrupte Passagen zuverlässig unterscheidet und entfernt, ohne die Inferenz-Pipeline zu verändern.
4. Umfassende Evaluierung: Umfangreiche Experimente über 4 Datensätze, 5 LLMs und 5 Angriffstypen, einschließlich der Entwicklung adaptiver Angriffe, um die Grenzen der Abwehr zu testen.
5. Anwendbarkeit in Weißer/ Schwarzer-Box: Demonstration, dass die Abwehr in White-Box-Szenarien (direkter Zugriff auf Modellinterne) und Black-Box-Szenarien (unter Verwendung eines zusätzlichen Open-Source-Modells zur Approximation von Aufmerksamkeitsignalen) funktioniert.

Ergebnisse

• Erkennungsfähigkeit (RQ1): Der Verteidiger, der die NPAS-Varianz nutzt ($D_{AV}$), identifiziert korrupte Sätze bei bestehenden Angriffen mit einer durchschnittlichen Gewinnquote von 0,78 im SADG und übertrifft damit das zufällige Raten signifikant.
• Robustheit (RQ2): Der AV-Filter verbessert die Robustheitsgenauigkeit (RACC) im Vergleich zu Baseline-Methoden signifikant.
  • Er erzielt in unbeschädigten Szenarien bis zu 23 % höhere Genauigkeit als Baseline-Abwehrmaßnahmen.
  • Unter Angriff liefert er bis zu 20 % höhere RACC als Baselines wie Certified Robust RAG (Keyword/Decoding).
  • Er reduziert die Attack Success Rate (ASR) von Vanilla-RAG (die auf einigen Datensätzen ~88 % erreichen kann) auf einen Durchschnitt von 6,6 % auf RQA-MC, was mit bestehenden robusten Methoden vergleichbar ist oder diese übertrifft.
• Grenzen adaptiver Angriffe (RQ3): Adaptive Angriffe können den AV-Filter umgehen und eine ASR von bis zu 35 % erreichen. Dies geht jedoch mit prohibitiven Kosten einher:
  • Sie erfordern vollen Zugriff auf die Modellinterne und die Wissensdatenbank.
  • Sie beinhalten abfragespezifische Optimierung, was die Laufzeit im Vergleich zu Standardangriffen um etwa $10^3$ bis $10^4$-fach erhöht (z. B. ~18.000 Sekunden pro Abfrage).
  • Die Autoren kommen zu dem Schluss, dass dies eine extreme theoretische Grenze darstellt und keine praktische Bedrohung.

Bedeutung und Behauptungen

Das Papier behauptet, dass Stealth und Wirksamkeit in der RAG-Vergiftung grundsätzlich Trade-offs sind. Um eine Antwort mit einer Minderheit vergifteter Passagen erfolgreich zu manipulieren, muss ein Angreifer unverhältnismäßigen Einfluss ausüben, was eine nachweisbare Signatur in den Aufmerksamkeitsgewichten hinterlässt.

• Wirksamkeit der Abwehr: Der AV-Filter bietet eine praktische, geringe Overhead-Abwehr, die die Nützlichkeit von RAG-Systemen erhält (minimaler Rückgang der Genauigkeit bei sauberen Daten) und gleichzeitig aktuelle Stealth-arme Angriffe effektiv mindert.
• Einschränkungen: Die Abwehr beruht auf spezifischen Annahmen: Die Vergiftung muss eine Minderheit sein ($\epsilon < 0,5$), korrektes Wissen muss redundant in unbeschädigten Passagen repräsentiert sein, und der Angriff muss den Antwortinhalt (nicht Stil oder Datenleckage) zum Ziel haben.
• Ausblick: Obwohl adaptive Angriffe zeigen, dass Stealth verbessert werden kann, bleiben sie rechenintensiv und ressourcenaufwendig. Das Papier legt nahe, dass die Erreichung echter, effizienter Stealth in der RAG-Vergiftung weiterhin eine bedeutende offene Herausforderung darstellt und polynomiale Abwehrmaßnahmen wie der AV-Filter derzeit für praktische Szenarien ausreichend sind.

Die Autoren betonen, dass ihr doppelter Beitrag (Abwehr und adaptiver Angriff) darauf abzielt, die Entwicklung robusterer RAG-Systeme voranzutreiben, indem sie die aktuellen Schwachstellen und die hohen Kosten ihrer Überwindung aufzeigen.