💬 NLP

SilentRetrieval: Hijacking Retrieval-Augmented Generation via Semantically-Preserving Adversarial Data Poisoning

Das Papier stellt SilentRetrieval vor, einen zweistufigen Datenvergiftungsangriff, der Retrieval-Augmented-Generation-Systeme entführt, indem er fließend gestaltete adversariale Dokumente injiziert, die hohe Retrieval-Rankings beibehalten, die Ausgaben von LLMs erfolgreich manipulieren und dabei die semantische Kohärenz bewahren, um die Erkennung zu umgehen.

Ursprüngliche Autoren: Jiachen Qian

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiachen Qian

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Retrieval-Augmented Generation (RAG)-System als eine sehr kluge, aber leicht vergessliche Bibliothekarin vor. Wenn Sie eine Frage stellen, verlässt sich diese Bibliothekarin nicht nur auf ihr eigenes Gedächtnis (das veraltet sein oder Dinge erfinden könnte); sie läuft schnell zu einer riesigen Bibliothek voller Bücher (dem „Korpus"), um die relevantesten Seiten zu finden, liest sie und schreibt dann eine Antwort für Sie basierend auf dem, was sie gefunden hat.

Die Arbeit „SilentRetrieval" beschreibt einen neuen, hinterhältigen Weg, diese Bibliothekarin zu hacken. Anstatt zu schreien oder die Bibliotheksfenster zu zertrümmern (was offensichtlich wäre), schiebt der Angreifer ein einziges, perfekt geschriebenes, gefälschtes Buch in die Regale. Wenn die Bibliothekarin nach der Antwort sucht, findet sie zuerst dieses gefälschte Buch, liest es und erzählt Ihnen dann selbstbewusst eine Lüge, die völlig wahr klingt.

So funktioniert der Angriff, aufgeschlüsselt in einfache Schritte:

1. Das Problem: Die „Vertrau-mir"-Bibliothek

Die Bibliothekarin vertraut den Büchern im Regal. Wenn die Bücher sauber und korrekt sind, gibt die Bibliothekarin gute Antworten. Aber wenn jemand ein gefälschtes Buch einschmuggelt, das genau wie ein echtes aussieht, greift die Bibliothekarin vielleicht dieses gefälschte Buch statt der echten Fakten, was zu einer „Halluzination" (einer selbstbewussten Lüge) führt.

2. Der Angriff: „SilentRetrieval"

Die Forscher entwickelten eine zweistufige Methode, um dieses gefälschte Buch zu erstellen, ohne erwischt zu werden.

Schritt 1: Der „Perfekte Sitz" (Koordinationssuche mit Beam Search)
Stellen Sie sich vor, Sie möchten einen Absatz in einem echten Enzyklopädie-Eintrag durch eine Lüge ersetzen, aber Sie können nicht einfach Unsinn darüber schreiben, sonst wirft die Bibliothekarin ihn sofort weg.

Der alte Weg: Frühere Hacker würden Kauderwelsch oder offensichtlichen Unsinn schreiben. Der „Fluency-Filter" der Bibliothekarin (ein Werkzeug, das prüft, ob ein Text natürlich klingt) würde dies sofort erkennen und ablehnen.
Der SilentRetrieval-Weg: Der Angreifer verwendet einen ausgeklügelten Algorithmus, um die Wörter eines echten Artikels gerade so weit anzupassen, dass sie ihre Lüge enthalten, behält aber die Satzstruktur und den Fluss so glatt, dass es immer noch wie ein normaler Enzyklopädie-Eintrag klingt. Es ist wie das Ändern eines Rezepts, um „Gift hinzufügen" statt „Salz hinzufügen" zu sagen, aber so subtil durchgeführt, dass das Rezept immer noch wie ein normales, leckeres Gericht aussieht.
Das Ziel: Sicherstellen, dass das gefälschte Buch immer noch das relevanteste ist, das die Bibliothekarin findet, wenn Sie nach dem Thema suchen.

Schritt 2: Der „Glatte Übergang" (Kontextadaptive Trigger-Generierung)
Sobald der gefälschte Absatz fertig ist, muss der Angreifer sicherstellen, dass die Bibliothekarin die Lüge beim Lesen tatsächlich glaubt.

Anstatt einfach einen zufälligen Satz am Ende einzufügen (wie „Der Himmel ist grün!"), verwendet das System eine andere KI, um einen „Trigger"-Satz zu schreiben, der perfekt in den gefälschten Absatz passt.
Es klingt wie eine natürliche Schlussfolgerung oder eine „verifizierte Tatsache", die zum Ton des Artikels passt. Es ist der Unterschied zwischen einem ungeschickten Zettel, der an eine Seite geklebt ist, und einem Satz, der natürlich als Teil der Geschichte fließt.

3. Die Ergebnisse: Wie gut ist der Hack?

Die Forscher testeten dies in zwei riesigen digitalen Bibliotheken (eine mit 361.000 Seiten und eine andere mit 8,8 Millionen).

Tarnung: Die gefälschten Dokumente waren von echten kaum zu unterscheiden. Wenn menschliche Prüfer sie betrachteten, markierten sie sie nur etwa in 15 % der Fälle als „verdächtig", verglichen mit 83 % bei älteren, ungeschickten Hackmethoden. Für einen Computer, der nach „seltsamen Wortmustern" sucht, sahen die gefälschten Bücher fast genauso normal aus wie echte Bücher.
Erfolg: Wenn die Bibliothekarin nach einer Frage gefragt wurde, wurde das gefälschte Buch in der kleineren Bibliothek in 84,6 % der Fälle gefunden. Sobald es gefunden war, glaubte die Bibliothekarin der Lüge und gab in 57,5 % der Fälle die falsche Antwort.
Der „Große Bibliothek"-Test: Selbst als sie dies in einer Bibliothek mit 21 Millionen Seiten testeten (ein riesiges Maß), schaffte es das gefälschte Buch immer noch in 74,2 % der Fälle an die Spitze der Suchergebnisse.

4. Die Verteidigung: Wie man es stoppt

Die Arbeit testete auch, wie man die Bibliothekarin schützt:

Die „Zweite Meinung" (Neuordnung): Wenn die Bibliothekarin die Top-Ergebnisse mit einem strengeren, kritischeren „zweiten Bibliothekar" (einem Cross-Encoder) überprüft, ist es weniger wahrscheinlich, dass das gefälschte Buch ausgewählt wird.
Die „Gruppenabstimmung" (Passage-Isolierung): Anstatt die Bibliothekarin nur eine Seite lesen und entscheiden zu lassen, lassen Sie sie fünf verschiedene Seiten lesen und über die Antwort abstimmen. Wenn das gefälschte Buch das einzige mit der Lüge ist, werden die anderen vier echten Bücher es überstimmen.
Das Ergebnis: Die Verwendung einer Kombination dieser Verteidigungsmaßnahmen (ein zweiter Bibliothekar + eine Gruppenabstimmung) reduzierte den Erfolg des Angriffs von 57,5 % auf 21,3 %. Dies macht die Bibliothekarin jedoch langsamer (etwa sechsmal langsamer).

Das Fazit

Diese Arbeit zeigt, dass RAG-Systeme eine verborgene Schwäche haben: Integrität des Korpus. Wenn ein Angreifer ein paar perfekt geschriebene, „tarnende" gefälschte Dokumente in eine Datenbank injizieren kann, können sie die Antworten des Systems übernehmen, ohne dass das System merkt, dass etwas nicht stimmt.

Die wichtigste Erkenntnis ist, dass Fluency eine doppelte Schärfe hat. Wenn der Angriffstext zu perfekt klingt, wird es für einfache Filter schwieriger, ihn zu fangen, aber es macht den Angriff auch viel gefährlicher, weil die KI (und Menschen) ihm eher vertrauen. Die Arbeit schlägt vor, um sicher zu bleiben, benötigen wir „geschichtete" Verteidigungsmaßnahmen – die Verwendung mehrerer Kontrollen und Abwägungen – anstatt sich nur auf einen Weg zu verlassen, um Fake News zu erkennen.

Technische Zusammenfassung: SilentRetrieval

Problemstellung

Retrieval-Augmented Generation (RAG)-Systeme verlassen sich auf die Integrität ihrer externen Wissenskorpora, um Halluzinationen großer Sprachmodelle (LLM) zu mindern. Diese Abhängigkeit schafft jedoch eine kritische Schwachstelle: Wenn ein Angreifer bösartige Dokumente in das Korpus injizieren kann, kann er den Abrufprozess übernehmen und anschließend die Generierung des LLM manipulieren.

Bisherige adversarische Angriffe auf RAG sehen sich einem anhaltenden Zielkonflikt zwischen Abrufwirksamkeit, Generierungsmanipulation und Tarnung gegenüber. Bestehende Methoden erzeugen häufig Ausgaben, die leicht erkennbar sind:

Gradientenbasierte Optimierung (z. B. AGGD, GASLITE) erzielt eine starke Übernahme des Abrufs, versagt jedoch oft bei der effektiven Manipulation der Generierungsphase oder fehlt es an Flüssigkeitsbeschränkungen.
Gemeinsame Angreifer-Generatoren-Angriffe (z. B. Joint-GCG, PoisonedRAG) manipulieren die Generierung gut, erzeugen jedoch Texte mit hoher Perplexität (PPL > 150), was sie anfällig für einfache Filter auf Basis der Perplexität macht.
Adversarial Decoding bewahrt die Flüssigkeit, operiert jedoch zur Generierungszeit und nicht durch Vergiftung des Korpus.

Die Kernherausforderung besteht darin, einen Datenvergiftungsangriff zu konstruieren, der gleichzeitig die Übernahme des Abrufs erreicht, die Ausgabe des LLM manipuliert und unter sowohl automatisierten Filtern als auch menschlicher Prüfung deutlich weniger verdächtig bleibt als frühere Baselines.

Methodik: SilentRetrieval

Die Autoren schlagen SilentRetrieval vor, ein zweistufiges Datenvergiftungs-Framework, das darauf ausgelegt ist, die Übernahme des Abrufs und die Manipulation der Generierung zu optimieren, während es strikt ein Flüssigkeitsbudget einhält.

Stufe 1: Koordinierte Beam-Suche (CBS)

Diese Stufe optimiert ein thematisch relevantes „Host"-Dokument, um sicherzustellen, dass es nach dem Einfügen einer bösartigen Nutzlast abrufbar bleibt. Im Gegensatz zu früheren einzelnen-Token-gierigen Ansätzen führt CBS eine Multi-Token-Gemeinsame Optimierung durch.

Ziel: Ein bestraftes Maximierungsproblem, das die Ähnlichkeit der Einbettungen gegen eine Strafe für Verletzungen der Flüssigkeit abwägt:
$d_{opt} = \arg \max_{d \in T} \text{sim}(E(q_{target}), E(d)) - \lambda \cdot \max(0, \text{PPL}(d) - \tau_{ppl})$
Mechanismus:
1. Gradientengeleitete Kandidaten: Gradienten vom Abrufsystem und ein heuristisches Signal vom Perplexitäts-Modell (PPL) schlagen Kandidaten für Token-Änderungen vor.
2. Koordinierte Beam-Suche: Der Algorithmus wählt die Top- $M$ Positionen basierend auf der Gradientenstärke aus und konstruiert einen Beam über den gemeinsamen Raum von $M \times K$ Kandidatenersetzungen.
3. Auswertung: Eine vollständige Zielbewertung (einschließlich PPL via GPT-2) wird an Beam-Kandidaten durchgeführt. Kandidaten, die das PPL-Budget ( $\tau_{ppl} = 50$ ) überschreiten, werden abgelehnt.
Ziel: Das Host-Dokument so vorzubereiten, dass die nachfolgende Einfügung einer nutzlasttragenden Payload den Abrufrang des Dokuments nicht kollabieren lässt.

Stufe 2: Kontextadaptive Trigger-Generierung (CATG)

Anstatt feste Trigger-Vorlagen anzuhängen, nutzt diese Stufe ein eingefrorenes LLM (Llama-2-7B-Chat), um einen Trigger zu generieren, der kontextuell in das optimierte Dokument integriert ist.

Synthese: Das LLM wird aufgefordert, das optimierte Dokument ( $d_{opt}$ ) mit einem Satz fortzusetzen, der die Zielbehauptung ( $a_{target}$ ) auf natürliche Weise einbindet und dabei den Stil, das Domänenwortschatz und die Erzählstimme des Abschnitts widerspiegelt.
Filterung: Generierte Trigger durchlaufen drei Qualitätskontrollen:
1. Implikation: Muss die Zielantwort implizieren (verifiziert via NLI-Modell).
2. Kohärenz: Die Kosinusähnlichkeit zwischen den Einbettungen des Hosts und des Triggers muss 0,7 überschreiten.
3. PPL-Tor: Das verkettete adversarische Dokument muss das PPL-Budget erfüllen.
Rahmung: Der Prompt ermutigt zu autoritativer Formulierung (z. B. „verifizierte Quellen"), um die Tendenz des LLM auszunutzen, sich in abgerufenen Kontexten auf selbstbewusste Sprache zu verlassen.

Hauptbeiträge

Zweistufiges Angriffsframework: Die Einführung von CBS für flüssigkeitsbeschränkte Multi-Token-Optimierung und CATG für eine leichte, kontextbewusste Trigger-Fusion.
Umfassende Evaluation: Evaluation auf Natural Questions (NQ, 361K Abschnitte) und MS MARCO (8,8M Abschnitte) unter einem einheitlichen Single-Dokument-Protokoll. Die Studie umfasst Cross-Model-Generalisierbarkeit (4 LLMs), Surrogat-Transfer-Angriffe gegen nicht gesehene Abrufsysteme (einschließlich kommerzieller Einbettungen) und eine Skalierbarkeitsanalyse bis zu 21M Abschnitte.
Verteidigung und adaptive Analyse: Empirische Evaluation von Verteidigungen auf Abrufseite (Reranking, hybrider Abruf) und auf Generierungsseite (Abschnittsisolierung), ergänzt durch einen adaptiven Angriff, der verteidigungsbewusste Optimierung einbezieht.
Menschliche Evaluation: Eine Studie ( $n=600$ Dokumente), die zeigt, dass SilentRetrieval-Dokumente signifikant niedrigere Flag-Raten aufweisen als unflüssige Baselines.

Experimentelle Ergebnisse

Hauptleistung

Auf dem NQ-Datensatz (361K Korpus) erreicht SilentRetrieval:

HR@10: 84,6 % (höchster Wert unter den Baselines).
ASR-LLM (Angriffserfolgsrate via LLM-as-Judge): 57,5 %.
Perplexität (PPL-G2): 32,4 (nahezu harmlos, verglichen mit 28,4 für harmlose Dokumente).
Tarnung: Nur 8,7 % der SilentRetrieval-Dokumente werden von einer unabhängigen PPL-Prüfung ( $\tau=50$ ) erkannt, verglichen mit 94,2 % für Joint-GCG und 83,3 % für die Baseline von Zhong et al.

Generalisierbarkeit und Transfer

Cross-Model: Der Angriff behält eine nicht-triviale Wirksamkeit über vier Ziel-LLMs hinweg (Llama-2, Mistral, Qwen, GPT-3.5), wobei die ASR-LLM zwischen 48,6 % und 57,5 % liegt.
Surrogat-Transfer: Wenn gegen einen Surrogat-Abrufsystem (Contriever) optimiert und gegen nicht gesehene Zielsysteme getestet (einschließlich ColBERTv2 und kommerzieller Einbettungen wie text-embedding-ada-002), behält der Angriff eine durchschnittliche HR@10 von 64,7 %.
Skalierbarkeit: In einer Stichproben-Evaluation mit 21M Abschnitten sinkt die HR@10 bei einem Vergiftungsverhältnis von 0,016 % auf 74,2 %, was darauf hindeutet, dass die Erweiterung des Korpus zwar eine teilweise natürliche Verteidigung bietet, aber nicht ausreicht, um den Angriff vollständig zu neutralisieren.

Wirksamkeit der Verteidigung

Kombinierte Verteidigungen: Eine mehrschichtige Verteidigungsstrategie (Hybrider Abruf + Cross-Encoder Reranking + Abschnittsisolierung) reduziert die ASR-LLM auf 21,3 % (bei 11-facher Latenz) oder 25,6 % (bei 6-facher Latenz).
Adaptive Angriffe: Ein adaptiver Angriff, der gegen einen spezifischen Reranker (MiniLM-L6-v2) optimiert, gewinnt im Vergleich zum nicht-adaptiven Angriff unter derselben Verteidigung etwa 6,2 % HR@10 zurück und unterstreicht einen sich abzeichnenden Wettrüsten.

Menschliche Evaluation

In einer Studie mit 10 Annotatoren wurden SilentRetrieval-Dokumente in 14,7 % der Fälle als verdächtig markiert, deutlich weniger als bei PoisonedRAG (56,7 %) und Zhong et al. (83,3 %). Obwohl der Unterschied zwischen SilentRetrieval (14,7 %) und harmlosem Inhalt (7,3 %) bei $\alpha=0,05$ ( $p \approx 0,064$ ) statistisch nicht signifikant war, deutet der Trend auf eine erkennbare Lücke hin, die sich mit größeren Stichprobengrößen vergrößern könnte.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass SilentRetrieval einen neuen State-of-the-Art im Zielkonflikt zwischen Tarnung und Wirksamkeit für RAG-Vergiftungen etabliert. Ihre primäre Bedeutung liegt in der Demonstration, dass:

Die Integrität des Korpus ein Sicherheitsaspekt ersten Ranges ist: Flüssigkeitsbewahrende Angriffe können einfache PPL-basierte Prüfungen umgehen und sind für Menschen viel schwerer zu markieren als frühere unflüssige Angriffe.
Mehrschichtige Verteidigungen notwendig sind: Keine einzelne Verteidigung ist ausreichend; eine Kombination aus Reranking auf Abrufseite, hybrider Abruf und Abschnittsisolierung auf Generierungsseite ist erforderlich, um die Bedrohung erheblich zu mindern.
Die Grenze zwischen Tarnung und Wirksamkeit ein kritischer Evaluationsaspekt ist: Vergleiche der rohen Angriffserfolgsrate (ASR) ohne Normalisierung der Perplexität verschleiern die praktische Erkennbarkeit von Angriffen. SilentRetrieval erzielt starke Leistung bei gleichzeitiger Aufrechterhaltung einer nahezu harmlosen Perplexität und stellt die Annahme in Frage, dass hochwirksame Angriffe zwangsläufig verrauscht oder offensichtlich sein müssen.

Die Autoren betonen, dass ihre Arbeit eine verantwortungsvolle Offenlegung unter Verwendung synthetischer Ziele auf Standard-Benchmarks ist, um stärkere Verteidigungen zu motivieren, und keine Demonstration der Machbarkeit realer Injektionen darstellt.