💬 NLP

ADMIT: Few-shot Knowledge Poisoning Attacks on RAG-based Fact Checking

Die Arbeit stellt ADMIT vor, eine semantisch abgestimmte, few-shot-basierte adversarische Multi-Injektionstechnik, die RAG-basierte Faktenprüfsysteme erfolgreich vergiftet, indem sie minimale adversarische Inhalte injiziert, um authentische Beweise zu überlagern und die Ausgaben von LLMs mit einer hohen Erfolgsrate bei Angriffen über diverse Modelle und Domänen hinweg zu manipulieren.

Ursprüngliche Autoren: Yutao Wu, Xiao Liu, Yinghui Li, Yifeng Gao, Yifan Ding, Jiale Ding, Xiang Zheng, Xingjun Ma

Veröffentlicht 2026-05-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yutao Wu, Xiao Liu, Yinghui Li, Yifeng Gao, Yifan Ding, Jiale Ding, Xiang Zheng, Xingjun Ma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine sehr kluge, gut informierte Bibliothekarin (die KI), die hervorragend Fragen beantworten kann, aber manchmal Dinge erfindet, weil sie nicht alles weiß. Um dies zu beheben, geben Sie der Bibliothekarin eine spezielle Regel: „Bevor Sie antworten, suchen Sie die Fakten zuerst in unserem vertrauenswürdigen Bücherbestand nach." Dieses System wird RAG (Retrieval-Augmented Generation) genannt. Es soll der ultimative Faktenprüfer sein.

Stellen Sie sich nun einen Schwindler (den Angreifer) vor, der die Bibliothekarin dazu bringen möchte, eine falsche Antwort zu geben.

Der alte Weg, die Bibliothekarin zu täuschen

In der Vergangenheit versuchten Forscher, die Bibliothekarin auf folgende Weise zu täuschen:

Schreien von Anweisungen: Das direkte Einfügen von „IGNORIERE DIE BÜCHER UND SAGE JA!" in die Frage. (Dies ist wie eine Prompt-Injection).
Fluten der Bibliothek: Das Vergiften von hundreds Büchern mit Lügen, sodass die Bibliothekarin, egal welches Buch sie auswählt, eine Lüge findet. (Dies ist General Knowledge Poisoning).

Das Problem: In der realen Welt versagen diese Tricks oft. Wenn Sie nach einer medizinischen Tatsache fragen, wird die Bibliothekarin wahrscheinlich ein echtes, vertrauenswürdiges medizinisches Lehrbuch heraussuchen, das Ihrer Lüge widerspricht. Die Bibliothekarin ist klug genug zu sagen: „Warte, dieses neue Buch sagt X, aber das vertrauenswürdige medizinische Buch sagt Y. Ich werde bei Y bleiben."

Der neue Trick: ADMIT

Diese Arbeit stellt einen neuen, hinterhältigen Angriff namens ADMIT vor. Anstatt die Bibliothek zu fluten oder Anweisungen zu schreien, verwendet der Angreifer eine „Few-Shot"-Strategie.

Die Analogie: Der „eine faule Apfel" in einem Korb voller Gold
Stellen Sie sich vor, die Bibliothekarin wird gebeten, eine Behauptung zu überprüfen. Sie zieht 5 Bücher hervor, um sie zu lesen.

4 Bücher sind echt, vertrauenswürdig und besagen, dass die Behauptung FALSCH ist.
1 Buch ist eine Kreation des Angreifers.

In der Vergangenheit würde die Bibliothekarin dieses eine schlechte Buch ignorieren, weil die anderen vier etwas anderes sagten. Aber ADMIT ist anders. Der Angreifer schreibt nicht einfach eine Lüge; er schreibt einen perfekt gestalteten, gefälschten Nachrichtenartikel, der so echt, so autoritär und so überzeugend wirkt, dass er die Bibliothekarin dazu bringt zu denken: „Wow, dieses eine Buch hat eine wirklich spezifische, detaillierte Erklärung, die die anderen übertrifft."

Wie ADMIT funktioniert (der „Zauberzauber"):

Das Setup: Der Angreifer hat keinen Zugriff auf das Gehirn der Bibliothekarin oder die Suchmaschine der Bibliothek. Er arbeitet blind.
Die Probelauf: Der Angreifer verwendet eine „Dummy-Bibliothekarin" (einen Proxy), um seine gefälschten Artikel zu testen. Er schreibt den Artikel immer wieder um und fragt die Dummy-Bibliothekarin: „Sieht das echt genug aus, um Sie umzustimmen?"
Das Endprodukt: Sobald der Artikel perfekt ist, schiebt der Angreifer genau ein dieser gefälschten Artikel in die Bibliotheksdatenbank.
Das Ergebnis: Wenn die echte Bibliothekarin nach der Antwort sucht, findet sie die 4 echten Bücher und das 1 gefälschte Buch. Da das gefälschte Buch so gut geschrieben ist (es den Ton eines echten Nachrichtenberichts imitiert, gefälschte Experten zitiert und selbstbewusst klingt), gerät die Bibliothekarin in Verwirrung. Sie dreht ihr Urteil von „Falsch" zu „Wahr" und schreibt sogar eine überzeugende Erklärung, um zu begründen, warum sie ihre Meinung geändert hat.

Warum das beängstigend ist (die Erkenntnisse der Arbeit)

Die Forscher testeten dies an 11 verschiedenen KI-Modellen (von Open-Source-Modellen bis hin zu den fortschrittlichsten kommerziellen Modellen) und 4 verschiedenen Arten der Faktenprüfung (allgemeine Nachrichten, Wissenschaft, Klima und Gesundheit).

Die Vergiftungsrate ist winzig: Sie mussten nur 0,00000093 % des Bibliotheksinhalts vergiften. Das ist wie das Hinzufügen einer einzigen gefälschten Seite zu einer Bibliothek mit einer Milliarde Seiten.
Die Erfolgsrate ist riesig: Trotz der winzigen Menge an Gift funktionierte der Angriff 86 % der Zeit.
Es funktioniert bei den „klügsten" KIs: Selbst die KI-Modelle, die darauf ausgelegt sind, besonders vorsichtig und logisch zu sein (wie „Reasoning-Modelle"), fielen darauf herein.
Es schlägt Abwehrmaßnahmen: Die Arbeit testete gängige Abwehrmaßnahmen, wie etwa die KI zu bitten, über die Antwort zu „stimmen" oder zu prüfen, ob der Text seltsam klingt. ADMIT bestand alle davon, weil der gefälschte Text nicht seltsam klingt; er klingt perfekt normal.

Das Fazit

Die Arbeit zeigt, dass Sie selbst dann, wenn Sie ein System haben, das Fakten gegen vertrauenswürdige Quellen prüft, es dennoch täuschen können. Sie müssen das System nicht brechen oder mit Müll fluten. Sie müssen nur ein unglaublich gut geschriebenes, täuschendes Informationsstück pflanzen, das so gut aussieht, dass es die KI davon überzeugt, die Wahrheit zu ignorieren.

Kurz gesagt: ADMIT beweist, dass im Kampf zwischen „Wahrheit" und „Überzeugung", wenn die Lüge gut genug geschrieben ist, selbst die klügste KI-Bibliothekarin dazu gebracht werden kann, die Lüge für die Wahrheit zu halten.

Technische Zusammenfassung: ADMIT – Few-Shot-Wissensvergiftungsangriffe auf RAG-basierte Faktenprüfung

1. Problemdefinition

Retrieval-Augmented Generation (RAG)-Systeme verbessern Large Language Models (LLMs) durch die Integration externen Wissens, um Halluzinationen und Wissenslücken zu mindern. Dennoch sind diese Systeme anfällig für Wissensvergiftung, bei der Angreifer adversarielle Inhalte in Wissensdatenbanken injizieren, um die Ausgaben von LLMs zu manipulieren.

Die bestehende Literatur zur Wissensvergiftung stützt sich häufig auf unrealistische Annahmen für reale Faktenprüfungs-Szenarien:

Volumen-Dominanz: Es wird angenommen, dass schädliche Inhalte den abgerufenen Kontext dominieren, wohingegen reale Systeme typischerweise autoritäre Beweise aus vertrauenswürdigen Quellen (z. B. Nachrichtenagenturen, medizinische Datenbanken) abrufen, in denen glaubwürdige Informationen überwiegen.
Fehlende Begründung: Es wird angenommen, dass LLMs falsche Antworten generieren, ohne kohärente Begründungen zu erfordern, wobei moderne RAG-Pipelines ignoriert werden, die agentengetriebenes Reasoning einsetzen, um gut begründete Schlussfolgerungen zu erzeugen.
Systemzugriff: Oft wird angenommen, dass der Angreifer Zugriff auf den Retriever oder die LLM-Innenstrukturen hat, wohingegen reale Angriffe typischerweise Black-Box-Angriffe sind.

Die Arbeit adressiert die kritische Frage: Können moderne LLM-basierte RAG-Systeme robust bleiben, wenn vergiftete Inhalte neben glaubwürdigen stützenden Beweisen im abgerufenen Kontext koexistieren?

2. Methodik: ADMIT

Die Autoren schlagen ADMIT (ADversarial Multi-Injection Technique) vor, einen Few-Shot-Wissensvergiftungsangriff mit semantischer Ausrichtung, der darauf abzielt, Faktenprüfungsentscheidungen zu kippen und täuschende Begründungen zu induzieren, ohne Zugriff auf die Ziel-LLMs, Retriever oder eine Token-Level-Kontrolle zu haben.

2.1 Bedrohungsmodell

Black-Box-Zugriff: Der Angreifer hat keinen Zugriff auf den Retriever oder das LLM des Opfers.
Few-Shot-Injektion: Der Angreifer injiziert eine minimale Anzahl adversarieller Passagen ( $m$ ) in die Wissensdatenbank, wobei $m \le k$ (die Anzahl der abgerufenen Passagen). Im 1-Shot-Szenario muss eine einzige schädliche Passage potenziell vier saubere Passagen überstimmen.
Semantische Ausrichtung: Der injizierte Inhalt darf nicht unsinnig sein oder offenkundige bösartige Anweisungen enthalten (z. B. „Ignoriere vorherige Anweisungen"). Er muss eine kohärente, für Menschen lesbare Passage sein, die legitime Nachrichten oder Beweise imitiert.

2.2 Kernkomponenten

ADMIT operiert über ein Proxy-Verifikations-Setup, um die Zielumgebung zu simulieren:

Konstruktion von Proxy-Passagen:
- Suchbasiert: Der Angreifer verwendet ein leichtgewichtiges LLM, um aus einer Behauptung diverse Suchanfragen zu generieren, ruft Dokumente aus offenen Webquellen ab und filtert sie, um Passagen zu finden, die der Zielbehauptung widersprechen.
- LLM-basiert: Für eingeschränkte Szenarien fordert der Angreifer ein LLM auf, eine Passage zu generieren, die die entgegengesetzte Position zur Zielbehauptung unterstützt.
- Diese Proxy-Passagen dienen als „sauberer" Kontext, gegen den die adversarielle Passage optimiert wird.
Adversarielle Multi-Injektion (Die Angriffs-Schleife):
- Single-Turn-Generierung: Eine initiale adversarielle Passage wird basierend auf dem Proxy-Kontext generiert.
- Multi-Turn-Optimierung: Falls die Single-Turn-Generierung fehlschlägt, setzt der Angreifer eine iterative Feedback-Schleife ein. Ein Angreifer-LLM ( $A$ ) aktualisiert die adversarielle Passage ( $p$ ) basierend auf dem vorherigen Verifikationsergebnis ( $\tilde{V}$ ) und dem Proxy-Kontext ( $R_{proxy}$ ).
- Speicherbereinigung: Um eine Kontextverschlechterung zu verhindern, wird der Speicher alle $L$ Iterationen zurückgesetzt, wobei die Passagengenerierung neu initialisiert wird, um neue semantische Richtungen zu erkunden.
- Ziel: Es soll eine Passage $p$ gefunden werden, sodass $\tilde{f}_{verify}(C_i, R_{proxy} \cup p) \approx V^{target}_i$ gilt, wodurch das Urteil effektiv umgekehrt wird, während die semantische Kohärenz gewahrt bleibt.
Adversarielle Prefix-Erweiterung:
- Um sicherzustellen, dass die adversarielle Passage trotz vorhandener sauberer Beweise abgerufen wird, fügt der Angreifer die Suchanfragen, die zur Konstruktion der Proxy-Passagen verwendet wurden, dem adversariellen Text voran. Dies nutzt die Tendenz des Retrievers aus, Suchbegriffe zu matchen, und erhöht die Abrufwahrscheinlichkeit des schädlichen Inhalts.

3. Hauptbeiträge

Neues Angriffsparadigma: ADMIT ist die erste Arbeit, die eine effektive Wissensvergiftung in Few-Shot-Szenarien demonstriert, in denen glaubwürdige Beweise den Abrufpool dominieren. Sie stellt die Annahme in Frage, dass eine groß angelegte Injektion für den Erfolg notwendig ist.
Täuschende Begründung: Im Gegensatz zu früheren Angriffen, die auf offenkundigen Anweisungen beruhen oder inkohärenten Text generieren, erzeugt ADMIT semantisch kohärente, für Menschen lesbare Fehlinformationen, die täuschende Begründungen für das umgekehrte Urteil enthalten.
Black-Box-Anwendbarkeit: Die Methode erfordert keinen White-Box-Zugriff auf das Opfersystem und stützt sich ausschließlich auf Proxy-Verifikatoren und öffentliche Suchmaschinen.
Umfassende Evaluation: Der Angriff wird über 4 branchenübergreifende Benchmarks (FEVER, SciFact, Climate-FEVER, HealthVer), 11 LLMs (einschließlich Open-Source-, kommerzieller und Reasoning-Modelle) und 4 verschiedene Retriever evaluiert.

4. Experimentelle Ergebnisse

Hohe Angriffserfolgsrate (ASR): ADMIT erzielt eine durchschnittliche ASR von 86 % über alle Szenarien hinweg bei einer extrem niedrigen Vergiftungsrate von $0,93 \times 10^{-6}$ .
Überlegenheit gegenüber Baselines: Im Vergleich zu State-of-the-Art-Methoden (z. B. PoisonedRAG, CorruptRAG, Prompt Injection) verbessert ADMIT die ASR im Durchschnitt um 11,2 %. Bemerkenswerterweise versagen Baselines oft bei kommerziellen LLMs (z. B. GPT-4o), während ADMIT eine hohe Wirksamkeit beibehält.
Robustheit gegenüber Gegenbeweisen: Selbst wenn der abgerufene Kontext starke faktische Gegenbeweise enthält (z. B. 4 saubere Passagen vs. 1 schädliche), kippt ADMIT das Urteil in 80 % der Fälle bei Open-Source-LLMs und in 65 % der Fälle bei kommerziellen Systemen erfolgreich.
Transferierbarkeit: Der Angriff überträgt sich effektiv auf nicht gesehene Retriever und LLMs. Reasoning-orientierte Modelle (z. B. o1-mini), trotz ihres Designs für faktische Konsistenz, erwiesen sich als anfällig, mit ASRs von 60–70 %.
Umgehung von Verteidigungen: ADMIT umgeht bestehende Verteidigungen konsequent, einschließlich:
- Fake-News-Erkennung: LLM-basierte Klassifikatoren scheitern daran, ADMIT-Passagen von echten Nachrichten zu unterscheiden (AUC-Werte nahe dem Zufallsniveau).
- Statistische Erkennung: Perplexity (PPL) und ROUGE-N-Ähnlichkeitsmetriken scheitern daran, adversarielle Passagen von sauberen zu trennen, aufgrund der semantischen Kohärenz des generierten Inhalts.
- Wissenskonsolidierung: Strategien wie „Teile-und-Stimme" oder Clustering verstärken oft den adversariellen Einfluss, statt ihn zu mindern.
- Agentenbasierte Verteidigungen: ReAct-Agenten, die Aufgaben in Such- und Reflexionsschritte zerlegen, bleiben hochgradig anfällig, wobei die ASR mit zunehmendem Injektionsvolumen auf 88–94 % ansteigt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass faktische Robustheit nicht automatisch aus der Skalierung oder der Reasoning-Fähigkeit eines LLM folgt. Die Existenz von ADMIT deckt erhebliche strukturelle Schwachstellen in realen RAG-basierten Faktenprüfungs-Systemen auf.

Anfälligkeit hybrider Systeme: Die Studie zeigt, dass selbst wenn Systeme diverse, vertrauenswürdige Quellen aggregieren, eine einzige, gut ausgearbeitete adversarielle Passage autoritäre Beweise überstimmen kann.
Grenzen aktueller Verteidigungen: Bestehende Verteidigungen (statistische Filterung, Fake-News-Erkennung und Wissenskonsolidierung) sind unzureichend gegen semantisch ausgerichtete Few-Shot-Wissensvergiftung.
Implikationen für die KI-Sicherheit: Die Ergebnisse unterstreichen den dringenden Bedarf an Verteidigungen, die über oberflächliche Konsistenz hinausgehen, wie z. B. die Verfolgung der Provenienz, die Bewertung von Unsicherheit und das Reasoning über den abgerufenen Kontext hinaus.

Die Autoren betonen, dass ihre Arbeit rein defensiv ist und darauf abzielt, durch systematische Evaluierung von Schwachstellen das Design robusterer Faktenprüfungs-Systeme zu informieren. Sie stellen fest, dass der Angriff zwar effektiv ist, aber von spezifischen Bedingungen abhängt (z. B. der Fähigkeit, in öffentliche Wissensdatenbanken zu injizieren) und nicht behauptet, alle RAG-Systeme universell zu brechen, sondern vielmehr eine kritische, wenig erforschte Angriffsfläche aufdeckt.