🤖 AI

Addressing Corpus Knowledge Poisoning Attacks on RAG Using Sparse Attention

Dieses Paper stellt Sparse Document Attention RAG (SDAG) vor, einen neuartigen Abwehrmechanismus, der Block-Sparse-Attention einsetzt, um schädliche dokumentübergreifende Interaktionen in Retrieval-Augmented-Generation-Systemen zu verhindern und dadurch Corpus-Knowledge-Poisoning-Angriffe signifikant zu mildern sowie bestehende State-of-the-Art-Verteidigungsmechanismen zu übertreffen.

Ursprüngliche Autoren: Sagie Dekel, Moshe Tennenholtz, Oren Kurland

Veröffentlicht 2026-08-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sagie Dekel, Moshe Tennenholtz, Oren Kurland

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der modernen Landschaft der künstlichen Intelligenz fungieren große Sprachmodelle als riesige Wissensspeicher, die in der Lage sind, Fragen zu beantworten und Texte mit verblüffender Flüssigkeit zu generieren. Diese Modelle haben jedoch eine Einschränkung: Sie wurden mit Daten trainiert, die zu einem bestimmten Zeitpunkt enden, was bedeutet, dass sie ohne Hilfe nichts über jüngste Ereignisse oder spezifische, Nischenfakten wissen können. Um dies zu lösen, entwickelten Forscher ein System namens Retrieval-Augmented Generation. In diesem Aufbau sucht das System, wenn ein Benutzer eine Frage stellt, zuerst eine massive Bibliothek von Dokumenten ab, um relevante Informationen zu finden. Es speist dann sowohl die Frage als auch diese abgerufenen Dokumente in das Sprachmodell ein, welches diese als Leitfaden nutzt, um eine präzise Antwort zu formulieren. Diese Methode hält das Wissen der KI aktuell und reduziert die Wahrscheinlichkeit, dass sie Dinge erfindet – ein Problem, das als Halluzination bekannt ist. Doch genau diese Abhängigkeit von externen Dokumenten schafft eine neue Schwachstelle. Da das System den gefundenen Dokumenten vertraut, könnte ein böswilliger Akteur heimlich falsche Informationen in die Bibliothek einschleusen. Wenn das System diese vergifteten Dokumente abruft, könnte es dazu verleitet werden, die Wahrheit zu ignorieren und stattdessen eine Lüge zu liefern.

Forscher des Technion in Israel haben eine spezifische Schwäche in der Art und Weise identifiziert, wie diese Systeme Informationen verarbeiten, die sie anfällig für eine solche Täuschung macht. In Standard-Sprachmodellen ist der Mechanismus, der es der KI ermöglicht, sich auf verschiedene Teile eines Textes zu konzentrieren, darauf ausgelegt, dass jedes Wort auf jedes vorherige Wort in einem kontinuierlichen Strom zurückblicken kann. Dies funktioniert gut beim Schreiben einer Geschichte oder beim Zusammenfassen eines einzelnen Artikels, wo der Kontext natürlich von einem Satz zum nächsten fließt. In einem Retrieval-System besteht der Input jedoch oft aus einer Sammlung separater, distinkter Dokumente, die zusammengefügt wurden. Die Forscher argumentieren, dass die Standardmethode zur Verarbeitung dieser Dokumente es Wörtern aus einem Dokument ermöglicht, mit Wörtern aus einem anderen zu interagieren, was schädlich sein kann. Wenn ein bösartiges Dokument vorhanden ist, kann dessen irreführender Inhalt das Verständnis der KI für die wahren Dokumente beeinflussen und so die gesamte Antwort vergiften.

Um dem entgegenzuwirken, stellte das Team eine neue Verteidigungsstrategie namens Sparse Document Attention vor. Anstatt der KI zu erlauben, dass jedes Wort im abgerufenen Satz auf jedes andere Wort blickt, schafft diese Methode eine strikte Grenze zwischen den Dokumenten. Sie zwingt das System dazu, jedes abgerufene Dokument als isolierte Insel zu behandeln. Innerhalb eines einzelnen Dokuments können die Wörter zwar weiterhin aufeinander Bezug nehmen, um den Kontext zu wahren, aber sie sind vollständig daran gehindert, auf Wörter in irgendeinem der anderen abgerufenen Dokumente zu blicken oder von diesen beeinflusst zu werden. Diese Änderung wird nur angewendet, wenn das System eine Antwort generiert, wobei keine Neukalibrierung des zugrunde liegenden KI-Modells und keine komplexen Ergänzungen zur Software-Pipeline erforderlich sind. Es handelt sich um eine einfache Anpassung der Regeln der Aufmerksamkeit, die den schädlichen Austausch zwischen einem Lügner und einem Wahrheitssager verhindert.

Die Forscher testeten diesen Ansatz streng in einer Vielzahl von Szenarien unter Verwendung verschiedener Frage-Antwort-Datensätze und mehrerer Typen von Sprachmodellen. Sie simulierten Angriffe, bei denen ein Angreifer irreführende Dokumente einschleuste, die darauf ausgelegt waren, die KI zu einer bestimmten, falschen Antwort zu steuern. In diesen Tests fiel das Standardsystem, das es Dokumenten erlaubte, sich gegenseitig zu beeinflussen, häufig auf den Trick herein und lieferte oft die vom Angreifer gewünschte falsche Antwort. Im Gegensatz dazu erwies sich das System unter Verwendung der neuen Sparse-Attention-Methode als weitaus resistenter. Es ignorierte die vergifteten Dokumente in der überwiegenden Mehrheit der Fälle, bewahrte die Genauigkeit seiner Antworten und reduzierte die Erfolgsrate der Angriffe drastisch. Die Verbesserung war so signifikant, dass die neue Methode bestehende, komplexere Verteidigungsstrategien, die entwickelt worden waren, um solche Angriffe abzufangen, übertraf.

Die Studie untersuchte auch, wie die Position eines gefälschten Dokuments das Ergebnis beeinflusst. Sie fanden heraus, dass es für das System schwieriger ist, dem Einfluss zu widerstehen, wenn ein täuschendes Dokument in seinem Inhalt sehr ähnlich zu den wahren Dokumenten ist. Dennoch blieb die neue Methode selbst in diesen schwierigen Situationen effektiv. Darüber hinaus entdeckten die Forscher, dass diese Verteidigung auch dann gut funktioniert, wenn die KI gebeten wird, komplexe Probleme zu lösen, die das Kombinieren von Informationen aus mehreren Dokumenten erfordern, wie etwa Fragen mit mehrstufigem logischem Denken. Während der ursprüngliche Aufbau einen leichten Leistungsabfall im Vergleich zur Standardmethode zeigte, fanden die Forscher heraus, dass eine kurze Phase des Fine-Tunings des Modells an die neuen Regeln diesen Verlust vollständig kompensierte, was zu einem System führte, das sowohl robust gegen Angriffe als auch hochgradig genau war.

Die Ergebnisse legen nahe, dass die Art und Weise, wie eine KI ihr Quellenmaterial betrachtet, genauso wichtig ist wie das Material selbst. Indem man schlichtweg verhindert, dass verschiedene Dokumente miteinander kommunizieren, wird das System viel schwerer zu täuschen. Dieser Ansatz bietet einen praktischen und effizienten Weg, um retrieval-basierte KI-Systeme abzusichern und sicherzustellen, dass sie sich auf die Wahrheit verlassen, anstatt von der überzeugendsten Lüge im Raum beeinflusst zu werden. Die Arbeit etabliert einen neuen Standard für den Schutz dieser Systeme und zeigt, dass eine fundamentale Änderung in der Art und Weise, wie das Modell Informationen verarbeitet, effektiver sein kann als das Hinzufügen von Schichten komplexer Erkennungswerkzeuge.

Technisches Resümee: Adressierung von Corpus-Wissensvergiftungsangriffen auf RAG mittels Sparse Attention

Problemstellung

Retrieval-Augmented Generation (RAG) ist ein dominantes Paradigma zur Aktualisierung des Wissens von Large Language Models (LLMs) und zur Reduzierung von Halluzinationen. RAG-Systeme sind jedoch anfällig für Corpus-Wissensvergiftungsangriffe (Corpus Knowledge Poisoning Attacks), bei denen ein Angreifer irreführende oder bösartige Dokumente in das Retrieval-Corpus einschleust, um die Ausgabe des LLMs in Richtung einer gewünschten, falschen Antwort zu steuern.

Die Autoren argumentieren, dass eine fundamentale, oft übersehene Schwachstelle in RAG aus dem standardmäßigen kausalen Attention-Mechanismus resultiert, der in Decoder-only-LLMs verwendet wird. In einer Standard-RAG-Pipeline werden die abgerufenen Dokumente in einen einzigen Prompt konkateniert. Unter kausaler Attention können Token eines abgerufenen Dokuments auf Token anderer abgerufer Dokument zugreifen (und von diesen beeinflusst werden). Wenn der abgerufene Satz widersprüchliche Informationen enthält – wie etwa korrekte, gutartige Dokumente gegenüber injizierten, adversariellen Dokumenten – ermöglicht diese dokumentübergreifende Attention (Cross-Document Attention) dem adversariellen Inhalt, die Hidden States der gutartigen Dokumente zu korrumpieren, was zu einer fehlerhaften Generierung führt.

Methodik: Sparse Document Attention RAG (SDAG)

Um diese Schwachstelle zu entschärfen, schlagen die Autoren Sparse Document Attention RAG (SDAG) vor, einen Verteidigungsmechanismus, der das Attention-Mask während der Inferenz modifiziert, ohne ein Fine-Tuning des Modells oder architektonische Änderungen zu erfordern.

Kernmechanismus

SDAG erzwingt ein Block-Sparse-Attention-Muster über die abgerufenen Dokumente:

Intra-Dokument-Attention: Token innerhalb eines einzelnen abgerufenen Dokuments können auf vorangegangene Token innerhalb desselben Dokuments zugreifen.
Inter-Dokument-Blocking: Die Cross-Attention zwischen verschiedenen abgerufenen Dokumenten wird explizit deaktiviert. Token in Dokument $d_i$ können nicht auf Token in Dokument $d_j$ zugreifen (wobei $i \neq j$ ).
Erhaltener Kontext: Die Token im Task-Instruction-Block ( $B_T$ ) und im Generator-Kontext-Block ( $B_C$ ) behalten die standardmäßige kausale Attention bei, sodass sie auf alle vorangegangenen Token zugreifen können. Ebenso können generierte Token auf alle vorangegangenen Token in der Sequenz zugreifen.

Implementierung

Minimaler Overhead: Die Methode erfordert lediglich eine Modifikation der Attention-Mask zur Inferenzzeit.
Kompatibilität: Sie ist mit jedem Decoder-only-LLM kompatibel und kann mit bestehenden Verteidigungsmethoden vor der Generierung (z. B. Dokumentenfilterung oder Diskriminierung) integriert werden.
Kein Training: Im Gegensatz zu vielen Verteidigungsstrategien erfordert SDAG kein Fine-Tuning des Generators oder das Training zusätzlicher Diskriminatoren.

Experimenteller Aufbau

Die Autoren führten eine rigorose empirische Evaluierung über mehrere Dimensionen durch:

Datensätze: HotpotQA (Multi-Hop), TriviaQA und Natural Questions (NQ) (Single-Hop), unter Verwendung des englischen Wikipedia-Dumps als Corpus.
Modelle: Drei Generator-LLMs (Llama-8B, Qwen-7B, Mistral-7B) und verschiedene Retriever (E5, Contriever, BM25).
Angriffsstrategien:
- In-Set vs. In-Corpus: Evaluierung von Szenarien, in denen adversarielle Dokumente garantiert im abgerufenen Set enthalten sind, versus Szenarien, in denen sie in das Corpus injiziert wurden und möglicherweise (aber nicht zwingend) abgerufen werden.
- Dokumentenanzahl: Single-Dokument-Angriffe und Multi-Dokument-Angriffe (2 oder 3 adversarielle Dokumente).
- Räumliche Strategien: Zufällige Auswahl, „Near“ (adversarielle Dokumente nahe an gutartigen Dokumenten im Embedding-Raum) und „Far“ (fern im Embedding-Raum).
- Adaptive Angriffe: Szenarien, in denen der Angreifer gutartige Dokumente oder vorherige Modellantworten beobachtet, um den Angriff zu verfeinern.
Baselines: Standard Causal Attention RAG (CARG), RAGDefender (filterbasiert) und Discern&Answer (diskriminatorbasiert).
Metriken: Genauigkeit (ACC) und Attack Success Rate (ASR).

Zentrale Ergebnisse

1. Überlegenheit gegenüber Standard-Attention (RQ1)

SDAG übertrifft die standardmäßige Causal Attention RAG (CARG) in adversariellen Settings konsistent:

Reduzierte ASR: SDAG senkt die Attack Success Rate in allen Datensätzen, Generatoren und Retrievern signifikant. Beispielsweise reduzierte SDAG die ASR bei Single-Dokument-Angriffen auf dem NQ-Datensatz in mehreren Konfigurationen im Vergleich zu CARG um mehr als die Hälfte.
Verbesserte Genauigkeit: In den meisten Fällen verbessert SDAG auch die Genauigkeit der generierten Antworten im Vergleich zu CARG, was darauf hindeutet, dass das Blockieren der dokumentübergreifenden Attention die Integrität gutartiger Informationen bewahrt.
Robustheit: Die Verteidigung gilt sowohl für Single-Hop- als auch für Multi-Hop-Fragen, was zeigt, dass SDAG die Fähigkeit des Modells nicht behindert, Informationen über Dokumente hinweg zu synthetisieren (verifiziert in nicht-adversariellen Oracle-Settings).

2. Vergleich mit State-of-the-Art-Verteidigungen (RQ2)

Single-Dokument-Angriffe: SDAG übertrifft bestehende State-of-the-Art-Verteidigungen (RAGDefender und Discern&Answer) in Single-Dokument-Angriffsszenarien. Dies ist ein kritischer Befund, da viele bestehende Verteidigungen auf der Erkennung von Ähnlichkeiten zwischen mehreren adversariellen Dokumenten beruhen – eine Voraussetzung, die fehlschlägt, wenn nur ein einziges bösartiges Dokument vorhanden ist.
Multi-Dokument-Angriffe: Wenn SDAG mit bestehenden Verteidigungen integriert wird (speziell RAGDefender), etabliert der kombinierte Ansatz einen neuen State-of-the-Art, der sowohl in der ASR als auch in der Genauigkeit statistisch signifikante Verbesserungen gegenüber den Baselines allein erzielt.

3. Analyse der räumlichen Positionierung (RQ3)

Die Autoren analysierten die Beziehung zwischen der geometrischen Distanz adversarieller Dokumente zu gutartigen Dokumenten im Embedding-Raum und der Effektivität des Angriffs:

Proximity-Effekt: Angriffe sind effektiver, wenn adversarielle Dokumente im Embedding-Raum „Near“ (nahe am Zentroid der gutartigen Dokumente) liegen. „Far“-Angriffe sind weniger erfolgreich.
Wirksamkeit der Verteidigung: Der relative Leistungsvorteil von SDAG gegenüber CARG ist noch ausgeprägter, wenn adversarielle Dokumente geometrisch weit vom gutartigen Set entfernt sind, was darauf hindeutet, dass der Block-Sparse-Mechanismus besonders effektiv darin ist, distinkte semantische Cluster zu isolieren.

Bedeutung und Ansprüche

Das Paper beansprucht die folgenden Beiträge und Bedeutungen:

Identifizierung eines fundamentalen Fehlers: Die Autoren identifizieren den standardmäßigen kausalen Attention-Mechanismus als primären Vektor für Corpus-Vergiftung, bei dem dokumentübergreifende Interaktionen es adversariellem Inhalt ermöglichen, den gutartigen Kontext zu korrumpieren.
Eine neuartige, leichtgewichtige Verteidigung: SDAG bietet eine praktische Verteidigung, die kein Fine-Tuning, keine zusätzlichen Pipeline-Komponenten und minimale Änderungen zur Inferenzzeit (nur Mask-Modifikation) erfordert.
State-of-the-Art-Leistung: SDAG setzt einen neuen Benchmark für die Robustheit von RAG, insbesondere im wenig erforschten Szenario der Single-Dokument-Angriffe. Die Fähigkeit, sich mit anderen Verteidigungen zu einem überlegenen kombinierten Schutz zu verbinden, unterstreicht seine Vielseitigkeit.
Einblick in die Angriffs-Dynamik: Die Analyse der Positionierung im Embedding-Raum liefert neue Erkenntnisse darüber, wie Angreifer ihre Injektionen optimieren und wie Verteidigungen geometrische Trennung nutzen können, um die Robustheit zu verbessern.

Die Autoren weisen auf Limitationen hin, darunter die Beschränkung auf Open-Source-Modelle (aufgrund der Notwendigkeit der Kontrolle über die Attention-Mask), den Fokus auf englischsprachige Wikipedia-basierte QA und die Verwendung relativ kleinerer LLMs (7B-8B) für die meisten Experimente, merken jedoch an, dass auch größere Modelle (70B) und reasoning-fähige Modelle von dem Ansatz profitieren.