Epistemic Bias Injection: Biasing LLMs via Selective Context Retrieval

1. Problemstellung: Epistemic Bias Injection (EBI)

Das Paper adressiert eine bisher wenig erforschte Angriffsfläche in Retrieval-Augmented Generation (RAG)-Systemen. Während frühere Arbeiten sich auf das Einbringen von offensichtlich falschen, toxischen oder prompt-injizierenden Inhalten konzentrierten, die oft durch Faktenchecks oder linguistische Analysen erkannt werden können, führt diese Arbeit den Angriffstyp Epistemic Bias Injection (EBI) ein.

• Das Kernproblem: Ein Angreifer injiziert in die Wissensdatenbank (Corpus) von RAG-Systemen Passagen, die faktisch korrekt und linguistisch natürlich sind, aber eine einseitige epistemische Perspektive vertreten.
• Der Mechanismus: Durch die gezielte Platzierung dieser einseitigen, aber wahren Inhalte werden alternative viewpoints im Retrieval-Prozess verdrängt („crowding out"). Das RAG-System liefert dem LLM einen verzerrten Kontext, der das Modell dazu bringt, eine vom Angreifer gewünschte ideologische oder interpretative Haltung einzunehmen, ohne dass offensichtliche „Fingerabdrücke" (wie Falschaussagen oder Befehle) vorhanden sind.
• Schwierigkeit für Verteidigung: Herkömmliche Verteidigungen (Faktenchecks, Prompt-Filter, kritische Denk-Instruktionen) versagen hier, da die Inhalte wahr sind und keine syntaktischen Anomalien aufweisen.

2. Methodik und Metrik: Polarization Score (PS)

Die Autoren schlagen einen neuen geometrischen Ansatz vor, um epistemische Bias zu quantifizieren und zu bekämpfen.

A. Quantifizierung von Bias (Polarization Score - PS)

Anstatt auf manuelle Annotationen zu setzen, wird ein unüberwachter geometrischer Metrik entwickelt:

1. Embedding-Raum: Texte werden in Vektoren durch einen Encoder (z. B. Sentence-BERT) transformiert.
2. Polarisationsachse: Aus einer Menge von „Anker-Passagen" (mit unterschiedlichen Meinungen zum selben Thema) wird mittels Hauptkomponentenanalyse (PCA) eine Achse im Embedding-Raum berechnet. Diese Achse maximiert die Varianz der Projektionen und repräsentiert die stärkste Meinungsdivergenz (z. B. „Pro" vs. „Contra").
3. Berechnung: Jede Passage wird auf diese Achse projiziert. Der resultierende Skalarwert ist der Polarization Score (PS).
   • Ein hoher PS-Wert bedeutet eine starke Ausrichtung in eine Richtung, ein Wert nahe Null eine neutrale Haltung.
   • Die epistemische Verzerrung wird als Verschiebung ($\Delta PS$) im Vergleich zu einer neutralen Referenzpassage gemessen.
   • Experimente zeigen eine starke Korrelation (Spearman-Rangkorrelation von 0,896) zwischen dem PS und menschlichen (bzw. LLM-basierten) Bewertungen der Meinungsstärke.

B. Der EBI-Angriff

Der Angriff automatisiert die Generierung von adversarialen Passagen unter Einhaltung dreier Bedingungen:

1. Hohe Relevanz: Die Passagen müssen im Embedding-Raum eine hohe Ähnlichkeit (Cosine Similarity) zur Abfrage haben, um im Top-k-Ranking zu landen.
2. Epistemische Bias: Sie müssen einen extremen PS-Wert aufweisen (stark einseitig).
3. Tarnung (Stealth): Sie müssen faktisch korrekt und linguistisch natürlich sein, um keine Trigger für bestehende Filter auszulösen.

• Workflow: Der Angreifer nutzt ein LLM, um synthetische Passagen zu generieren, berechnet deren PS, wählt die extremsten aus und generiert darauf aufbauend mehrere Varianten, die dann in die Datenbank injiziert werden.

C. Verteidigung: BiasDef

Die Autoren entwickeln BiasDef, eine leichte, nachgeschaltete Verteidigung („plug-and-play"), die keine Neukonfiguration des LLMs erfordert.

• Prinzip: BiasDef nutzt die Verteilung der Passagen im zweidimensionalen Raum aus Ähnlichkeit (SS) und Bias (PS).
• Schritt 1 (Base Detector): Es wird eine Schwelle für die Ähnlichkeit ($t_{ss}$) gesucht, die die Kullback-Leibler-Divergenz (KL-Divergenz) zwischen den PS-Verteilungen der Passagen oberhalb und unterhalb dieser Schwelle maximiert. Dies trennt theoretisch adversarial von benignen Passagen.
• Schritt 2 (Mitigation): Um False Positives (benigne Passagen mit hohem Bias) und False Negatives (adversarial Passagen mit niedriger Ähnlichkeit) zu behandeln, werden statistische Methoden angewendet:
  • False Positives: Passagen, die der benignen Verteilung ähneln, werden iterativ entfernt, wenn dies die KL-Divergenz erhöht.
  • False Negatives: Passagen, die der adversarialen Cluster-Struktur (via Mahalanobis-Distanz) ähneln, werden wiederhergestellt.

3. Wichtige Beiträge

1. Neue Bedrohung: Formalisierung des EBI-Angriffs, der RAG-Systeme durch faktisch korrekte, aber einseitige Inhalte manipuliert.
2. Metrik: Einführung des Polarization Score (PS) als kontinuierliche, interpretierbare Metrik zur Quantifizierung von Bias in Text-Embeddings.
3. Angriffs-Workflow: Demonstration einer vollautomatischen Methode zur Generierung von EBI-Passagen, die bestehende Verteidigungen umgeht.
4. Verteidigung: Entwicklung von BiasDef, einer effizienten Verteidigung, die auf statistischer Filterung im Embedding-Raum basiert.
5. Benchmark: Erstellung eines umfassenden Benchmarks (basierend auf WIKI-BALANCE, HotpotQA, Reddit-Dialogues) zur Evaluierung von RAG-Sicherheit.

4. Ergebnisse und Evaluation

Die Evaluation erfolgte auf verschiedenen LLMs (Llama-3, DeepSeek-R1, GPT-4.1) und Datensätzen.

• Angriffserfolg:

  • EBI-Angriffe induzieren signifikante Verschiebungen im PS der generierten Antworten.
  • Bei 10 injizierten Passagen stieg der Bias in den Antworten um das 2- bis 4-fache (je nach Modell und Richtung).
  • Bestehende Verteidigungen wie MMR, SMART und BRRA (die auf Diversität setzen) scheitern: Sie filtern zwar einige adversarial Passagen heraus, aber oft auf Kosten relevanter, benigner Passagen, oder sie lassen einen signifikanten Anteil der Angriffe durch (A-Recall@5 bleibt hoch).
  • Faktenchecks (z. B. WikiCheck) sind wirkungslos, da die adversarialen Passagen faktisch korrekt sind und von den Checkern als „Supports" (wahr) eingestuft werden.

• Verteidigungserfolg (BiasDef):

  • Reduktion des Angriffs: BiasDef reduziert die Anzahl der injizierten Passagen in den Top-5-Ergebnissen drastisch. Für über 70% der Abfragen werden alle adversarialen Passagen vollständig gefiltert.
  • Bias-Reduktion: Im Vergleich zu ungeschützten Systemen reduziert BiasDef die PS-Verschiebung in den Antworten um den Faktor 6,2x bis 8,8x.
  • Qualitätserhalt: Im Gegensatz zu Diversitäts-basierten Methoden (die oft relevante Inhalte verlieren), behält BiasDef eine hohe Recall-Rate für relevante, benignen Passagen bei (Recall@5 ist bei BiasDef deutlich höher als bei MMR/SMART/BRRA unter Angriff).
  • Effizienz: Der Overhead beträgt nur ca. 465 ms pro Abfrage, was im Vergleich zur Generierungszeit von LLMs vernachlässigbar ist.

5. Bedeutung und Fazit

Das Paper zeigt, dass RAG-Systeme anfällig für subtile Manipulationen sind, die die Objektivität von KI-gestützten Such- und Antwortsystemen untergraben, ohne dass dies durch traditionelle Sicherheitsmaßnahmen (Faktenchecks, Prompt-Filter) erkannt wird.

• Paradigmenwechsel: Es demonstriert, dass Bias nicht nur ein linguistisches, sondern ein geometrisches Phänomen im Embedding-Raum ist, das messbar und filterbar ist.
• Praktische Relevanz: Die vorgestellte Verteidigung BiasDef ist leichtgewichtig, modellunabhängig und kann in bestehende RAG-Pipelines integriert werden, ohne das LLM neu zu trainieren.
• Zukunft: Die Arbeit legt den Grundstein für „Viewpoint-Aware Retrieval", bei dem die Diversität der Perspektiven nicht nur zufällig, sondern gezielt basierend auf quantifizierbaren Bias-Metriken gesteuert wird, um die Robustheit von KI-Systemen gegen ideologische Manipulation zu erhöhen.

Zusammenfassend beweist das Paper, dass die Kombination aus faktischer Korrektheit und einseitiger Perspektive eine neue, gefährliche Klasse von Angriffen darstellt, die jedoch durch geometrische Analyse im Embedding-Raum effektiv bekämpft werden kann.