Epistemic Bias Injection: Biasing LLMs via Selective Context Retrieval

Titel: Epistemic Bias Injection (EBI): LLM's beïnvloeden via selectieve contextretrieval

Auteurs: Hao Wu en Prateek Saxena (National University of Singapore)

---

1. Probleemstelling

Retrieval-Augmented Generation (RAG) systemen gebruiken externe kennisbronnen (zoals het open web) om Large Language Models (LLM's) te voorzien van context bij het beantwoorden van vragen. Bestaande beveiligingsmaatregelen richten zich voornamelijk op het detecteren van expliciete leugens, giftige inhoud of prompt-injecties.

De auteurs introduceren een subtielere, maar potentieel gevaarlijkere aanval: Epistemic Bias Injection (EBI).

• De aanval: Een aanvaller injecteert feitelijke correcte, maar epistemisch bevooroordeelde passages in de RAG-database. Deze passages zijn linguïstisch coherent en waar, maar ze belichten systematisch slechts één kant van een meerzijdig onderwerp.
• Het effect: Omdat de passages feitelijk correct zijn, omzeilen ze bestaande fact-checking en linguïstische filters. Ze "verdringen" echter alternatieve perspectieven tijdens de retrieval-fase, waardoor het LLM gedwongen wordt om een antwoord te genereren dat de voorkeur van de aanvaller weerspiegelt (bijv. een specifieke ideologische standpunt).
• De uitdaging: Bestaande verdedigingen (zoals diversiteits-algoritmen of fact-checking) zijn inefficiënt omdat ze geen "vingerafdrukken" van kwaadaardige intentie detecteren; de inhoud is immers waar en natuurlijk.

2. Methodologie

A. Geometrische Metriek voor Bias: Polarization Score (PS)

De kern van de aanpak is een nieuwe manier om bias kwantificeren zonder menselijke annotatie.

• Concept: De auteurs stellen dat verschillen in perspectief binnen een embedding-ruimte geometrisch waarneembaar zijn.
• Berekening:
  1. Er wordt een set van "anker-passage" (met uiteenlopende standpunten over hetzelfde onderwerp) verzameld.
  2. Er wordt Principal Component Analysis (PCA) uitgevoerd op de embedding-vectoren van deze ankers.
  3. De eerste hoofdcomponent (de richting met de grootste variantie) wordt gedefinieerd als de polarisatie-as.
  4. Elke tekstpassage wordt geprojecteerd op deze as om een Polarization Score (PS) te krijgen. Een hoge positieve of negatieve score duidt op een sterk gekanteld standpunt; een score dicht bij nul duidt op neutraliteit.
• Validatie: De PS-score correleert sterk (Spearman's rho van 0,896) met menselijke (of LLM-gebaseerde) beoordelingen van standpuntsterkte.

B. De EBI-aanval

De aanval is geautomatiseerd en vereist geen menselijke tussenkomst:

1. Generatie: De aanvaller gebruikt een LLM om passages te genereren die specifiek gericht zijn op een doelvraag.
2. Selectie: Passages worden geprojecteerd op de polarisatie-as. De meest extreme passages (hoogste of laagste PS) worden geselecteerd als "bias-passage".
3. Versterking: Op basis van deze extreme passage genereert de LLM meerdere varianten die hetzelfde standpunt handhaven, maar variëren in formulering.
4. Injectie: Deze passages worden in de database geplaatst. Ze zijn ontworpen om:
   • Hoge relevantie te hebben (hoge cosine similarity met de query).
   • Extreme bias te hebben (extreme PS-waarden).
   • Stil te zijn (geen expliciete instructies of feitelijke fouten, waardoor ze onopgemerkt blijven).

C. Verdediging: BiasDef

De auteurs ontwikkelen BiasDef, een lichtgewicht, plug-and-play verdediging die werkt op het niveau van de retrieval.

• Principe: Hoewel aanvallen subtiel zijn, vertonen adversariale passages een statistisch ander gedrag in de ruimte van Similarity Score (SS) versus Polarization Score (PS) dan normale passages.
• Workflow:
  1. Max-KL Boundary: De verdediging zoekt een drempelwaarde voor de relevantie (SS) die de Kullback-Leibler (KL) divergentie maximaliseert tussen de PS-verdelingen van de bovenste en onderste subset van passages. Dit scheidt theoretisch de adversariale van de benign passages.
  2. Foutreductie:
     • Valse Positieven: Passages met hoge relevantie maar een PS-score die dicht bij de "normale" verdeling ligt, worden hersteld (niet verwijderd).
     • Valse Negatieven: Passages met lage relevantie maar die statistisch gezien deel uitmaken van het adversariale cluster (gemeten via Mahalanobis-afstand in de embedding-ruimte), worden alsnog opgespoord en verwijderd.
• Voordeel: BiasDef vereist geen hertraining van het LLM en werkt onafhankelijk van het model.

3. Belangrijkste Resultaten

De evaluatie is uitgevoerd op diverse datasets (WIKI-BALANCE, Reddit-Dialogues, HotpotQA) en modellen (Llama-3, DeepSeek-R1, GPT-4.1).

• Effectiviteit van de aanval:

  • Bestaande verdedigingen (zoals MMR, SMART, BRRA) falen tegen EBI. Ze halen vaak nog steeds een significant percentage aan adversariale passages (A-Recall) of sluiten te veel nuttige, neutrale passages uit om diversiteit te bewaken.
  • Fact-checking API's (zoals WikiCheck) zijn nutteloos omdat de adversariale passages feitelijk correct zijn en door de checker als "waar" worden beoordeeld.
  • De aanval veroorzaakt significante verschuivingen in de PS-score van de gegenereerde antwoorden (tot wel 200%+ verschuiving bij hoge injectie-intensiteit).

• Effectiviteit van BiasDef:

  • A-Recall: BiasDef filtert adversariale passages effectief uit. Voor meer dan 70% van de queries worden alle adversariale passages uit de top-5 resultaten verwijderd.
  • Recall@5: In tegenstelling tot andere methoden die nuttige content verliezen, behoudt BiasDef een hoge recall voor relevante, neutrale passages.
  • Biasreductie: BiasDef reduceert de bias in de uiteindelijke antwoorden met een factor van 6,2x tot 8,8x vergeleken met onbeschermde systemen en andere baselines.
  • Generalisatie: De verdediging werkt consistent over verschillende LLM-modellen en datasets zonder aanpassing.

4. Bijdragen

1. Definitie van EBI: Het formaliseren van een nieuwe aanvalsvorm waarbij feitelijke correctheid wordt gebruikt om ideologische bias te injecteren, wat bestaande verdedigingen omzeilt.
2. Geometrische Metriek (PS): Het introduceren van een continue, interpreteerbare metriek (Polarization Score) om epistemische bias in tekst-embeddings kwantitatief te meten.
3. BiasDef: Een praktische, lichtgewicht verdediging die statistische filtering toepast op basis van PS en SS om bias te detecteren en te verwijderen zonder het LLM te hertrainen.
4. Benchmark: Het creëren van een uitgebreide benchmark om de kwetsbaarheid van RAG-systemen voor subtiel bias-injectie te evalueren.

5. Betekenis en Conclusie

Dit paper toont aan dat de veiligheid van RAG-systemen niet alleen draait om het detecteren van leugens of giftige taal. Zelfs als alle gegenereerde inhoud waar is, kan de selectie van die inhoud de uitkomst van een AI-systeem fundamenteel verdraaien.

• Risico: Zonder specifieke maatregelen tegen epistemische bias kunnen RAG-systemen worden gemanipuleerd om eenzijdige perspectieven te presenteren, wat de betrouwbaarheid van AI-gestuurde zoekopdrachten en nieuwsaggregatie ondermijnt.
• Oplossing: Het paper bewijst dat het expliciet modelleren van "standpunten" in de embedding-ruimte een krachtige methode is om deze aanval te detecteren en te neutraliseren.
• Toekomst: Het benadrukt de noodzaak van verdedigingen die verder kijken dan syntactische patronen en zich richten op de semantische en ideologische samenstelling van de retrieved context.

De auteurs concluderen dat BiasDef een veelbelovende richting is voor het verbeteren van de robuustheid van RAG-systemen tegen subtiele, feitelijke manipulaties.