Epistemic Bias Injection: Biasing LLMs via Selective Context Retrieval

1. Problématique : L'Injection de Biais Épistémique (EBI)

L'article identifie une nouvelle surface d'attaque dans les systèmes RAG (Retrieval-Augmented Generation) qui utilisent des bases de connaissances provenant de sources non vérifiées (comme le web ouvert).

• Limites des attaques précédentes : Les travaux antérieurs se concentraient sur l'injection de contenu faux, toxique ou contenant des instructions explicites (prompt injection). Ces attaques sont souvent détectables par des vérifications de faits ou une analyse linguistique.
• La nouvelle menace (EBI) : Les auteurs proposent l'Injection de Biais Épistémique (EBI). Dans cette attaque, l'adversaire injecte des passages factuellement corrects et linguistiquement cohérents, mais qui présentent un biais épistémique systématique (une perspective unilatérale sur un sujet à multiples points de vue).
• Objectif de l'attaque : En saturant la base de données avec des passages biaisés mais véridiques, l'attaquant s'assure que le récupérateur (retriever) sélectionne ces passages au détriment des points de vue alternatifs. Le LLM, guidé par ce contexte biaisé, produit alors une réponse qui reflète la position de l'attaquant, sans que le contenu ne contienne d'erreurs factuelles détectables.
• Défi principal : Contrairement aux attaques classiques, l'EBI ne laisse pas d'empreintes numériques évidentes (pas de fausses déclarations, pas d'instructions cachées), ce qui la rend invisible pour les défenses existantes basées sur la vérification de faits ou l'analyse de la toxicité.

2. Méthodologie et Formulation Mathématique

L'approche des auteurs repose sur une formulation géométrique du biais dans l'espace des embeddings.

A. Mesure du Biais : Le Score de Polarisation (PS)

Les auteurs introduisent une métrique scalaire, le Polarization Score (PS), pour quantifier le biais épistémique :

1. Axe de polarisation : À partir d'un ensemble de passages "ancres" (ayant des points de vue divergents sur un même sujet), ils appliquent une Analyse en Composantes Principales (PCA) sur leurs vecteurs d'embedding. Le premier vecteur propre (composante principale) est identifié comme l'axe de polarisation.
2. Projection : Chaque nouveau passage est projeté sur cet axe. La valeur scalaire obtenue est le PS.
   • Un PS élevé indique un soutien fort à une perspective.
   • Un PS faible (ou négatif) indique un soutien à la perspective opposée.
   • Un PS proche de zéro indique une neutralité.
3. Validation : Cette métrique géométrique montre une forte corrélation (Spearman $\rho \approx 0.896$) avec les jugements humains (ou d'un LLM juge) sur l'orientation des points de vue.

B. Modélisation de l'Attaque

L'attaquant doit générer des passages $d_{adv}$ satisfaisant trois propriétés :

1. Haute pertinence : Le passage doit avoir un score de similarité (SS, ex: cosinus) élevé par rapport à la requête pour être sélectionné par le récupérateur.
2. Biais épistémique : Le passage doit avoir un PS extrême (très haut ou très bas) par rapport aux passages bénins.
3. Furtivité : Le contenu doit être factuellement correct et linguistiquement naturel pour éviter les filtres de toxicité ou de vérification de faits.

Workflow d'attaque automatisé :

1. Génération de passages candidats via un LLM.
2. Calcul des embeddings et détermination de l'axe de polarisation via PCA.
3. Sélection des passages les plus biaisés (extrêmes sur l'axe).
4. Génération de variantes adversaires en imitant le point de vue de ces passages extrêmes.
5. Injection dans la base de connaissances RAG.

C. Défense : BiasDef

Les auteurs proposent BiasDef, une défense légère et "plug-and-play" qui ne nécessite pas de réentraînement du LLM.

• Principe : Utilisation conjointe de la Similarité Sémantique (SS) et du Score de Polarisation (PS).
• Algorithme :
  1. Détection de base (Max-KL) : Recherche d'un seuil de similarité ($t_{ss}$) qui maximise la divergence de Kullback-Leibler (KL) entre la distribution des PS des passages au-dessus du seuil et ceux en dessous. Cela permet de séparer théoriquement les passages adverses (biaisés) des passages bénins.
  2. Atténuation des erreurs :
     • Faux positifs : Suppression des passages bénins qui ont un PS extrême mais qui sont statistiquement proches de la distribution des passages bénins (via itération sur la divergence KL).
     • Faux négatifs : Utilisation de la distance de Mahalanobis pour identifier les passages adverses qui ont une similarité faible mais qui appartiennent statistiquement au cluster des passages adverses détectés.

3. Contributions Clés

1. Nouvelle Métrique (PS) : Introduction d'une métrique géométrique continue et interprétable pour quantifier le biais épistémique dans les embeddings textuels.
2. Formalisation de l'EBI : Définition d'une nouvelle classe d'attaques contextuelles qui manipulent l'opinion sans altérer la vérité factuelle.
3. Prototype de Défense (BiasDef) : Développement d'un filtre statistique efficace qui utilise la métrique PS pour filtrer les contenus biaisés tout en préservant la pertinence.
4. Benchmark Complet : Création d'une évaluation sur plusieurs modèles (Llama-3, DeepSeek-R1, GPT-4.1) et jeux de données (Wiki-Balance, HotpotQA, Reddit-Dialogues).

4. Résultats Expérimentaux

Les expériences ont été menées sur un benchmark de 452 questions ouvertes avec des injections de 1 à 10 passages adverses.

• Efficacité de l'attaque (EBI) :

  • Les attaques EBI induisent des déplacements significatifs du PS dans les réponses générées (jusqu'à +200% de déviation par rapport au cas non attaqué).
  • Les défenses existantes (MMR, SMART, BRRA) échouent à bloquer efficacement l'EBI : elles récupèrent encore une proportion importante de passages adverses (A-Recall > 19%) ou sacrifient trop de contenu bénin pour tenter de diversifier les résultats.
  • L'attaque fonctionne sur tous les modèles testés, indépendamment de leur taille ou architecture.

• Efficacité de la défense (BiasDef) :

  • Réduction du biais : BiasDef réduit le décalage de polarisation (PS shift) dans les réponses de plus de 6,2 fois par rapport aux méthodes de base (No Def) et aux défenses existantes.
  • Préservation de la pertinence : Contrairement aux méthodes de diversité qui rejettent beaucoup de contenu utile, BiasDef maintient un Recall@5 élevé (meilleur que toutes les autres méthodes défensives testées).
  • Filtrage : Pour plus de 70% des requêtes, BiasDef filtre tous les passages adverses du top-5.
  • Coût : L'ajout de la défense ne coûte que ~465 ms, ce qui est négligeable par rapport au temps de génération du LLM.

• Échec des vérifications de faits : L'étude montre que les API de fact-checking (comme WikiCheck) ne peuvent pas distinguer les passages EBI des passages bénins, car les deux contiennent des affirmations factuellement vérifiables.

5. Signification et Implications

• Vulnérabilité systémique : L'article démontre que la simple vérification de la "vérité factuelle" est insuffisante pour sécuriser les systèmes RAG. La perspective et le biais épistémique sont des vecteurs d'attaque critiques.
• Limites des défenses actuelles : Les approches basées uniquement sur la diversité (MMR) ou la perturbation de requêtes (BRRA) sont inefficaces contre des attaques furtives et factuellement correctes.
• Nouvelle direction de recherche : L'étude suggère que la modélisation explicite des points de vue (viewpoint modeling) dans l'espace d'embedding est essentielle pour renforcer la robustesse des IA génératives.
• Défense pratique : BiasDef offre une solution immédiate, légère et compatible avec les systèmes existants, prouvant qu'il est possible de filtrer le biais sans altérer le modèle sous-jacent.

En conclusion, ce papier établit que le biais épistémique est une menace réelle et détectable mathématiquement, et propose une voie concrète pour y remédier dans les architectures RAG modernes.