Epistemic Bias Injection: Biasing LLMs via Selective Context Retrieval

1. El Problema: Inyección de Sesgo Epistémico (EBI)

El artículo aborda una vulnerabilidad crítica en los sistemas de Generación Aumentada por Recuperación (RAG) que utilizan Grandes Modelos de Lenguaje (LLMs). Mientras que la investigación anterior se ha centrado en ataques que inyectan contenido falso, tóxico o instrucciones maliciosas (que suelen ser detectables mediante verificación de hechos o análisis lingüístico), los autores proponen una amenaza más sutil: la Inyección de Sesgo Epistémico (EBI).

• Definición: EBI consiste en que un adversario inyecta en la base de conocimientos del RAG pasajes que son factualmente correctos y lingüísticamente coherentes, pero que están epistémicamente sesgados.
• Mecanismo: Estos pasajes están diseñados para enfatizar sistemáticamente un solo lado de una cuestión con múltiples puntos de vista. Al ser recuperados por el sistema, "ahogan" las perspectivas alternativas, dirigiendo la salida del LLM hacia una postura ideológica o interpretativa específica sin dejar huellas dactilares obvias (como afirmaciones falsas o prompts inyectados).
• Limitación de las defensas actuales: Las defensas existentes (verificación de hechos, análisis de huellas lingüísticas, o métodos de recuperación basados solo en relevancia) fallan porque el contenido adversario es verdadero y semánticamente similar a las consultas legítimas.

2. Metodología y Formulación Matemática

Los autores proponen un enfoque geométrico para cuantificar y detectar este sesgo.

A. Métrica de Sesgo: Puntuación de Polarización (PS)

En lugar de depender de anotaciones humanas costosas, el paper introduce una métrica escalar llamada Puntuación de Polarización (Polarization Score - PS):

1. Eje de Polarización: Se selecciona un conjunto de "pasajes ancla" con opiniones diversas sobre un mismo tema. Mediante Análisis de Componentes Principales (PCA) sobre sus vectores de incrustación (embeddings), se identifica el "eje de polarización" (el componente principal que maximiza la varianza/separación entre las opiniones).
2. Cálculo del PS: Cualquier nuevo pasaje se proyecta sobre este eje. El resultado es un valor escalar ($PS$) que indica la orientación y la intensidad de la postura del texto.
   • Pasajes neutrales se agrupan cerca de la media.
   • Pasajes con opiniones opuestas se sitúan en extremos opuestos del eje.
3. Sesgo Epistémico: Se mide como la magnitud del desplazamiento ($\Delta PS$) entre un pasaje y una referencia neutral.

B. Modelo de Amenaza y Ataque

El ataque asume que el adversario puede inyectar un número limitado de pasajes en la base de datos del RAG. Para ser efectivo, un pasaje adversario ($d_{adv}$) debe cumplir tres propiedades:

1. Alta Relevancia: Debe tener una alta similitud semántica (Cosine Similarity) con la consulta del usuario para ser recuperado en el top-$k$.
2. Sesgo Epistémico: Debe tener un valor de PS extremadamente alto o bajo (sesgado) en comparación con los pasajes benignos.
3. Sigilo: Debe ser factualmente correcto y lingüísticamente natural, evitando huellas detectables.

Flujo del Ataque Automatizado:

1. Generar pasajes candidatos sobre un tema usando un LLM.
2. Calcular sus embeddings y el eje de polarización mediante PCA.
3. Seleccionar los pasajes más sesgados (extremos del eje PS).
4. Generar múltiples variantes adversarias que imiten esa postura sesgada.
5. Inyectarlas en la base de datos.

3. Contribuciones Clave

1. Nueva Métrica (PS): Introducción de una métrica geométrica continua e interpretable para cuantificar el sesgo epistémico en espacios de incrustación.
2. Formalización del Ataque EBI: Definición de un nuevo vector de ataque que manipula la recuperación de contexto mediante contenido veraz pero unilateral.
3. Defensa BiasDef: Desarrollo de un prototipo de defensa ligero y "plug-and-play" que utiliza la métrica PS para filtrar contenido adversario.
4. Benchmarks: Construcción de un conjunto de evaluación exhaustivo utilizando múltiples LLMs (Llama-3, DeepSeek-R1, GPT-4) y datasets públicos (WIKI-BALANCE, HotpotQA, Reddit-Dialogues).

4. Resultados Experimentales

Los autores evaluaron el ataque y la defensa en diversos escenarios:

• Eficacia del Ataque:

  • Los ataques EBI inducen desplazamientos significativos en la perspectiva de las respuestas generadas.
  • Las defensas existentes (como MMR, SMART, BRRA) fallan: o bien recuperan una gran cantidad de pasajes adversarios (hasta un 98% en casos sin defensa), o bien filtran agresivamente el contenido, descartando pasajes benignos útiles y reduciendo la calidad de la recuperación (Recall@k).
  • La verificación automática de hechos (Fact-Checking) es ineficaz, ya que los pasajes adversarios son tratados como "verdaderos" por las APIs de verificación.

• Eficacia de la Defensa (BiasDef):

  • Mecanismo: BiasDef utiliza un detector base que busca un umbral de similitud (SS) que maximice la Divergencia de Kullback-Leibler (KL) entre la distribución de PS de los pasajes recuperados y el resto. Luego, aplica correcciones estadísticas (distancia de Mahalanobis) para reducir falsos positivos y negativos.
  • Rendimiento:
    • Reduce el A-Recall@5 (proporción de pasajes adversarios recuperados) a niveles cercanos a cero en más del 70% de las consultas.
    • Reduce el desplazamiento de sesgo en las respuestas finales en más de 6.2 veces en comparación con los sistemas sin defensa.
    • Mantiene un alto Recall@5 (calidad de información benigna), superando significativamente a las defensas basadas en diversidad (MMR/SMART) que sacrifican relevancia.
  • Generalización: Funciona eficazmente en diferentes modelos de lenguaje y datasets sin necesidad de reentrenar el LLM.

5. Significado e Implicaciones

• Nueva Amenaza: El paper demuestra que la seguridad de los RAG no solo depende de detectar mentiras o instrucciones maliciosas, sino también de la neutralidad epistémica del contexto recuperado. Un sistema puede ser "factualmente correcto" pero ideológicamente manipulado.
• Defensa Práctica: Presenta una solución viable (BiasDef) que no requiere modificar el modelo de lenguaje ni su infraestructura de inferencia, operando puramente en la etapa de recuperación y filtrado.
• Futuro: Sugiere que la modelización explícita de puntos de vista y la cuantificación geométrica del sesgo son direcciones esenciales para mejorar la robustez de los sistemas de IA generativa, especialmente en aplicaciones de búsqueda y preguntas y respuestas donde la objetividad es crítica.

En resumen, el trabajo expone una vulnerabilidad sutil pero peligrosa en los sistemas RAG y ofrece una herramienta matemática y práctica para mitigarla, equilibrando la necesidad de relevancia con la integridad de la perspectiva presentada al usuario.