🤖 machine learning

RAGuard: A Layered Defense Framework for Retrieval-Augmented Generation Systems Against Data Poisoning

Este artículo presenta RAGuard, un marco de defensa de dos capas para sistemas de Generación Aumentada por Recuperación que combina el ajuste fino de recuperadores adversarios con un Parche de Inferencia de Conocimiento Cero (ZKIP) de caja negra y sin etiquetas para neutralizar eficazmente los ataques de envenenamiento de datos fácticos manteniendo una alta precisión de recuperación.

Autores originales: Pushkal Kumar, Tucker Nielson, Tanish Kolhe, Shubham Zala, Vincent Li

Publicado 2026-07-30

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Pushkal Kumar, Tucker Nielson, Tanish Kolhe, Shubham Zala, Vincent Li

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un amigo robot súper inteligente que lo sabe casi todo, pero también es un poco olvidadizo y a veces se inventa cosas. Para ayudarlo a recordar las últimas noticias y hechos, le das una biblioteca mágica donde puede buscar respuestas antes de hablar. Esta configuración se llama Generación Aumentada por Recuperación, o RAG por sus siglas en inglés; es como darle a un genio una hoja de trucos para que no tenga que confiar únicamente en su memoria. Pero aquí está el truque: ¿qué pasaría si un bromista astuto se cuela en esa biblioteca y cambia los libros reales por otros falsos llenos de mentiras? Si el robot confía en esos libros falsos, te dará respuestas incorrectas, y es posible que ni siquiera se dé cuenta de que ha sido engañado. Esto se llama "envenenamiento de datos", y es una gran preocupación para cualquiera que utilice estos sistemas inteligentes para cosas importantes como consejos médicos o hechos legales.

Ahora, conoce a RAGuard, el nuevo equipo de superhéroes del artículo diseñado para proteger esa biblioteca mágica. Los investigadores construyeron un sistema de defensa de dos capas para detener a esos mentirosos en seco. La primera capa es como un portero robusto en la puerta de la biblioteca. Este portero ha sido entrenado leyendo miles de libros falsos para que pueda detectar la "vibra" de una mentira y expulsar esos libros antes de que lleguen al robot. Pero el portero no es perfecto; a veces, un libro falso muy bueno se cuela. Ahí es donde entra la segunda capa: un detective ingenioso llamado ZKIP (Parche de Inferencia de Conocimiento Cero). ZKIP no necesita una lista de mentirosos conocidos ni una "clave de respuestas correctas". En su lugar, juega al "¿qué pasaría si...?". Por cada libro que el robot está a punto de leer, ZKIP pregunta: "¿Qué diría el robot si no tuviéramos este libro específico?". Si eliminar un libro hace que la respuesta del robot cambie repentinamente o se vuelva mucho más confundida, ZKIP sabe que ese libro es probablemente un mentiroso y lo desecha.

Los investigadores probaron este sistema en un conjunto masivo de preguntas y encontraron resultados asombrosos. Cuando llenaron la biblioteca con libros falsos (hasta el 30% del total), el portero por sí solo podía atrapar algunos de ellos, pero no todos. Sin embargo, cuando añadieron al detective ZKIP al equipo, el sistema se volvió casi perfecto en sus pruebas. En cada ejecución de prueba donde la defensa estaba activa, ZKIP redujo la "tasa de éxito del ataque" a 0.000, lo que significa que no se detectaron trucos exitosos entre las muestras específicas que probaron. Es importante señalar que este resultado se aplica a las muestras probadas y no garantiza que el robot nunca dará una respuesta incorrecta en todos los escenarios posibles del mundo real. ¿El único costo? El robot tuvo que pensar un poco más. Por cada pregunta, tuvo que leer los libros 6 veces (una vez con todos los libros, y luego una vez por cada libro para ver qué pasa si falta) para asegurarse de que no lo estaban engañando. Aunque esto toma más tiempo, los investigadores demostraron que el robot seguía encontrando las respuestas correctas con la misma frecuencia que en una biblioteca limpia, demostrando que se puede tener tanto seguridad como precisión.

Sin embargo, el artículo tiene cuidado en señalar dónde este escudo podría tener grietas. El sistema funciona mejor cuando los libros falsos intentan cambiar los hechos (como decir "el cielo es verde" en lugar de "azul"). Le cuesta trabajo si el bromista utiliza un montón de libros falsos que cuentan la misma mentira juntos, porque eliminar solo uno de ellos no cambia la opinión del robot. Además, el sistema está diseñado para hechos, no para opiniones; si la pregunta es sobre lo que la gente piensa en lugar de lo que es cierto, el detective podría confundirse porque las respuestas de la gente varían naturalmente. Los investigadores también señalaron que sus libros falsos fueron creados reescribiendo texto real para mantener las mismas palabras clave, lo que significa que una herramienta de búsqueda más simple que solo busca palabras coincidentes (como una búsqueda básica de palabras clave) no fue engañada en absoluto. Esto sugiere que, si bien RAGuard es una nueva herramienta poderosa, la batalla contra los mentirosos astutos es continua, y el trabajo futuro deberá probarlo contra ataques más inteligentes y coordinados.

Resumen Técnico: RAGuard

Declaración del Problema

Los sistemas de Generación Aumentada por Recuperación (RAG) fundamentan a los Modelos de Lenguaje Extensos (LLMs) en corpora externos para proporcionar información actualizada y verificable. Sin embargo, esta dependencia crea una vulnerabilidad crítica: el envenenamiento del corpus. Un adversario con acceso de escritura al corpus de recuperación puede inyectar pasajes maliciosos que contienen hechos fabricados, contradicciones o razonamientos corruptos. Estos documentos envenenados, incluso en pequeñas cantidades (5–30% del corpus), pueden ser recuperados y utilizados por el generador para producir respuestas engañosas o falsas.

Las defensas existentes sufren de brechas estructurales:

Los filtros basados en detección dependen de ejemplos de veneno etiquetados o heurísticas, fallando contra estilos de ataque novedosos.
El endurecimiento del generador conlleva altos costos de inferencia y se degrada cuando los pasajes envenenados dominan el contexto.
Los recuperadores entrenados adversarialmente corren el riesgo de sobreajustarse a tipos específicos de veneno sintético vistos durante el entrenamiento y no pueden garantizar la eliminación del éxito del ataque.

Ningún mecanismo actual cubre de manera efectiva tanto la etapa de recuperación como la de generación sin requerir respuestas de verdad fundamental (ground-truth) o etiquetas de veneno.

Metodología: RAGuard

RAGuard introduce un marco de defensa de dos capas diseñado para operar sin etiquetas de veneno, sin respuestas de verdad fundamental ni acceso a los componentes internos del modelo (caja negra).

Capa 1: Recuperador Entrenado Adversarialmente

La primera capa se enfoca en la defensa proactiva en la etapa de recuperación.

Datos de Entrenamiento: Se generan documentos envenenados sintéticos utilizando LLMs para crear tres familias de ataques: fabricación (declaraciones alucinadas), contradicción (tokens factuales invertidos) y trampas de razonamiento (pasos lógicos engañosos).
Mecanismo: Un recuperador denso (inicializado desde all-MiniLM-L6-v2) es ajustado finamente mediante pérdida de margen de triplete (triplet margin loss). Aprende a distinguir entre pasajes de oro y sus reescrituras adversarias específicas, reduciendo la clasificación de contenido malicioso antes de que llegue al generador.
Limitación: Esta capa está limitada a las distribuciones de veneno vistas durante el entrenamiento y puede no generalizarse a estilos de ataque o dominios no vistos.

Capa 2: Parche de Inferencia de Conocimiento Cero (ZKIP)

La segunda capa es un filtro reactivo y libre de etiquetas que opera en el tiempo de generación. Funciona como una red de seguridad autorreferencial.

Mecanismo: Para una consulta $q$ $q$ y los $k$ $k$ documentos recuperados superiores $D = \{d_i\}$ $D = {d_{i}}$ , ZKIP realiza un análisis de Dejar Uno Fuera (Leave-One-Out, LOO):
1. Generar una respuesta de referencia $y_{all}$ usando el contexto completo $D$ .
2. Generar una respuesta contrafactual $y_{-i}$ para cada documento $d_i$ eliminándolo del contexto.
Puntuación: Un documento se marca como anómalo si su eliminación induce un cambio semántico significativo en la respuesta o una reducción en la entropía de salida (incertidumbre). La puntuación de anomalía $A_i$ se calcula como:
$A_i = (1 - s_i) + \lambda [\Delta H_i]_+$
Donde $s_i$ es la similitud de coseno entre los embeddings de las respuestas de referencia y contrafactual, y $\Delta H_i$ es el diferencial de entropía.
Acción: Los documentos con las puntuaciones de anomalía más altas son eliminados antes de la pasada de generación final.
Propiedad Clave: ZKIP no compara contra una respuesta de oro o una etiqueta de veneno; se basa únicamente en la estabilidad de la propia salida del modelo bajo contextos contrafactuales.

Contribuciones Clave

Filtro de Caja Negra y Libre de Etiquetas: ZKIP es el primer filtro en tiempo de inferencia que no requiere etiquetas de veneno, respuestas de oro o componentes internos del modelo. Reduce la Tasa de Éxito de Ataque (ASR) a 0.000 en todas las configuraciones probadas en el conjunto de datos Natural Questions (NQ).
Defensa por Capas con Contribuciones Medidas: El artículo demuestra que el entrenamiento del recuperador adversario por sí solo reduce pero no elimina el ASR (dejando un éxito residual de 0.072 para un 10% de envenenamiento). ZKIP por sí solo elimina el ASR pero puede degradar ligeramente la calidad de la recuperación. La combinación preserva la alta calidad de clasificación del recuperador entrenado adversarialmente mientras logra un éxito de ataque de cero.
Delineación del Modelo de Amenaza: El estudio establece que los venenos que preservan palabras clave (reescrituras de LLM que alteran la semántica pero mantienen las palabras clave) dejan a los recuperadores léxicos como BM25 prácticamente inafectados (ASR 0.000 con 5–20% de envenenamiento). Esto delinea el límite del modelo de amenaza, mostrando que los ataques explotan específicamente la semántica de los embeddings densos.

Resultados Experimentales

Evaluado en variantes envenenadas de Natural Questions (NQ) y BEIR (NFCorpus) con ratios de veneno del 5% al 30%:

Tasa de Éxito de Ataque (ASR): ZKIP lleva el ASR medido a 0.000 para cada configuración defendida (tanto para recuperadores limpios como entrenados adversarialmente) al 10% y 30% de envenenamiento en NQ.
Calidad de Recuperación: La defensa mantiene una alta calidad de recuperación. Al 10% de envenenamiento, el recuperador entrenado adversarialmente defendido logra un Recall@5 de 0.314, comparado con 0.319 para la versión no defendida (una caída de solo 0.005). Esto permanece dentro de 0.03 del baseline de corpus limpio (0.282).
Baseline BM25: Sin defensa, BM25 muestra un ASR cercano a cero (0.000 al 5–20% de envenenamiento), confirmando que la amenaza es específica para la recuperación densa.
Estructura Aprendible: El análisis supervisado confirma que las señales contrafactuales utilizadas por ZKIP (estabilidad de la respuesta y cambios de entropía) contienen una estructura de veneno aprendible, validando la base teórica del enfoque.

Significado y Reivindicaciones

El artículo posiciona a RAGuard como un paso significativo hacia sistemas RAG robustos al abordar las "brechas estructurales" de las defensas existentes. Su principal significancia radica en:

Seguridad Autorreferencial: Al depender de la estabilidad de la propia salida del modelo en lugar de etiquetas externas, ZKIP es aplicable a tipos de ataque no vistos que evaden las simulaciones de tiempo de entrenamiento.
Modularidad: El marco permite intercambiar de forma independiente los recuperadores, generadores y las capas de defensa.
Compromisos Prácticos: Los autores reconocen el costo computacional ( $k+1$ pasadas del generador por consulta, por ejemplo, 6× de sobrecarga para $k=5$ ), pero proponen aproximaciones de procesamiento por lotes (batching) y de parada temprana para mitigar la latencia.

Limitaciones y Alcance

El artículo es modesto en sus afirmaciones, declarando explícitamente:

Alcance: La defensa se dirige a la respuesta a preguntas factuales bajo el envenenamiento de corpus de recuperación densa. Excluye explícitamente la manipulación de opiniones, el secuestro de prompts (prompt hijacking) y los ataques de caja blanca basados en gradientes.
Ataques Coordinados: ZKIP de una sola pasada es estructuralmente ciego ante coaliciones de múltiples venenos coordinados donde múltiples documentos envenenados se refuerzan entre sí; eliminar uno no cambia la respuesta. Se propone un protocolo de eliminación iterativa, pero no se evalúa completamente.
Falsos Positivos: El filtro puede marcar documentos benignos pero opinativos o fuera de distribución, lo que conduce a una ligera reducción en el Recall@5.
Fragilidad de la Distribución: El recuperador entrenado adversarialmente puede sobreajustarse a las familias de veneno sintético específicas utilizadas durante el entrenamiento y puede no generalizarse a dominios no vistos (por ejemplo, el corpus médico de BEIR) o ataques optimizados por gradiente.
Evaluación: El ASR de 0.000 refleja el conjunto específico de ataques y muestras probadas, no una garantía universal. La evaluación se basa en reescrituras sintéticas de LLM en lugar de inyecciones adversarias optimizadas por gradiente (como PoisonedRAG), lo que podría subestimar la fuerza del ataque en el mundo real.

Los autores concluyen que, si bien RAGuard elimina eficazmente el éxito de ataque medido en su modelo de amenaza específico, el trabajo futuro debe abordar los ataques de múltiples venenos coordinados, los estándares de baselines de ataque (PoisonedRAG, FlippedRAG) y la reducción adicional de la sobrecarga de inferencia.