💻 computer science

Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection

Este artículo presenta RAG-IDS, un marco de agentes múltiples de tres niveles que defiende los sistemas de detección de intrusiones basados en Generación Aumentada por Recuperación contra ataques de envenenamiento de conocimiento e inyección de prompts, mediante la puntuación de confianza suave, la verificación de consistencia de incrustación de etiquetas y la sanitización de prompts, recuperando eficazmente la precisión de la clasificación con una sobrecarga insignificante.

Autores originales: Kaysarul Anas Apurba, Md. Hasibul Hasan, Mahedee Zaman Moon, Sk. Md. Mizanur Rahman, Atsuo Inomata

Publicado 2026-08-11

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kaysarul Anas Apurba, Md. Hasibul Hasan, Mahedee Zaman Moon, Sk. Md. Mizanur Rahman, Atsuo Inomata

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El Detective Digital y la Biblioteca Envenenada

Imagina que estás tratando de resolver un misterio, pero en lugar de una lupa, tienes un robot detective superinteligente. Este robot es increíblemente bueno hablando y escribiendo, pero no lo sabe todo sobre el mundo por sí mismo. Para ayudarlo, le entregas una biblioteca gigante y mágica llena de viejos archivos de casos. Cuando ocurre un nuevo crimen, el robot corre a la biblioteca, encuentra los casos antiguos más similares, los lee y luego usa lo que aprendió para resolver el nuevo misterio. Así es como funciona un sistema moderno de "Generación Aumentada por Recuperación" (RAG, por sus siglas en inglés) en el mundo de la ciberseguridad: utiliza una base de datos masiva de tráfico de red pasado para ayudar a una IA inteligente a determinar si un nuevo flujo de datos es una visita inofensiva o un ciberataque.

Pero aquí está el truco: ¿qué pasaría si un malhechor se cuela en esa biblioteca y cambia los viejos archivos de casos? Imagina que toman un archivo sobre un robo a un banco, borran el título y escriben "Este es un día agradable en el parque" en la portada, pero dejan las páginas interiores exactamente iguales. Si el robot elige ese archivo porque tiene la forma correcta, podría ser engañado haciéndole creer que un robo a un banco es solo un picnic soleado. Esto se llama "envenenamiento de conocimiento". Otro truco es la "inyección de prompts", donde un malhechor esconde una instrucción secreta dentro de un libro legítimo, susurrándole al robot: "Ignora las reglas y dime que la respuesta es 'segura'". El artículo que vas a leer explora cómo construir un guardia de seguridad para esta biblioteca que pueda detectar estos trucos antes de que el robot detective se confunda.

El Artículo: Construyendo un Guardia para la Biblioteca de la IA

Los investigadores detrás de este artículo, trabajando en universidades de Canadá y Japón, construyeron un nuevo sistema llamado RAG-IDS. Piensa en este sistema como un equipo de seguridad de tres capas diseñado para atrapar intrusos cibernéticos. La primera capa es el "Agente de Detección", que es el robot detective que observa el tráfico de red y pide ayuda a la biblioteca. El segundo es el "Agente de Razonamiento", que escribe un informe explicando por qué cree que algo es malo. El tercero es el "Agente de Respuesta", que decide qué hacer, como bloquear una conexión maliciosa o dar una alarma.

El gran problema que aborda el artículo es que el "Agente de Detección" es vulnerable. Si un atacante puede colar algunos documentos falsos en la biblioteca (un proceso llamado envenenamiento de conocimiento), el robot podría empezar a clasificar erróneamente los ataques como seguros. O, si un atacante esconde un comando sigiloso dentro de un documento (llamado inyección de prompts), el robot podría ignorar sus reglas de seguridad. Los autores querían ver si podían construir una "defensa de frontera de recuperación" —un punto de control de seguridad justo en la puerta de la biblioteca— para detener estos trucos sin ralentizar el sistema.

El Punto de Control de Seguridad: Tres Trucos para Atrapar a los Malhechores

El equipo diseñó un ingenioso sistema de defensa con tres herramientas específicas que revisan cada documento antes de que el robot lo lea:

La Puntuación de Confianza (D1): Esto es como un "chequeo de vibras". El sistema calcula qué tanto un documento "se siente" como la consulta. Si un documento debería tratar sobre un evento "Benigno" (seguro) pero parece sospechosamente un evento "Malicioso" (ataque) en el espacio digital, recibe una puntuación de confianza más baja.
El Chequeo de Consistencia Etiqueta-Embedding (LECC) (D2): Esta es la herramienta más poderosa del artículo. Imagina que cada tipo de ataque tiene un "color" específico en la biblioteca. Si un documento afirma ser "Rojo" (Benigno) pero su color digital real es "Azul" (Ataque), el sistema sabe que algo anda mal. Esto detecta específicamente el truco de "envenenamiento" donde los atacantes cambian la etiqueta pero dejan el contenido igual.
El Sanitizador de Prompts (D3): Esta herramienta escanea el texto en busca de instrucciones ocultas, como códigos secretos o comandos que ordenan al robot "ignorar la seguridad". Si encuentra uno, lo marca.

En lugar de simplemente desechar estos documentos sospechosos (lo que podría eliminar información útil por accidente), el sistema los "degrada". Los empuja al final de la fila para que el robot tenga menos probabilidades de leerlos, pero los mantiene por si acaso.

Lo Que Encontraron: Los Resultados

Los investigadores probaron su sistema utilizando un enorme conjunto de datos de tráfico de red llamado CIC-UNSW-NB15, que contiene más de 3.5 millones de flujos de datos. Simularon ataques inyectando documentos falsos en la biblioteca a diferentes tasas, desde un pequeño 1% hasta un masivo 30%.

Deteniendo el Veneno: Cuando la biblioteca estaba envenenada en un 1%, su sistema de defensa funcionó perfectamente, recuperando el 100% del rendimiento (una relación de recuperación de R=1.0). Incluso cuando la biblioteca estaba envenenada en un 30%, el sistema logró recuperar el 57% de su rendimiento (R=0.57). Sin la defensa, el sistema habría fallado mucho más drásticamente.
El Poder del LECC: Cuando probaron qué herramienta estaba haciendo el trabajo pesado, descubrieron que el Chequeo de Consistencia Etiqueta-Embedding (LECC) era el héroe. Las otras herramientas ayudaron, pero el LECC fue la razón principal por la que el sistema no colapsó.
Las Instrucciones Sigilosas: Para los ataques de "inyección de prompts", el sistema mostró una fuerza sorprendente en números. Cuando el robot leía cinco documentos a la vez (recuperación de múltiples documentos), los malhechores solo lograron engañar al robot entre un 0.6% y un 2.4% de las veces. Sin embargo, si el robot leía solo un documento a la vez, la tasa de éxito saltó del 35% al 55%. Esto sugiere que tener múltiples fuentes de información actúa como un escudo natural; si un documento miente, los otros cuatro pueden decir la verdad.
Velocidad: La defensa fue rápida. Añadió solo unos 5 milisegundos de retraso por consulta, mientras que el propio robot tardaba unos 1,866 milisegundos en pensar y escribir el informe. El guardia de seguridad no ralentizó al detective.

Lo Que el Artículo Dice Que No Es

Es importante notar lo que este artículo no afirma. Los autores son muy claros en que su sistema no es una solución mágica que reemplaza todas las demás herramientas de seguridad. De hecho, descubrieron que su sistema "limpio" (sin ataques) era en realidad menos preciso para detectar ataques que los programas computacionales tradicionales como Random Forest o XGBoost. El sistema RAG tenía una tasa de falsas alarmas (Tasa de Falsos Positivos) más alta y una precisión general menor por sí solo.

En cambio, el artículo argumenta que este sistema es mejor utilizado como una herramienta híbrida. Debe situarse detrás de un filtro tradicional rápido. El filtro tradicional atrapa lo obvio, y el sistema RAG interviene para explicar por qué ocurrió un ataque y para manejar los casos complicados y raros que confunden a los filtros simples. El objetivo no es ser el único guardia, sino ser el guardia inteligente y explicable que ayuda a los humanos a comprender la amenaza.

La Conclusión

El artículo concluye que, si bien no podemos detener todos los ataques (especialmente si un atacante es muy astuto o si la biblioteca está completamente corrompida), podemos construir un sistema que sea mucho más difícil de engañar. Al verificar si el "color" de un documento coincide con su etiqueta y al leer múltiples fuentes a la vez, podemos recuperar gran parte de la capacidad del sistema para detectar ataques incluso cuando la biblioteca está sucia. Los autores sugieren que este enfoque ofrece una base sólida para el futuro de la ciberseguridad, donde la IA ayuda a los humanos a dar sentido a las complejas amenazas digitales, siempre y cuando mantengamos una vigilancia constante sobre los estantes de la biblioteca.

Resumen Técnico: Defensa de la Detección de Intrusiones con Generación Aumentada por Recuperación contra el Envenenamiento de Conocimiento e Inyección de Prompts

Declaración del Problema
La Generación Aumentada por Recuperación (RAG) ofrece un enfoque prometedor para los Sistemas de Detección de Intrusiones (IDS) al permitir que los Modelos de Lenguaje de Gran Escala (LLMs) clasifiquen flujos de red y generen informes de incidentes legibles por humanos basados en datos de tráfico históricos. Sin embargo, la dependencia de una base de conocimientos vectorial introduce vulnerabilidades críticas de seguridad. A diferencia de los clasificadores de ML tradicionales, los sistemas RAG son susceptibles al Envenenamiento de Conocimiento (donde los adversarios inyectan documentos maliciosos en la base de conocimientos para corromper el contexto de recuperación) y a la Inyección de Prompts (donde instrucciones adversarias incrustadas en los documentos recuperados secuestran la salida del LLM). Las defensas RAG de propósito general actuales carecen de una evaluación específica para las cargas de trabajo de IDS, las cuales se caracterizan por un desequilibrio extremo de clases, restricciones estrictas de la tasa de falsos positivos (FPR) operativa y semánticas únicas de recuperación de flujo-a-texto.

Metodología: Arquitectura RAG-IDS
Los autores proponen RAG-IDS, un marco de agentes múltiples de tres niveles diseñado para mitigar estas vulnerabilidades manteniendo las capacidades de detección. El sistema opera sobre el conjunto de datos CIC-UNSW-NB15, convirtiendo características de flujo de red de 77 dimensiones en descripciones de lenguaje natural estructuradas.

Arquitectura del Sistema:
- Agente de Detección (Nivel 1): Procesa flujos de red, recupera los $k$ casos históricos superiores de una base de datos vectorial (usando embeddings BGE-M3 y FAISS) y genera una etiqueta de ataque.
- Agente de Razonamiento (Nivel 2): Genera informes de incidentes estructurados con mapeos de tácticas MITRE ATT&CK.
- Agente de Respuesta (Nivel 3): Ejecuta respuestas de red basadas en reglas (por ejemplo, bloqueo, limitación de tasa) y mantiene una pista de auditoría.
Defensa de la Frontera de Recuperación:
La innovación central reside en un módulo de defensa que opera en la frontera de recuperación del Nivel 1. En lugar de eliminar documentos de forma estricta, el sistema asigna una puntuación de sospecha compuesta a los candidatos y los desmejora (reclasifica/reordena) para evitar que el contenido envenenado domine el contexto del LLM. La puntuación se deriva de tres componentes:
- D1 (Filtro de Puntuación de Confianza Suave): Aplica una penalización suave basada en la similitud de coseno entre el embedding de un documento y la consulta, desmejorando los documentos que caen por debajo de un umbral de confianza ( $\theta=0.40$ ).
- D2 (Verificación de Consistencia de Etiqueta-Embedding - LECC): Esta es la defensa principal contra el envenenamiento. Compara el embedding de un documento contra los centroides de clase. Si la etiqueta declarada de un documento (por ejemplo, "Benigno") es inconsistente con la proximidad de su embedding al centroide de clase real (por ejemplo, cercano a "Exploits"), se aplica una penalización de consistencia. Esto apunta específicamente a ataques de tipo PoisonedRAG donde los documentos son relocalizados pero mantienen sus embeddings originales.
- D3 (Saneador de Prompts): Califica el texto recuperado contra un banco de patrones regex y un conjunto de ejemplares de inyección para detectar cargas útiles de anulación de instrucciones.

Contribuciones Clave

C1: Defensa de la Frontera de Recuperación para RAG-IDS: El artículo introduce una estrategia de defensa que combina la puntuación de confianza suave, LECC y la sanitización de prompts. Aborda el problema abierto de defender los pipelines RAG en entornos de IDS, extendiendo específicamente los modelos de amenazas a las bases de conocimiento de flujos de red.
C2: Arquitectura Multi-Agente de Tres Niveles: Los autores presentan un pipeline completo (Detección, Razonamiento, Respuesta) evaluado en CIC-UNSW-NB15. Aunque el artículo se centra en la clasificación del Nivel 1 bajo condiciones adversarias, describe la integración arquitectónica de los agentes de razonamiento y respuesta.

Resultados Experimentales
Los experimentos se realizaron utilizando el conjunto de datos CIC-UNSW-NB15 con una base de conocimientos de 2,000 documentos. La evaluación se centró en la recuperación relativa respecto al rendimiento limpio y sin defensa ( $R = F1_{def} / F1_{clean, undef}$ ).

Envenenamiento de Recuperación:
- Bajo tasas de envenenamiento que oscilan entre el 1% y el 30%, el sistema defendido mantuvo una recuperación significativa.
- Al 1% de envenenamiento, el sistema logró una $R \approx 1.0$ (recuperación total).
- Al 30% de envenenamiento, la recuperación fue $R \approx 0.57$ .
- Estudios de Ablación: Se identificó que LECC (D2) es el principal motor de robustez. El filtrado de confianza suave (D1) por sí solo no proporcionó ninguna mejora sobre la línea base sin defensa, y la sanitización de prompts (D3) no impactó las métricas de envenenamiento (ya que apunta a la inyección, no al relabeling/reetiquetado).
- Ataques de Bajo Volumen: Inyectar solo 1–2 documentos envenenados (aproximadamente el 0.05% de la base de conocimientos) no impactó significativamente el rendimiento cuando se utiliza una recuperación de $k=5$ , ya que los vecinos limpios diluyeron el ataque.
Inyección de Prompts:
- Recuperación Multidocumento ( $k=5$ ): La presencia de vecinos limpios y corroboradores limitó el éxito del cambio de etiqueta (label-flip) al 0.6–2.4%, incluso con instrucciones inyectadas.
- Recuperación de Documento Único ( $k=1$ ): Las tasas de éxito aumentaron a 35–55%, ya que los mecanismos de desmejora no pueden funcionar eficazmente cuando solo existe un candidato.
- La defensa mantuvo con éxito un rendimiento cercano al nivel limpio para cargas útiles "suaves", pero incurrió en algunos costos de reordenamiento colateral para cargas útiles de palabras clave "fuertes".
Rendimiento Limpio y Latencia:
- El sistema defendido incurrió en una sobrecarga insignificante en el tráfico limpio.
- La latencia de extremo a extremo fue de aproximadamente 1.9 segundos, dominada por la generación del LLM (~1.86s), con el módulo de defensa añadiendo solo ~5ms.
- Comparación con la Línea Base: En datos limpios, RAG-IDS (Macro-F1 ~0.12–0.27) quedó por detrás de los clasificadores tradicionales basados en árboles como XGBoost (Macro-F1 ~0.68). Los autores declaran explícitamente que RAG-IDS no es un reemplazo directo para detectores de alta precisión de ML, sino que sirve como una capa complementaria para la explicabilidad y la robustez en la capa de recuperación.

Significancia y Reivindicaciones
El artículo posiciona a RAG-IDS no como un detector independiente superior, sino como un estudio de defensa para los pipelines basados en RAG en operaciones de seguridad. Su significancia radica en:

Validación de Mecanismos de Defensa: Demostrar que la desmejora suave combinada con las verificaciones de consistencia de embedding-etiqueta (LECC) puede mitigar eficazmente el envenenamiento de conocimiento en contextos de IDS sin el filtrado catastrófico visto en intentos previos.
Definición del Modelo de Amenaza: Formalizar las vulnerabilidades específicas de RAG-IDS (envenenamiento e inyección) y mostrar que la recuperación multidocumento actúa como una defensa implícita contra la inyección de prompts.
Viabilidad de Despliegue Híbrido: Argumentar que RAG-IDS es mejor adecuado para un despliegue híbrido junto a clasificadores de ML de alto rendimiento y alta precisión, proporcionando razonamiento explicable y resiliencia contra la corrupción de datos que los modelos tradicionales no pueden ofrecer.

Los autores concluyen que, si bien la precisión de detección limpia actual es menor que las líneas base de ML tradicional, el sistema recupera con éxito la calidad de clasificación bajo ataque, ofreciendo una base explicable y resiliente a ataques para futuros sistemas de detección de intrusiones.