Resumen Técnico: A través de la Lente del Sigilo: Defensas Conscientes de la Atención contra la Envenenamiento en RAG

Declaración del Problema

Los sistemas de Generación Aumentada por Recuperación (RAG), que integran Modelos de Lenguaje Grandes (LLM) con bases de conocimiento externas, son vulnerables a ataques de corrupción de recuperación. En estos ataques, los adversarios inyectan pasajes envenenados en la base de conocimientos (por ejemplo, mediante páginas de Wikipedia manipuladas o redes sociales) para corromper el contexto recuperado. Incluso con tasas de corrupción bajas (por ejemplo, un pasaje envenenado entre diez), los ataques existentes como PoisonedRAG pueden manipular con éxito la respuesta del LLM hacia una respuesta objetivo.

El desafío central abordado en este artículo es el sigilo. Aunque los ataques existentes logran altas tasas de éxito, los autores argumentan que no están diseñados para ser sigilosos. Para anular el consenso de los pasajes benignos, los pasajes adversarios deben influir desproporcionadamente en el proceso de inferencia del LLM. Este requisito inherente crea una "huella maliciosa" detectable en los estados internos del modelo, específicamente en la distribución de los pesos de atención. El artículo postula que las defensas actuales a menudo pasan por alto estas señales intermedias, confiando en su lugar en semánticas superficiales o perplejidad, que son menos efectivas contra el envenenamiento sofisticado.

Metodología

1. Formalización del Sigilo: El Juego SADG

Los autores formalizan el concepto de sigilo a través del Juego de Distinguibilidad de Ataque Sigiloso (SADG). En este juego de seguridad, un defensor intenta distinguir entre un conjunto recuperado benigno y uno corrupto (que contiene hasta una fracción $\epsilon$ de pasajes envenenados). Un ataque se considera $\tau$-sigiloso si la ventaja del defensor para distinguir los conjuntos es como máximo $\tau$. El artículo argumenta que los ataques exitosos de baja corrupción fallan inherentemente en esta prueba porque concentran su influencia en un subconjunto pequeño de pasajes, creando una anomalía estadística detectable.

2. Puntuación de Atención de Pasaje Normalizada (NPAS)

Para cuantificar la influencia de los pasajes individuales en la respuesta generada, el artículo introduce la Puntuación de Atención de Pasaje Normalizada (NPAS).

• Mecanismo: El método agrega los pesos de atención de las capas y cabezas del decodificador del LLM. Para un pasaje recuperado $z_t$, suma las puntuaciones de atención de todos los tokens de respuesta generados a los tokens más atendidos (top-$\alpha$) dentro de $z_t$.
• Normalización: La puntuación se normaliza por la atención total a través de los $k$ pasajes recuperados para permitir la comparación entre diferentes consultas y modelos.
• Racional: En escenarios benignos, la atención se distribuye relativamente uniformemente entre los pasajes relevantes. En ataques de envenenamiento exitosos, el modelo concentra la atención fuertemente en el pasaje envenenado (específicamente en los tokens que coinciden con el objetivo adversario), resultando en una distribución de alta varianza de NPAS.

3. El Filtro de Varianza de Atención (Filtro AV)

Aprovechando la observación de que los conjuntos envenenados exhiben una alta varianza en NPAS, los autores proponen el Filtro de Varianza de Atención (Filtro AV).

• Proceso: El filtro elimina iterativamente el pasaje con el NPAS más alto del conjunto recuperado.
• Condición de Detención: El proceso continúa hasta que la varianza de las puntuaciones NPAS restantes cae por debajo de un umbral $\delta$ o el número de pasajes eliminados alcanza el presupuesto de corrupción $\epsilon$.
• Implementación: Para mitigar el sesgo posicional (efectos de recencia), los pasajes se reordenan por su NPAS antes del filtrado. El umbral $\delta$ se estima a partir de datos limpios (media + 1 desviación estándar).

4. Ataques Adaptativos

Para probar los límites de esta defensa, los autores desarrollan ataques adaptativos que optimizan el sigilo. Utilizando metodologías de jailbreak (extendiendo GCG y AutoDAN), estos ataques minimizan una función de pérdida compuesta:
$$L_t = L_1 + \lambda \cdot L_2$$
Donde $L_1$ es la pérdida de entropía cruzada para la respuesta objetivo (eficacia) y $L_2$ es la varianza de NPAS (sigilo). Esto obliga al atacante a encontrar pasajes envenenados que induzcan la respuesta objetivo sin crear una firma de atención de alta varianza.

Contribuciones Clave

1. Formalización del Sigilo: Introducción del SADG para definir y medir rigurosamente el sigilo de los ataques de envenenamiento en RAG.
2. Métrica NPAS: Desarrollo de la Puntuación de Atención de Pasaje Normalizada para cuantificar la influencia de pasaje a respuesta, demostrando que se sesga bajo corrupción.
3. Defensa Filtro AV: Propuesta de un filtro ligero basado en la varianza de atención que distingue y elimina de manera confiable los pasajes corruptos sin alterar el pipeline de inferencia.
4. Evaluación Exhaustiva: Experimentos extensos en 4 conjuntos de datos, 5 LLMs y 5 tipos de ataques, incluido el desarrollo de ataques adaptativos para sondear los límites de la defensa.
5. Aplicabilidad Caja Blanca/Negra: Demostración de que la defensa funciona en entornos de caja blanca (acceso directo a los internos del modelo) y caja negra (usando un modelo de código abierto auxiliar para aproximar las señales de atención).

Resultados

• Capacidad de Detección (RQ1): El defensor que utiliza la varianza de NPAS ($D_{AV}$) identifica con éxito conjuntos corruptos en ataques existentes con una tasa de victoria promedio de 0.78 en el SADG, superando significativamente a la adivinanza aleatoria.
• Robustez (RQ2): El Filtro AV mejora significativamente la precisión robusta (RACC) en comparación con las líneas base.
  • Logra hasta un 23% más de precisión que las defensas de línea base en entornos benignos.
  • Bajo ataque, produce hasta un 20% más de RACC que las líneas base como Certified Robust RAG (Palabra clave/Decodificación).
  • Reduce la Tasa de Éxito del Ataque (ASR) del RAG vanilla (que puede alcanzar ~88% en algunos conjuntos de datos) a un promedio de 6.6% en RQA-MC, comparable o mejor que los métodos robustos existentes.
• Límites de Ataques Adaptativos (RQ3): Los ataques adaptativos pueden eludir el Filtro AV, logrando una ASR de hasta 35%. Sin embargo, esto conlleva un costo prohibitivo:
  • Requieren acceso completo a los internos del modelo y a la base de conocimientos.
  • Implican optimización específica de la consulta, aumentando el tiempo de ejecución aproximadamente $10^3$ a $10^4$ veces en comparación con los ataques estándar (por ejemplo, ~18,000 segundos por consulta).
  • Los autores concluyen que estos representan un límite teórico extremo en lugar de una amenaza práctica.

Significado y Afirmaciones

El artículo afirma que el sigilo y la eficacia son fundamentalmente compensaciones en el envenenamiento de RAG. Para manipular con éxito una respuesta con una minoría de pasajes envenenados, un adversario debe ejercer una influencia desproporcionada, lo que deja una firma detectable en los pesos de atención.

• Eficacia de la Defensa: El Filtro AV ofrece una defensa práctica y de bajo sobrecosto que preserva la utilidad de los sistemas RAG (mínima caída en la precisión limpia) mientras mitiga eficazmente los ataques actuales de bajo sigilo.
• Limitaciones: La defensa se basa en suposiciones específicas: la corrupción debe ser una minoría ($\epsilon < 0.5$), el conocimiento correcto debe estar representado redundantemente en pasajes benignos, y el ataque debe apuntar al contenido de la respuesta (no al estilo o la fuga de datos).
• Perspectiva Futura: Aunque los ataques adaptativos muestran que el sigilo puede mejorarse, siguen siendo computacionalmente costosos y exigentes en recursos. El artículo sugiere que lograr un sigilo verdadero y eficiente en el envenenamiento de RAG sigue siendo un desafío abierto significativo, y las defensas de tiempo polinómico como el Filtro AV son actualmente suficientes para escenarios prácticos.

Los autores enfatizan que su doble contribución (defensa y ataque adaptativo) tiene como objetivo impulsar el desarrollo de sistemas RAG más robustos al exponer las vulnerabilidades actuales y el alto costo de superarlas.