Resumen Técnico: Defensa contra Ataques de Inyección de Prompts Adaptativos mediante la Alineación de Tareas basada en el Razonamiento

1. Planteamiento del Problema

El artículo aborda la Inyección de Prompts Indirecta (PI), una vulnerabilidad de seguridad en agentes basados en LLM donde los adversarios incrustan instrucciones maliciosas en datos de terceros (p. ej., páginas web, respuestas de API) recuperados por el agente. A diferencia del jailbreaking, donde la entrada del usuario es adversaria, la PI implica que una tarea de usuario confiable ($t_u$) es secuestrada por datos no confiables ($o_t$) que contienen una tarea de ataque ($t_{adv}$).

Los autores identifican una brecha crítica en las defensas actuales: mientras que los métodos existentes logran tasas de éxito de ataque (ASR) bajas en benchmarks estáticos, su robustez colapsa ante ataques adaptativos donde el atacante optimiza la inyección contra la defensa desplegada. El artículo atribuye este fallo a dos modos específicos:

1. Fallo a Nivel de Observación: Las defensas existentes (prompting, filtrado, conocimiento secreto y basadas en entrenamiento) deciden basándose en si una observación se asemeja a patrones de inyección conocidos. Fallan al no verificar si la siguiente acción del agente está realmente alineada con la tarea confiable del usuario. Esto permite que los atacantes reformulen las inyecciones (p. ej., "Camuflaje Léxico" o "Continuación Fantasma") para evadir el reconocimiento de patrones preservando el objetivo del ataque.
2. Fallo de Entrenamiento Adversario (Colapso de Modo): Las defensas basadas en entrenamiento que utilizan ejemplos adversarios suelen sufrir de "colapso de modo". Incluso cuando se utilizan atacantes adaptativos (p. ej., RL-Hammer), los ejemplos generados tienden a converger en unas pocas estrategias de reformulación exitosas. En consecuencia, el defensor aprende a bloquear plantillas específicas en lugar de generalizar al espacio más amplio de estrategias de inyección, quedando vulnerable ante tácticas de reformulación no vistas.

2. Metodología: RETA

Los autores proponen RETA (REasoning-enabled Task Alignment - Alineación de Tareas mediante Razonamiento), una defensa de dos etapas basada en entrenamiento diseñada para imponer la alineación de tareas mediante un razonamiento explícito y un entrenamiento adversario diverso.

Principios de Diseño

1. Razonar sobre la Alineación de la Tarea, no sobre Patrones: En lugar de detectar patrones de inyección, el defensor debe razonar si sus llamadas a herramientas planificadas ($c_{t+1}$) siguen lógicamente de la tarea confiable del usuario ($t_u$).
2. Entrenar para la Cobertura de Estrategias: El entrenamiento adversario debe recompensar el descubrimiento de estrategias diversas para reformular el ataque, no solo instancias exitosas de una única estrategia.
3. Aprendizaje por Refuerzo Adversario (RL): La defensa es un problema a nivel de trayectoria. El defensor debe optimizar sobre ejecuciones completas para asegurar tanto la seguridad (rechazar $t_{adv}$) como la utilidad (completar $t_u$).

Etapa I: Generación de Ejemplos Adversarios mediante Red-Teaming

Esta etapa genera un conjunto diverso de ejemplos adversarios para entrenar al defensor.

• Política del Atacante ($\pi_A$): Un modelo atacante genera cadenas de inyección ($d_{adv}$) y un rastro de razonamiento que explica la estrategia de reformulación.
• Recompensa de Diversidad mediante Aprendizaje de Diccionario: Para prevenir el colapso de modo, el sistema mantiene un diccionario de estrategias rotativo.
  • Un LLM auxiliar extrae un "registro de estrategia" (nombre y explicación) de cada inyección exitosa.
  • Un algoritmo de aprendizaje de diccionario (usando codificación dispersa/sparse coding) aprende primitivas de estos registros.
  • Una nueva inyección recibe una alta recompensa de diversidad si su registro de estrategia es mal explicado por el diccionario actual (es decir, representa una estrategia de ataque novedosa).
  • El diccionario se actualiza periódicamente para incluir estrategias exitosas insuficientemente explicadas.
• Resultado: Se recolecta un conjunto de datos ($D_{RT}$) de ataques exitosos y con estrategias diversas.

Etapa II: Aprendizaje por Refuerzo Adversario

Esta etapa entrena la política del defensor ($\pi_D$) utilizando el conjunto de datos de la Etapa I.

• Inicialización: El defensor es primero ajustado (SFT) en "casos límite" donde aprende a emitir un Razonamiento de Alineación de Tarea ($\rho_t$) antes de las llamadas a herramientas. Este razonamiento debe satisfacer dos condiciones:
  • C1: Identificar explícitamente el contenido en la observación que intenta redirigir al agente.
  • C2: Justificar que las llamadas a herramientas planificadas son derivables únicamente de la tarea de usuario confiable $t_u$.
• Optimización por RL: El defensor se optimiza utilizando Optimización de Política de Normalización Desacoplada de Recompensa de Grupo (GDPO). La función de recompensa combina:
  • Recompensa de Seguridad ($r_{sec}$): 1 si la tarea de ataque no se completa.
  • Recompensa de Utilidad ($r_{utl}$): 1 si la tarea del usuario sí se completa.
  • Recompensa de Razonamiento ($r_{CoT}$): Calificada por un juez sobre si el razonamiento generado satisface C1 y C2.
• Objetivo: La política aprende a rechazar tareas inyectadas manteniendo la utilidad, guiada por el rastro de razonamiento explícito.

3. Contribuciones Clave

1. Evidencia Empírica de la Sobreestimación de Benchmarks Estáticos: Los autores demuestran que los benchmarks estáticos sobreestiman significativamente la robustez de la defensa. A través de cuatro paradigmas de defensa (Prompting, Filtrado, Conocimiento Secreto, Entrenamiento) y dos modelos, la ASR aumentó en un promedio de 15.8 puntos porcentuales al pasar de ataques estáticos a adaptativos.
2. Identificación de Modos de Fallo Estructurales: El artículo aísla dos causas raíz para esta brecha:
   • Decisiones a nivel de observación que ignoran la alineación de la tarea.
   • Distribuciones de entrenamiento adversario que carecen de cobertura de estrategias debido al colapso de modo.
3. Propuesta de RETA: Un nuevo marco de defensa que impone la alineación de tareas mediante el razonamiento y utiliza recompensas de diversidad basadas en el aprendizaje de diccionarios para asegurar una amplia cobertura de estrategias de inyección durante el entrenamiento.

4. Resultados

Los autores evaluaron RETA en el benchmark AgentDojo utilizando los modelos Qwen3-4B-Instruct y Llama-3.1-8B-Instruct contra seis familias de ataques adaptativos de caja negra (incluyendo TAP, Strategy, Genetic Search y RL-Hammer).

• Tasa de Éxito de Ataque (ASR): RETA redujo la ASR para todos los ataques adaptativos evaluados a menos del 10%.
  • ASR promedio en Qwen3-4B: 2.92%.
  • ASR promedio en Llama-3.1-8B: 3.75%.
• Preservación de la Utilidad:
  • Utilidad bajo Ataque (UA): RETA preservó la mayor parte de la utilidad bajo ataque, superando significativamente a las líneas base que a menudo sacrificaban la tarea del usuario para lograr la seguridad.
  • Utilidad Benigna (BU): RETA mantuvo un alto rendimiento en entradas limpias, mostrando una degradación mínima en comparación con los modelos no defendidos.
• Ablación: Los experimentos confirmaron que añadir el Razonamiento de Alineación de Tarea (CoT) al entrenamiento adversario redujo significativamente la ASR de modelos no vistos (p. ej., de 40.0% a 27.5% contra Genetic Search) y recuperó la utilidad benigna.

5. Significado y Pretensiones

El artículo sostiene que la robustez estática es insuficiente contra atacantes adaptativos en el contexto de la inyección de prompts indirecta. Argumenta que el campo debe cambiar de la "reconocimiento de patrones" a la "verificación de la alineación de la tarea".

La importancia de RETA radica en su capacidad para:

• Generalizar más allá de plantillas de inyección específicas mediante el entrenamiento con ejemplos adversarios de estrategia diversa.
• Imponer la integridad de la tarea al requerir que el agente justifique sus acciones frente a la tarea de usuario confiable, en lugar de simplemente filtrar texto sospechoso.
• Lograr un equilibrio seguridad-utilidad superior, bloqueando con éxito ataques adaptativos sin sacrificar la capacidad del agente para completar tareas legítimas.

Los autores enmarcan modestamente su trabajo como una solución a los modos de fallo específicos de las defensas actuales, señalando que, aunque RETA funciona bien contra los ataques adaptativos probados, el problema de la PI sigue siendo un área de investigación activa donde los atacantes pueden continuar evolucionando.