Resumen Técnico: AutoDojo: Los ataques adaptativos exponen las defensas superficiales y los límites de la subespecificación del usuario en agentes de LLM

1. Declaración del Problema

La Inyección de Prompts Indirecta (IPI, por sus siglas en inglés) representa una amenaza de seguridad crítica para los agentes de Modelos de Lenguaje de Gran Escala (LLM), donde instrucciones adversarias incrustadas en datos externos no confiables (por ejemplo, documentos recuperados, salidas de herramientas) secuestran el flujo de ejecución del agente. Si bien un creciente cuerpo de literatura propone defensas categorizadas en esquemas basados en prompts, mecanismos de detección/filtrado y restricciones a nivel de sistema, la evaluación de estas defensas sufre de un fallo fundamental: la dependencia de benchmarks estáticos.

Los benchmarks actuales, como AgentDojo, utilizan cadenas de inyección fijas y escritas a mano para generar una única tasa de éxito de ataque (ASR) agregada. Este paradigma de evaluación estática no logra evaluar la robustez frente a adversarios adaptativos. Las defensas pueden lograr un ASR bajo al sobreajustarse a características superficiales de las cadenas de ataque canónicas (por ejemplo, palabras desencadenantes específicas o formato) en lugar de identificar robustamente la intención maliciosa. En consecuencia, la eficacia reportada de las defensas puede estar inflada, fallando en reflejar escenarios del mundo real donde los atacantes adaptan sus estrategias para eludir defensas específicas.

2. Metodología: El Marco de Trabajo AutoDojo

Para abordar las limitaciones de la evaluación estática, los autores introducen AutoDojo, una extensión adaptativa del benchmark AgentDojo. AutoDojo está diseñado para optimizar cualquier inyección semilla contra un agente defendido bajo un estricto modelo de amenaza de caja negra.

Modelo de Amenaza

• Capacidades del Adversario: El atacante no tiene acceso a los pesos del modelo, gradientes o la lógica de defensa interna. Posee únicamente el mismo acceso de consulta que un usuario externo: la capacidad de enviar contenido candidato y observar una señal binaria de éxito/fallo (si el agente ejecutó el objetivo del atacante).
• Recursos: El ataque es "barato", utilizando un presupuesto pequeño de consultas y un LLM de frontera offline como optimizador, en lugar de requerir aprendizaje por refuerzo a gran escala o acceso de caja blanca.
• Objetivo: Maximizar el ASR mediante la refinación iterativa de una inyección $x$ dentro de un vector benigno $v$ para realizar una tarea específica $g$ (por ejemplo, llamadas a herramientas no autorizadas).

Bucle de Optimización

AutoDojo opera como un proceso de búsqueda evolutiva con un LLM en el bucle (LLM-in-the-loop):

1. Inicialización: Un tablero de clasificación de inyecciones candidatas se siembra con ataques existentes (por ejemplo, cadenas estáticas, TopicAttack, RLHammer).
2. Retroalimentación de Resultados: Los candidatos se despliegan contra el agente defendido. El sistema los califica basándose en el ASR sobre un conjunto de instancias de tareas de usuario, proporcionando una señal binaria de éxito.
3. Diagnóstico: Un optimizador offline basado en LLM analiza el historial del tablero para hipotetizar por qué ciertos candidatos tuvieron éxito o fallaron y para inferir la naturaleza de la defensa activa.
4. Generación: Guiado por el diagnóstico, el optimizador genera un nuevo candidato de inyección, potencialmente cambiando de estrategia (por ejemplo, de un párrafo fluido a un formato de diálogo) si las estrategias actuales se han agotado.

Este bucle se repite para un presupuesto fijo y pequeño (por ejemplo, 6 iteraciones), devolviendo la inyección con la puntuación más alta. El marco permite integrar nuevos ataques como semillas o descripciones de estrategia, lo que le permite absorber naturalmente los avances en la investigación de IPI.

3. Contribuciones Clave

El artículo realiza cuatro contribuciones principales:

1. Marco de Trabajo AutoDojo: Una herramienta de evaluación adaptativa y de caja negra eficiente que optimiza ataques semilla contra agentes defendidos utilizando solo la retroalimentación del ASR, requiriendo un mínimo de llamadas a la API y sin necesidad de componentes internos del modelo.
2. Taxonomía de Especificación de Tareas: Una nueva categorización de tareas de usuario basada en la precisión de la especificación:
   • Totalmente especificada: La acción y los parámetros son definidos explícitamente por el usuario.
   • Parámetro abierto (Param-open): La acción está definida, pero los parámetros se derivan de contenido externo.
   • Acción abierta (Action-open): El usuario delega la acción misma a contenido externo (por ejemplo, "haz lo que dice el documento").
3. Evaluación Exhaustiva: Un estudio empírico extenso de nueve defensas de vanguardia a través de tres suites de tareas (Banca, Slack, Viajes) y cinco modelos objetivo.
4. Lanzamiento Público: El lanzamiento de AutoDojo, incluyendo el pipeline de optimización, una biblioteca de inyecciones pre-optimizadas y etiquetas de subespecificación por tarea.

4. Resultados Experimentales

Hallazgo 1: Las defensas estáticas ofrecen una protección limitada

El estudio demuestra que las defensas que reportan una fuerte protección contra benchmarks estáticos a menudo fallan bajo ataques adaptativos.

• Recuperación de ASR: Contra defensas que reducen el ASR estático a casi cero (por ejemplo, PIGuard reduciendo el ASR estático a 0.0% en GPT-4o-mini), AutoDojo recupera un éxito de ataque significativo (por ejemplo, elevando el ASR al 28.0%).
• Vulnerabilidad de Filtros: Los clasificadores diseñados específicamente (por ejemplo, DataFilter, ProtectAI) que bloquean eficazmente las inyecciones estáticas son eludidos por AutoDojo, con incrementos de ASR que van de 2x a casi 3x (por ejemplo, el ASR de DataFilter sube de 12.6% a 33.4%).
• Costos de Utilidad: Las defensas que logran suprimir con éxito los ataques estáticos suelen incurrir en altos costos de "utilidad limpia" (degradando el rendimiento de tareas benignas). Por ejemplo, PIGuard y ProtectAI redujeron la utilidad limpia entre un 33% y un 51% en varios modelos, lo que sugiere que filtran agresivamente el contenido benigno junto con las instrucciones maliciosas.
• Optimización vs. Semillas: Las ganancias de rendimiento son impulsadas principalmente por el bucle de optimización en sí, no simplemente por la fuerza de las semillas iniciales. AutoDojo supera consistentemente a sus ataques semilla (TopicAttack, RLHammer) contra defensas basadas en filtros.

Hallazgo 2: La subespecificación del usuario crea vulnerabilidades estructurales

La eficacia de la defensa depende fuertemente de la precisión de la especificación de la tarea del usuario.

• Tareas de Acción Abierta (Action-Open): Las tasas de éxito de ataque son sustancialmente más altas en tareas de "acción abierta" (donde el usuario delega la acción a contenido externo) en comparación con las tareas "totalmente especificadas".
• Fallo de Filtros: Para las defensas de nivel de prompt y de filtrado, la brecha entre tareas de acción abierta y especificadas es drástica. Por ejemplo, en GPT-4o-mini con PIGuard, el ASR estático fue del 0% para ambas, pero bajo AutoDojo, el ASR para tareas de acción abierta saltó al 64.3%, mientras que para las tareas especificadas se mantuvo en 23.6%.
• Mecanismo: En las tareas de acción abierta, la inyección puede disfrazarse como datos ordinarios en lugar de una instrucción explícita, eludiendo las defensas que dependen de la detección de sintaxis similar a instrucciones.
• Resiliencia a Nivel de Sistema: Las defensas a nivel de sistema (por ejemplo, Progent, DRIFT), que restringen las acciones del agente basándose en una trayectoria derivada de la solicitud del usuario, muestran una mayor robustez. A menudo eliminan la brecha entre tipos de tareas porque bloquean cualquier acción no autorizada explícitamente por la intención del usuario, independientemente de cómo se formule la inyección.

5. Significado y Reivindicaciones

El artículo argumenta que el panorama actual de la evaluación de defensas de IPI es engañoso. La dependencia de benchmarks estáticos escritos a mano sobrestima la robustez de muchas defensas, particularmente aquellas que dependen del filtrado de contenido o la ingeniería de prompts.

• Robustez Superficial: Un ASR estático bajo certifica solo que una defensa funciona contra un ataque específico y congelado, o que el modelo objetivo es inherentemente resistente a esa cadena específica, en lugar de indicar una seguridad genuina.
• Realidad Adaptativa: Incluso un atacante de caja negra con pocos recursos (simulado por AutoDojo) es suficiente para exponer la fragilidad de muchas defensas, recuperando altas tasas de éxito de ataque donde las evaluaciones estáticas sugieren seguridad.
• Límite Estructural: El artículo identifica un límite estructural en los sistemas de agentes: cuando los usuarios subespecifican las tareas (delegando acciones a contenido externo), las defensas de nivel de contenido se vuelven insuficientes porque las instrucciones maliciosas pueden enmarcarse como datos benignos. La verdadera robustez, sugieren los autores, requiere vincular las acciones del agente a la intención explícita del usuario (restricciones a nivel de sistema) en lugar de intentar filtrar las entradas.

Los autores concluyen que las evaluaciones de defensa futuras deben ir más allá de los puntajes agregados únicos contra cadenas fijas para incluir pruebas adaptativas de caja negra y la descomposición por precisión de la especificación de la tarea. AutoDojo se lanza para facilitar este cambio, proporcionando una herramienta para la evaluación adversaria adaptativa y detallada.