Resumen Técnico: Aprendiendo a Inyectar: Inyección de Prompts Automatizada mediante Aprendizaje por Refuerzo

Definición del Problema

La inyección de prompts representa una vulnerabilidad crítica en los agentes de Modelos de Lenguaje Grande (LLM), donde instrucciones adversarias incrustadas en contenido externo (por ejemplo, correos electrónicos, documentos) secuestran el comportamiento del agente para ejecutar acciones no autorizadas o exfiltrar datos. Si bien los ataques de jailbreak automatizados han avanzado, estos dependen de la optimización de la "conformidad" (por ejemplo, generar un prefijo afirmativo como "Claro, puedo ayudar"). En contraste, la inyección de prompts requiere que el modelo emita una llamada a una herramienta específica con una coincidencia exacta de parámetros (por ejemplo, send_email(to="attacker@evil.com")).

Esta distinción crea un desafío de optimización fundamental:

1. Recompensas Discretas y Dispersas: La señal de éxito es binaria (0 o 1). Los sufijos muestreados aleatoriamente casi nunca activan la llamada a la herramienta específica, dejando a los optimizadores estándar sin un gradiente que seguir.
2. Desajuste de Objetivos: Los métodos de jailbreak automatizados existentes (como GCG o TAP) optimizan la conformidad, lo cual es un mal indicador para la ejecución precisa de llamadas a herramientas requeridas en ataques de inyección.
3. Dependencia del Esfuerzo Manual: Los métodos efectivos actuales todavía dependen en gran medida de red-teamers humanos y prompts diseñados a mano, lo que limita la escalabilidad.

Metodología: AutoInject

Los autores proponen AutoInject, un marco de aprendizaje por refuerzo (RL) de caja negra diseñado para aprender sufijos de inyección de prompts. La innovación central radica en convertir la señal de éxito binaria y dispersa en una recompensa densa y aprendible adecuada para la optimización por RL.

1. Formulación del Problema

La generación del ataque se modela como un Proceso de Decisión de Markov (MDP):

• Estado: El objetivo de la inyección, el contexto de la tarea del usuario y los tokens generados hasta el momento.
• Acción: Seleccionar el siguiente token del vocabulario.
• Recompensa: Una puntuación compuesta entregada solo al final de un episodio, que consiste en:
  • $r_{sec}$: Puntuación de seguridad (1 si se ejecuta el objetivo inyectado, 0 de lo contrario).
  • $r_{util}$: Puntuación de utilidad (1 si se completa la tarea original del usuario, 0 de lo contrario).
  • $r_{pref}$: Una puntuación de retroalimentación basada en comparación densa.

2. Recompensa Densa mediante Retroalimentación Basada en Comparación

Para abordar la dispersión de la recompensa, AutoInject introduce un modelo de retroalimentación basado en comparación aprendido.

• Mecanismo: El sistema mantiene un sufijo de referencia ($x^*$), el sufijo con mejor desempeño visto hasta ahora. Para cada nuevo sufijo candidato ($x$), se consulta un modelo de retroalimentación (un LLM) con el objetivo de la inyección, el contexto y ambos sufijos.
• Proceso: El modelo de retroalimentación realiza un razonamiento de cadena de pensamiento (chain-of-thought) para determinar qué sufijo tiene más probabilidades de tener éxito, emitiendo una etiqueta de preferencia binaria.
• Extracción de Señal: Las log-probabilidades de los tokens de la etiqueta se extraen y normalizan para producir una puntuación de preferencia continua ($r_{pref}$).
• Valor: Incluso si tanto el candidato como la referencia fallan en ejecutar la inyección, el modelo de retroalimentación puede asignar una puntuación más alta al candidato si este parece más plausible o mejor alineado con el objetivo. Esto proporciona una señal densa y monótona que guía al agente de RL a través de largos tramos de recompensa de seguridad nula.

3. Optimización de la Política

La política de ataque se entrena utilizando Optimización de Política Relativa de Grupo (GRPO) en un modelo de 1.5B de parámetros (Qwen2.5-1.5B).

• Ventaja Relativa: En lugar de aprender una función de valor absoluta, GRPO muestrea un grupo de $K$ completaciones para la misma entrada y calcula las ventajas relativas basadas en sus recompensas compuestas.
• Recompensa Compuesta: $R = \alpha \cdot r_{sec} + \beta \cdot r_{util} + \gamma \cdot r_{pref}$. El peso $\gamma$ para la retroalimentación de comparación se programa dinámicamente, comenzando alto para proporcionar gradientes iniciales y disminuyendo a medida que las señales de éxito real ($r_{sec}$) están disponibles.
• Modos de Ataque: El marco soporta:
  • Ataques Basados en Consultas Online: Optimización dentro de un presupuesto de consultas para un objetivo específico.
  • Sufijos Transferibles Offline: Entrenamiento en tareas/modelos sustitutos y transferencia del sufijo aprendido a objetivos no vistos sin requerir acceso a la utilidad durante el despliegue.

Contribuciones Clave

1. Formulación de RL para Inyección: Un novedoso enfoque de RL que convierte la señal binaria de inyección de prompts en una recompensa densa mediante retroalimentación aprendida basada en comparación, permitiendo una optimización GRPO efectiva donde los métodos estándar fallan.
2. Capacidad de Ataque Dual: Un marco unificado que soporta tanto la optimización de consultas online como sufijos transferibles entrenados offline que no requieren acceso a la utilidad durante el despliegue.
3. Evaluación Exhaustiva: Pruebas extensas en el benchmark AgentDojo sobre siete modelos de producción (incluyendo GPT-5-nano, Claude-3.5-Sonnet y Gemini-2.5-Flash) y un modelo de defensa especializado (Meta-SecAlign-70B).
4. Preservación de la Utilidad: Demostración de que la política aprendida puede maximizar el éxito del ataque mientras preserva o incluso mejora la utilidad de la tarea original del usuario, a diferencia de muchos ataques basados en plantillas que interrumpen el comportamiento del agente.

Resultados Experimentales

Evaluado en el benchmark AgentDojo, AutoInject demuestra mejoras estadísticamente significativas (prueba de McNemar, $p < 0.05$) sobre las líneas base existentes:

• vs. Ataques de Plantilla: AutoInject supera significativamente a las plantillas creadas por humanos (ej., "Direct", "Ignore Previous"). En Gemini-2.5-Flash, AutoInject logró una Tasa de Éxito de Ataque (ASR) del 58.00% comparado con un pico del 23.60% para las plantillas.
• vs. Líneas Base Basadas en Optimización: Supera a GCG, TAP, ataques adaptativos aleatorios y búsqueda evolutiva. Notablemente, en el robusto modelo GPT-5-nano, AutoInject logró un ASR del 11.49%, mientras que el mejor ataque de plantilla solo logró un 1.60%.
• Preservación de la Utilidad: En muchos casos, la "Utilidad bajo Ataque" de AutoInject superó la línea base benigna (ej., 90.20% vs. 80.41% en GPT-5-nano), indicando que los sufijos aprendidos ejecutan la inyección con éxito sin interrumpir la función principal del agente.
• Evasión de Defensa: Contra Meta-SecAlign-70B (un modelo ajustado específicamente para resistir la inyección de prompts), los ataques de plantilla fallaron por completo (0% ASR), mientras que AutoInject logró un 21.88% de ASR.
• Transferibilidad: Los sufijos aprendidos se transfirieron con éxito entre modelos y tareas no vistas. En escenarios de transferencia entre tareas, AutoInject superó significativamente a la línea base de transferencia RL-Hammer en cuatro de cinco modelos objetivo, a pesar de usar significativamente menos consultas de entrenamiento (260 vs. 3,900).

Significado y Reivindicaciones

El artículo establece una línea base automatizada para la inyección de prompts, revelando una brecha crítica entre las defensas actuales basadas en preferencias y los atacantes adaptativos basados en optimización.

• Limitaciones de las Defensas Estáticas: Los resultados sugieren que las defensas que dependen del emparejamiento de patrones estáticos o la optimización de preferencias (como Meta-SecAlign) son insuficientes contra la optimización adaptativa estructurada. Los autores señalan que, aunque estas defensas neutralizan plantillas conocidas, fallan ante sufijos aprendidos que explotan diferentes vulnerabilidades.
• El Fenómeno "Allelujah": El estudio observó patrones de tokens recurrentes y aparentemente sin sentido (ej., "allelujah") en los sufijos exitosos que se transfirieron entre modelos, lo que sugiere el descubrimiento de regularidades estadísticas en los datos de preentrenamiento que se correlacionan con comportos de conformidad.
• Implicaciones para la Seguridad: Los autores argumentan que las estrategias de inyección automatizadas que preservan la utilidad representan un vector de amenaza más peligroso que los ataques disruptivos, ya que permiten a los adversarios comprometer a los agentes sin el conocimiento del usuario. Concluyen que los paradigmas defensivos deben evolucionar para dar cuenta de estas estrategias adaptativas y automatizadas, requiriendo potencialmente cambios arquitectónicos como "planificar-luego-ejecutar" o defensas basadas en la deliberación que soliciten la confirmación del usuario para operaciones sensibles.

El artículo no pretende resolver la vulnerabilidad, sino exponer la insuficiencia de las defensas automatizadas actuales frente a los ataques impulsados por RL, instando a la comunidad a desarrollar medidas de seguridad más robustas y adaptativas.