Stop Fixating on Prompts: Reasoning Hijacking and Constraint Tightening for Red-Teaming LLM Agents

1. El Problema

Con la proliferación de agentes basados en Modelos de Lenguaje Grande (LLM) en dominios de alto riesgo (como diagnóstico clínico, análisis de video y sistemas de preguntas y respuestas), han surgido nuevas amenazas de seguridad más complejas que las de los LLMs tradicionales. Los riesgos incluyen ataques a la memoria, manipulación de la planificación, mal uso de herramientas y secuestro de tareas a largo plazo.

Los métodos de red-teaming (pruebas de intrusión) existentes presentan dos limitaciones críticas:

1. Dependencia de la modificación de prompts: La mayoría de las técnicas actuales (como jailbreaks tradicionales) modifican explícitamente el prompt del usuario (mediante reescritura, disfraz o perturbación). Esto a menudo degrada el rendimiento del agente en tareas legítimas, haciéndolo más detectable y reduciendo su sigilo.
2. Falta de adaptabilidad: Estos métodos suelen tener un rendimiento pobre al generalizar a nuevos escenarios o cuando se cambia el modelo base del agente, ya que carecen de mecanismos de auto-adaptación en tiempo real.

2. Metodología: El Framework JailAgent

El artículo propone JailAgent, un marco de trabajo innovador que no modifica el prompt original del usuario. En su lugar, manipula implícitamente la trayectoria de razonamiento y la recuperación de memoria del agente mediante un proceso de tres etapas:

A. Extracción de Disparadores (Trigger Extraction)

El objetivo es identificar automáticamente los tokens o frases clave que tienen la mayor contribución al comportamiento del modelo, sin alterar la estructura de entrada.

• Mapeo de Grupos: Se utiliza el tokenizador WordPiece de BERT para alinear la información sintáctica (frases nominales y verbales) con la granularidad de subpalabras.
• Extracción de Tokens de Alta Contribución: Se realiza un análisis de importancia de "grueso a fino" utilizando:
  • Cambios en la probabilidad logarítmica ($\Delta L$) al enmascarar grupos de tokens.
  • Estimación de la divergencia KL (Kullback-Leibler) paso a paso para medir la diferencia en la distribución de salida entre la entrada original y la enmascarada.
• Esto permite identificar los "disparadores" semánticos más críticos manteniendo la integridad del input.

B. Secuestro de Razonamiento (Reasoning Hijacking)

Esta etapa manipula el proceso de decisión del agente mediante un mecanismo de Reranker (reordenador) adaptativo en tiempo real.

• Fábrica de Datos: Se sintetizan automáticamente triplets de datos de entrenamiento $(contexto, respuesta\_positiva\_envenenada, respuesta\_negativa\_benigna)$ basados en los disparadores extraídos.
• Modelo Reranker: Se entrena un modelo ligero (un codificador SentenceTransformer congelado + una cabeza de puntuación MLP) para reordenar las respuestas candidatas generadas por el agente.
• Funcionamiento: El modelo aprende a asignar puntuaciones más altas a las respuestas que contienen los disparadores maliciosos (aunque el prompt original sea benigno), desviando así la trayectoria de razonamiento del agente hacia una acción no deseada sin que el usuario lo note.

C. Endurecimiento de Restricciones (Constraint Tightening)

Para garantizar que los disparadores sean efectivos, generalizables y estables, se optimizan sus representaciones vectoriales mediante cuatro funciones de pérdida conjuntas:

1. Pérdida de Particularidad ($L_{par}$): Empuja las representaciones de los disparadores lejos de los centros de los clusters de datos benignos normales.
2. Pérdida de Agrupamiento ($L_{clu}$): Asegura que los vectores de los tokens del disparador formen un cluster compacto, mejorando la estabilidad.
3. Pérdida de Separabilidad ($L_{sep}$): Maximiza la tasa de acierto en la recuperación de datos envenenados mientras minimiza la confusión con datos benignos.
4. Pérdida de Margen ($L_{mar}$): Aumenta el margen de discriminación en el espacio vectorial entre la entrada tóxica y cualquier entrada benigna.

3. Contribuciones Clave

1. Enfoque sin modificación de prompts: JailAgent es el primer marco que logra ataques de jailbreak efectivos manipulando la memoria y el razonamiento sin tocar el input del usuario, manteniendo la fluidez y el propósito original.
2. Mecanismo de Adaptación en Tiempo Real: El uso de un Reranker que genera datos de entrenamiento y se ajusta finamente sobre la marcha permite adaptarse a diferentes prompts y contextos dinámicamente.
3. Optimización Conjunta de Restricciones: La introducción de las cuatro funciones de pérdida asegura que los disparadores sean específicos, compactos, separables y tengan un margen de decisión claro, mejorando la robustez del ataque.
4. Evaluación Exhaustiva: Se realizó una prueba sistemática en 3 tipos de agentes (VideoAgent, ReAct-UALA, EHRAgent), 7 núcleos LLM (incluyendo GPT-4o, GPT-5, Llama-3.1, Claude-3.5, etc.) y 8 conjuntos de datos.

4. Resultados Experimentales

Los experimentos demuestran la superioridad de JailAgent frente a métodos baselines como PAIR, AgentPoison y BadChain:

• Tasa de Éxito de Ataque (ASR): JailAgent supera consistentemente a los métodos existentes en todas las métricas (ASR-R para recuperación, ASR-L para logs de ejecución, ASR-H para verificación humana). Por ejemplo, en el dataset MMLU con GPT-5, superó a AgentPoison en un 21.97% en ASR-R.
• Mantenimiento del Rendimiento: A diferencia de otros métodos que degradan significativamente la precisión (ACC) o la tasa de completado (CR) del agente, JailAgent mantiene un rendimiento casi idéntico al estado "sin ataque" (Non-attack), lo que lo hace mucho más sigiloso y difícil de detectar.
• Eficiencia: JailAgent reduce el costo de tiempo por ataque exitoso (TCPS) en un 84.7% comparado con PAIR y un 43.4% comparado con AgentPoison.
• Robustez: El método mantiene su efectividad incluso bajo mecanismos de defensa como filtros de perplejidad (PPL Filter) y RA-LLM, debido a que no altera la estructura semántica del prompt original.

5. Significado e Impacto

Este trabajo es fundamental para la seguridad de los agentes LLM por varias razones:

• Cambio de Paradigma: Demuestra que los ataques a agentes no necesitan depender de la ingeniería de prompts visible, sino que pueden ocurrir a nivel de arquitectura interna (memoria y razonamiento).
• Defensa Proactiva: Al revelar estas vulnerabilidades sutiles, el estudio proporciona una base para desarrollar defensas más robustas que no solo filtren prompts maliciosos, sino que protejan los mecanismos de recuperación de memoria y las trayectorias de razonamiento.
• Evaluación Realista: Ofrece un marco de red-teaming más realista y difícil de mitigar, esencial para asegurar la implementación segura de agentes autónomos en entornos críticos como la medicina y la automatización industrial.

En conclusión, JailAgent representa un avance significativo en la comprensión de las vulnerabilidades de los agentes LLM, demostrando que la manipulación implícita del razonamiento es una amenaza más potente y sigilosa que los ataques tradicionales basados en prompts.