Conjunctive Prompt Attacks in Multi-Agent LLM Systems

Resumen Técnico: Ataques de Prompt Conyugados en Sistemas Multi-Agente de LLM

1. El Problema: Vulnerabilidades Estructurales en Sistemas Multi-Agente

La mayoría de las investigaciones actuales sobre seguridad en Grandes Modelos de Lenguaje (LLM) se centran en agentes individuales (modelos de chat). Sin embargo, las aplicaciones reales dependen cada vez más de sistemas multi-agente, donde múltiples agentes especializados colaboran mediante descomposición de tareas, comunicación y uso de herramientas.

El artículo identifica una superficie de ataque crítica que las evaluaciones de un solo agente pasan por alto: la segmentación del prompt y el enrutamiento inter-agente.

• La Amenaza: Se introduce un modelo de amenaza de "cadenas de suministro" donde un agente remoto (una "caja negra" para el cliente) ha sido comprometido con una plantilla adversaria oculta.
• La Vulnerabilidad Conyugada: Un ataque exitoso no ocurre por un solo componente malicioso. Requiere la conyunción de dos elementos que parecen benignos por separado:
  1. Una clave de activación (trigger key) insertada en la consulta del usuario.
  2. Una plantilla inyectada dentro del agente remoto comprometido.
• El Mecanismo: El comportamiento dañino solo se activa cuando el mecanismo de enrutamiento del sistema dirige el segmento que contiene la clave hacia el agente comprometido específico. Si la clave va a un agente benigno, o si el agente comprometido recibe una consulta sin la clave, el sistema permanece seguro. Esto evade las defensas tradicionales que inspeccionan mensajes de forma aislada.

2. Metodología y Marco de Trabajo

Los autores proponen un marco de ataque y optimización que opera puramente a nivel de prompt, sin modificar los pesos del modelo ni el agente cliente.

A. Modelo de Amenaza:

• Adversario: Controla la ubicación de la clave de activación en la consulta del usuario y la inserción de una plantilla oculta en un agente remoto específico. No tiene acceso a los pesos del modelo ni al agente orquestador (cliente).
• Topologías: El estudio evalúa tres topologías de comunicación comunes: Estrella (cliente a todos), Cadena (secuencial) y DAG (Grafo Acíclico Dirigido).
• Condición de Activación: El ataque solo tiene éxito si existe un segmento $s_j$ que contiene la clave $k$ Y es enrutado al agente comprometido $a^*$.

B. Optimización Consciente del Enrutamiento (Routing-Aware Optimization):
Dado que el enrutamiento es estocástico y los modelos son cajas negras, optimizar directamente la tasa de éxito (ASR) es imposible. Los autores desarrollan un objetivo sustituto diferenciable:

1. Variables de Optimización:
   • $j$: Posición de la clave en los segmentos del prompt.
   • $\tau$: Posición de la plantilla inyectada (prefijo, envoltura o sufijo) en el agente comprometido.
   • $\rho$: Sesgo de enrutamiento (un parámetro que modela cómo ciertas características del prompt influyen en la probabilidad de ser enrutado al agente comprometido).
2. Función de Pérdida: Se define un objetivo que maximiza la probabilidad de conyunción ($Proute \times Ptemplate$) mientras penaliza las activaciones falsas (cuando la clave o la plantilla actúan solas) y fomenta la exploración mediante entropía.
3. Proceso: Se utiliza relajación Gumbel-Softmax para optimizar estas variables discretas de manera diferenciable, decodificando luego la configuración óptima para su evaluación en el entorno real.

3. Contribuciones Clave

1. Formalización de una Amenaza Realista: Definen un modelo de amenaza de "caja negra" donde el compromiso surge de la interacción entre un disparador del lado del usuario y una plantilla manipulada en un agente remoto, sin necesidad de modificar el código o los pesos del modelo.
2. Marco de Optimización a Nivel de Prompt: Desarrollan un método que optimiza la colocación de claves, plantillas y el sesgo de enrutamiento para maximizar la probabilidad de que los componentes "benignos" se alineen en el agente correcto.
3. Evaluación Empírica de la Transferencia: Demuestran que estos ataques son transferibles a través de diferentes topologías (Estrella, Cadena, DAG) y diferentes modelos base (Gemma, Mistral, LLaMA), y que las defensas existentes fallan sistemáticamente.

4. Resultados Experimentales

Los experimentos se realizaron en un entorno controlado con múltiples modelos de fondo (Gemma-2B, Mistral-7B, LLaMA3-8B) y topologías variadas.

• Eficacia del Ataque Optimizado:

  • Sin optimización: La tasa de éxito (ASR) es baja y esporádica, dependiendo de eventos de enrutamiento afortunados.
  • Con optimización completa: La ASR aumenta drásticamente, alcanzando un 100% (1.0) en muchos escenarios, incluso en topologías complejas como DAG.
  • Baja Falsas Positivas: El ataque mantiene una tasa de activación cercana a cero en los regímenes "solo clave", "solo plantilla" o "limpio", confirmando que los componentes individuales siguen siendo benignos.

• Fallo de las Defensas Existentes:

  • Se evaluaron mecanismos de seguridad como PromptGuard y variantes de Llama-Guard.
  • Resultado: Bajo ataques "Vanilla" (sin optimizar), algunas defensas detectan un porcentaje de ataques. Sin embargo, bajo optimización completa, el rendimiento de detección de todas las defensas colapsa (la puntuación F1 cae drásticamente).
  • Causa: Las defensas actuales inspeccionan prompts o salidas de forma aislada. No pueden detectar la amenaza porque ninguna pieza individual (ni la consulta del usuario ni la plantilla del agente) parece maliciosa por sí sola. La maldad es emergente y depende de la composición cruzada de agentes.

• Sensibilidad a la Topología:

  • La topología afecta significativamente la probabilidad de éxito. Las topologías en cadena y DAG introducen incertidumbre acumulativa en el enrutamiento. La optimización consciente del enrutamiento es crucial para superar estas barreras y asegurar que la clave llegue al agente correcto.

5. Significado e Implicaciones

Este trabajo expone una vulnerabilidad estructural fundamental en los pipelines de LLMs agénticos:

1. Ceguera en las Evaluaciones Actuales: Las evaluaciones de seguridad centradas en un solo agente o en prompts aislados son insuficientes. Un sistema puede parecer seguro bajo inspección local, pero ser explotable a través de la interacción entre agentes.
2. Necesidad de Nuevas Defensas: Las defensas deben evolucionar desde la inspección de mensajes individuales hacia el razonamiento sobre el enrutamiento y la composición cruzada. Se sugieren direcciones como:
   • Rastreo de procedencia (provenance) a través de agentes.
   • Monitoreo de trazas de enrutamiento.
   • Modelos de guardia que consideren el contexto de la comunicación inter-agente y no solo el contenido del prompt.
3. Riesgo de Cadena de Suministro: El estudio demuestra que incluso si el agente cliente y el modelo base son seguros, un único agente remoto comprometido (o una plantilla inyectada en él) puede convertir todo el sistema en una amenaza si el enrutamiento permite la alineación con un disparador específico.

En conclusión, el artículo advierte que a medida que los sistemas de IA se vuelven más descentralizados y colaborativos, la seguridad debe abordar no solo la robustez de los modelos individuales, sino también la dinámica de interacción y enrutamiento que puede ser explotada para activar comportamientos dañinos de manera conyugada.