When Local Monitors Miss Compositional Harm: Diagnosing Distributed Backdoors in Multi-Agent Systems

Resumen Técnico: Cuando los monitores locales pasan por alto la composición de daños

Definición del Problema
El artículo aborda una brecha fundamental en la seguridad de los sistemas de modelos de lenguaje de gran tamaño (LLM) multi-agente que utilizan herramientas. Las defensas en tiempo de ejecución actuales emplean típicamente monitores locales que inspeccionan mensajes, llamadas a herramientas o pasos individuales de forma aislada para detectar intenciones maliciosas. Los autores argumentan que este enfoque tiene un "agujero fundamental" al enfrentarse a backdoors distribuidas. En tales ataques, una carga útil maliciosa se divide entre múltiples agentes y pasos. Aunque el resultado ensamblado es malicioso (por ejemplo, código ejecutable que exfiltra credenciales), cada fragmento individual parece benigno para un monitor local.

El problema central no es simplemente la división del ataque, sino la benignidad local de los fragmentos. Si cada fragmento parece tráfico ordinario y benigno y no contiene tokens o bordes de procedencia sospechosos, un monitor local no puede distinguirlo del tráfico seguro, independientemente de la fuerza del detector. El daño existe únicamente en la composición de los fragmentos.

Metodología y Formalización
Los autores formalizan esta limitación como un límite de observabilidad. Definen la capacidad de un monitor basándose en su ventana de observación (qué ve: un solo fragmento, el conjunto completo de fragmentos o el objeto ensamblado) y si puede acceder a la representación decodificada de dicho objeto.

• Condiciones Formales: Un ataque se considera "localmente benigno" si cada fragmento $x_i$ es benigno en la vista $v$ del monitor ($h(v(x_i)) = 0$), pero el objeto ensamblado $C(x_1, \dots, x_K)$ es malicioso ($h(C) = 1$).
• Indistinguibilidad: El artículo introduce la $\epsilon$-indistinguibilidad local, donde la distancia de variación total entre la distribución de fragmentos benignos y fragmentos de ataque en la vista del monitor es pequeña ($\le \epsilon$).
• Límite Teórico (Proposición 1): Los autores demuestran que si los fragmentos son $\epsilon$-localmente indistinguibles, ninguna regla de decisión que opere únicamente sobre una observación local única puede lograr una ventaja de detección (Tasa de Verdaderos Positivos menos Tasa de Falsos Positivos) mayor que $\epsilon$. Esto implica que fortalecer el clasificador local es inútil si la ventana de observación no cambia.

Configuración Experimental
El estudio utiliza un banco de pruebas controlado llamado Collaborative Shadows, junto con benchmarks externos como R-Judge, AgentDojo y DemonAgent.

• Barrido de Localidad: Los autores controlan la visibilidad de la evidencia del ataque dentro de los fragmentos, variando desde "bordes visibles" (por ejemplo, rutas claras de datos de origen a destino) hasta fragmentos "localmente benignos" donde se han eliminado todas las pistas.
• Tipos de Monitor: Evalúan varios monitores:
  • Local: Detectores estadísticos por paso, análisis de mancha (taint analysis) (seguimiento del flujo de datos).
  • Ensamblaje: Monitores que ven el objeto ensamblado pero no la decodificación (basados en marcadores, sin marcadores, ciegos al codec).
  • Decodificado: Una "puerta de vista decodificada" (decoded-view gate) que decodifica la carga útil antes de la ejecución (utilizada como techo de diagnóstico, no como defensa desplegable).
• Cargas Útiles (Payloads): El enfoque principal es el ensamblaje de carga útil de código estructurado (por ejemplo, scripts de Python para la exfiltración de credenciales) dividido en $K=3$ fragmentos ocultos dentro de portadores de informes benignos.

Resultos Clave

1. Los monitores locales fallan ante fragmentos benignos: A medida que los fragmentos se vuelven localmente benignos (perdiendo tokens sospechosos o bordes visibles), los monitores por paso y las comprobaciones de mancha colapsan hacia un rendimiento de azar (AUROC $\approx 0.5$). Esto se mantiene incluso para detectores neuronales pre-entrenados fuertes (por ejemplo, en AgentDojo).
2. La división no es la causa: El fallo no se debe al acto de dividir en sí, sino a la eliminación de evidencia utilizable de la vista local. Si los fragmentos retienen artefactos sospechosos, los monitores locales aún pueden detectarlos.
3. Recuperación mediante ensamblaje: La "señal faltante" reaparece solo cuando el monitor observa el objeto ensamblado.
   • Un monitor de ensamblaje sin marcadores (entrenado solo con tráfico benigno usando un bosque de aislamiento de una clase) recupera con éxito la estructura del ataque a través de familias de codificación no vistas, logrando un AUROC medio de 0.874. Detecta el ataque basándose en la densidad de la estructura del código y la capacidad de parseo parcial, sin necesidad de conocer la codificación específica o los marcadores.
   • Un monitor de ensamblaje supervisado logra una separación perfecta (AUROC 1.000).
4. La representación es crítica: Simplemente ampliar la ventana de observación (ver todos los fragmentos) es insuficiente si la representación sigue siendo codificada.
   • Los monitores ciegos al codec (que ven todos los fragmentos pero no pueden decodificar) fallan en bloquear ataques (el ASR permanece alto).
   • Las puertas de vista decodificada (a las que se les da la familia de codificación) bloquean el 100% de los ataques en todos los modelos probados.
   • Los intentos de usar LLMs para reconstruir la carga útil sin conocimiento del codec (búsqueda sin codec) funcionan cerca del azar, fallando en producir una representación decodificada y calibrada.
5. Generalizabilidad: El límite se mantiene a través de diferentes tamaños de modelo (de Llama-3.1-8B a Qwen2.5-32B) y diferentes codecs de ataque (incluyendo el cifrado dinámico de DemonAgent, publicado independientemente). Sin embargo, el mecanismo de recuperación específico (análisis de estructura de código) no se transfiere a cargas útiles que no sean de código (por ejemplo, instrucciones de lenguaje natural), donde la señal cae por debajo del azar.

Significado y Reivindicaciones
El artículo afirma que la seguridad local no es la seguridad global cuando el daño es composicional. La contribución principal es la identificación del límite de observabilidad: un monitor no puede detectar un ataque si los fragmentos son localmente indistinguibles del tráfico benigno en su vista específica.

• Valor Diagnóstico: Altas tasas de detección local no garantizan la seguridad contra ataques composicionales. La evaluación debe considerar si el monitor ve la representación donde se forma el daño.
• Implicaciones de Defensa: La solución no es un clasificador local más fuerte, sino un cambio en la ventana de observación para recuperar la representación ensamblada.
• Problema Abierto: El artículo concluye que el desafío abierto es encontrar la representación correcta para la detección más allá de los daños tipo código (por ejemplo, en planes, creencias o compromisos de lenguaje natural) y hacerlo sin requerir un decodificador oráculo. El éxito actual se limita a escenarios donde la carga útil ensamblada expone una estructura recuperable (como el código).

Los autores enfatizan que su trabajo es defensivo, con el objetivo de diagnosticar cuándo los monitores pierden evidencia, y aclaran que no proponen nuevas capacidades encubiertas ni resuelven el problema de la reensambladura de lenguaje natural totalmente encubierta.