Resumen Técnico: Proteus – Un Equipo Rojo Autoevolutivo para Ecosistemas de Habilidades de Agentes

1. Formulación del Problema: Fuga Adaptativa

El artículo aborda una brecha crítica en la evaluación de seguridad de las habilidades de agentes de Modelos de Lenguaje Grande (LLM). Si bien la investigación existente ha identificado riesgos en habilidades maliciosas estáticas y diseñadas manualmente, en gran medida falla en medir el riesgo residual que permanece cuando un atacante revisa iterativamente una habilidad utilizando retroalimentación de auditores y entornos de ejecución.

Los autores definen la Fuga Adaptativa como el riesgo de despliegue donde un atacante con presupuesto puede revisar iterativamente una habilidad de terceros hasta que simultáneamente:

1. Supera la auditoría estática o basada en LLM.
2. Se ejecuta con éxito en el entorno de ejecución objetivo.
3. Produce daño verificado y detectable por un oráculo.

Las evaluaciones actuales tratan a los auditores como clasificadores de un solo disparo contra entradas fijas. Sin embargo, dado que los auditores de código abierto (por ejemplo, SkillVetter, AI-Infra-Guard) a menudo publican sus conjuntos de reglas y hallazgos, los atacantes pueden reproducir localmente los resultados de la auditoría. Esto crea un canal de "caja gris" donde un atacante puede utilizar hallazgos de auditoría estructurados y trazas de ejecución para refinar su ataque a través de múltiples rondas, una capacidad no capturada por el equipo rojo de un solo disparo o las líneas base de retroalimentación escalar.

2. Metodología: El Marco Proteus

Proteus es un marco de equipo rojo de caja gris y autoevolutivo diseñado para medir la fuga adaptativa. Opera a través de un sistema de bucle cerrado que comprende cuatro componentes acoplados:

A. El Espacio de Ataque de Habilidades de Cinco Ejes

Proteus descompone una variante de habilidad $s$ en una 5-tupla $(o, \tau, c, \kappa, d)$:

• $o$ (Objetivo): La meta del ataque (por ejemplo, exfiltración de datos, escalada de privilegios).
• $\tau$ (Topología): La estructura de la cadena de habilidades (habilidad única o cadena de $k$).
• $c$ (Código): El artefacto ejecutable.
• $\kappa$ (Canal de Efecto Secundario): El mecanismo para el daño (por ejemplo, escritura de archivo, salida de red).
• $d$ (Documentación): La documentación de establecimiento de contexto cargada en el prompt del agente.

B. El Contrato de Ronda de Caja Gris

Cada ronda de evaluación sigue una pipeline agnóstica al defensor: Auditoría $\to$ Caja de Arena $\to$ Oráculo.

• Auditoría: La habilidad se envía a un auditor (por ejemplo, SkillVetter o AI-Infra-Guard).
• Caja de Arena: Si la auditoría es aprobada, la habilidad se ejecuta en un entorno contenerizado (OpenClaw).
• Oráculo: Un juez basado en reglas verifica si la ejecución produjo el efecto secundario objetivo (letalidad).
• Cuadrupla de Retroalimentación: El sistema devuelve una tupla estructurada $\langle b, \ell, F, R \rangle$:
  • $b$: Veredicto booleano de auditoría (¿evadido?).
  • $\ell$: Veredicto booleano de letalidad (¿daño logrado?).
  • $F$: Hallazgos de auditoría estructurados (códigos de razón, severidades, punteros de evidencia).
  • $R$: Trazas/consejos de ejecución (por ejemplo, qué sensores se activaron o bloquearon).

C. Mutador Autoevolutivo

El agente del equipo rojo es un bucle de uso de herramientas basado en LLM que consume la cuadrupla de retroalimentación como información lateral en contexto (un "gradiente verbal") en lugar de una recompensa escalar. Utiliza un catálogo de 12 operadores de mutación (por ejemplo, purpose-coherent-embed, code-offload, thematic-chain-insert) para modificar los cinco ejes de la habilidad.

D. Proceso de Evolución de Tres Capas

Proteus emplea una estrategia de búsqueda anidada:

1. Capa 1 (Descubrimiento Libre): Busca libremente dentro del objetivo principal para encontrar la primera evasión exitosa ($b \land \ell$).
2. Capa 2 (Expansión de Ruta): Tras el éxito, genera implementaciones alternativas del mismo objetivo de ataque (por ejemplo, cambiar cron por temporizadores systemd) sin consumir el presupuesto principal de rondas.
3. Capa 3 (Expansión de Superficie): Transfiere patrones de implementación aprendidos (motivos estructurales) a nuevos objetivos de ataque, probando si el atacante puede generalizar más allá de la semilla inicial.

3. Configuración Experimental

• Auditores: SkillVetter (código abierto, MIT-0) y AI-Infra-Guard (Tencent, Apache-2.0).
• Objetivos: GPT-5.4-mini y GLM-5.
• Mutadores: DeepSeek-V4-Pro y Kimi-2.6.
• Semillas: 20 habilidades semilla maliciosas generadas mediante composición de cadenas guiada por grafos sobre un grafo de habilidades de 47k nodos (ClawHub).
• Presupuesto: $T=5$ rondas para la Fase-1; expansión fuera de presupuesto para la Fase-2.

4. Resultados Clave

Fase-1: Evasión Iterativa

En ocho celdas de configuración, Proteus logró una Tasa de Éxito del Ataque (ASR@5) del 40–90%.

• Curvas de Aprendizaje: Proteus demostró pendientes positivas de curva de aprendizaje (LCS), indicando que las tasas de éxito aumentaron significativamente con cada ronda de retroalimentación.
• Comparación con Línea Base:
  • Línea Base de Caja Negra: Cuando se proporcionó solo un veredicto escalar de aprobado/rechazado (sin hallazgos estructurados), la tasa de éxito se estabilizó en ~43% con una pendiente de aprendizaje insignificante.
  • PyRIT: Una herramienta estándar de equipo rojo externa (solo reescritura narrativa) logró solo 5/20 semillas exitosas, destacando la necesidad de mutar código y topología, no solo documentación.
• Rendimiento del Auditor: El auditor más fuerte, AI-Infra-Guard, redujo las tasas de éxito entre 10 y 30 puntos porcentuales en comparación con SkillVetter, pero Proteus aún logró hasta un 41.3% de éxito contra él.

Fase-2: Expansión de Ruta y Superficie

Tras encontrar una variante exitosa, Proteus expandió la superficie de ataque:

• Total de Variantes: Generó 438 variantes que evadían conjuntamente y eran letales.
• SkillVetter: Evadido en $\ge 93\%$ en cada celda de expansión.
• AI-Infra-Guard: Aún admitió entre el 25 y el 41% de las variantes.
• Expansión de Superficie: El agente transfirió con éxito patrones de ataque a nuevos objetivos (por ejemplo, pasar de persistencia a exfiltración de datos) utilizando motivos estructurales compartidos, demostrando generalización emergente.

Transferencia Cruzada entre Auditores

Un hallazgo crítico es la transferibilidad de los ataques aprendidos. El 87.7% de las variantes evolucionadas contra el más fuerte AI-Infra-Guard también evadieron SkillVetter sin ninguna mutación nueva. Esto sugiere que la fuga adaptativa no es específica del auditor, sino que representa una vulnerabilidad fundamental en el paradigma de revisión de habilidades.

5. Significado y Afirmaciones

El artículo afirma que la revisión actual de habilidades subestima sustancialmente el riesgo residual cuando se evalúa frente a atacantes adaptativos impulsados por retroalimentación.

• Brecha de Medición: Los estudios de seguridad existentes tratan a los auditores como clasificadores estáticos. Proteus demuestra que cuando un atacante tiene acceso a retroalimentación estructurada (el canal de "caja gris"), puede refinar iterativamente los ataques para evadir tanto el análisis estático como las verificaciones narrativas basadas en LLM.
• El "Gradiente Verbal": El estudio valida empíricamente que el uso de hallazgos de auditoría estructurados como información lateral en contexto es significativamente más efectivo que las recompensas escalares. Colapsar la retroalimentación a un veredicto binario reduce la pendiente de aprendizaje en un orden de magnitud.
• Vulnerabilidad de Canal Dual: Los resultados destacan que la combinación de ejecución de código y documentación de establecimiento de contexto crea una superficie de ataque dual. Los ataques exitosos a menudo requieren mutaciones coordinadas a través de múltiples ejes (por ejemplo, reescribir la narrativa para que coincida con el código mientras se descarga la carga útil a un binario).
• Riesgo del Ecosistema: La alta tasa de transferencia cruzada entre auditores implica que las vulnerabilidades descubiertas contra un auditor probablemente persistan en otros, sugiriendo un riesgo sistémico en el ecosistema de habilidades de agentes que no puede resolverse simplemente cambiando de auditor.

Los autores concluyen que la fuga adaptativa es una amenaza medible y significativa que requiere nuevos mecanismos de defensa capaces de manejar adversarios iterativos impulsados por retroalimentación, en lugar de depender de auditorías estáticas de un solo disparo.