Resumen Técnico: OpenART: Escalamiento del Red Teaming de Agentes mediante la Evolución de Entornos de Bucle Abierto

Declaración del Problema

Los agentes de IA operan cada vez más en entornos persistentes donde las acciones mediadas por herramientas modifican continuamente el estado compartido, los datos, los permisos y los recursos externos a lo largo de flujos de trabajo de largo horizonte. A diferencia de las interacciones convencionales de modelos de lenguaje, el comportamiento del agente está acoplado a través de un entorno en evolución que es observado, actualizado y reutilizado repetidamente. Esta persistencia altera fundamentalmente la naturaleza de la seguridad de la IA: una acción que parece benigna de forma aislada puede introducir un cambio de estado latente que se propaga a través de futuras interacciones, manifestándose como un comportamiento dañino mucho más tarde. En consecuencia, los fallos de seguridad se convierten en propiedades de toda la trayectoria de interacción en lugar de acciones individuales.

Los benchmarks de seguridad de agentes existentes evalúan principalmente tareas estáticas y cortas o entornos que son reajustables, ofreciendo una cobertura limitada de la manipulación de estado persistente, la propagación de ataques retardados y los fallos de seguridad de largo alcance. Además, las interfaces específicas de cada benchmark dificultan la comparación directa entre diferentes tiempos de ejecución (runtimes) de agentes y modelos fundacionales. Existe una necesidad crítica de un marco escalable que trate al entorno ejecutable, en lugar de a los prompts aislados, como la unidad fundamental del red teaming.

Metodología: El Marco OpenART

OpenART aborda estas limitaciones introduciendo una arena de gran escala para la evaluación de la seguridad de agentes centrada en la evolución controlada del entorno. El marco opera a través de tres etapas primarias:

1. Construcción de Escenarios

OpenART construye más de 10,000 especificaciones de escenarios validadas que abarcan 50 dominios, sintetizadas a partir de un corpus de capacidades de más de 500,000 Herramientas, MCPs (Protocolos de Contexto de Modelo) y Habilidades.

• Diseño: Un escenario se define como un contrato de evaluación agnóstico al objetivo que comprende un objetivo de tarea benigna, un entorno ejecutable (estado inicial) y un contrato de seguridad oculto.
• Validación: Los escenarios solo se admiten tras pasar un evaluador determinista con sondas de comportamiento automatizadas. Esto asegura que el flujo de trabajo sea ejecutable y que el evaluador distinga de manera fiable la finalización segura de la tarea de la filtración insegura.
• Complejidad: Las tareas resultantes requieren una mediana de 97 llamadas a herramientas, superando significativamente la complejidad de los benchmarks previos (por ejemplo, 1–15 llamadas en los benchmarks existentes).

2. Proyección de Tiempo de Ejecución Trans-Agente

Para permitir una evaluación unificada, OpenART emplea adaptadores ligeros y específicos para el objetivo ($\psi_r$) que proyectan el escenario compartido en las interfaces nativas de los agentes desplegados.

• Agnosticismo al Objetivo: La semántica del escenario y el evaluador permanecen fijos, mientras que los adaptadores mapean el estado compartido a las instrucciones, capacidades y superficies de estado (por ejemplo, espacio de trabajo, memoria, planes) soportadas por cada agente.
• Cobertura: El marco evalúa 15 agentes desplegados (incluyendo OpenCode, Aider, Claude Code, etc.) emparejados con 5 modelos fundacionales (GPT-5.5, Claude-Opus-4.8, GLM-5.2, Qwen-3.7-Max, DeepSeek-V4-Pro), resultando en 75 configuraciones distintas de agente–modelo.
• Vectores de Ataque: El sistema expone ocho superficies de estado visibles para el objetivo: Espacio de Trabajo, Instrucciones, Habilidades, Herramientas, MCPs, Memoria a Corto Plazo, Estado del Plan y Memoria a Largo Plazo.

3. Evolución Controlada del Entorno (EMHA)

El protocolo central de red teaming consiste en evolucionar únicamente el estado del entorno visible para el objetivo, manteniendo sin cambios el objetivo de la tarea benigna y el contrato de seguridad. Esto se instancia mediante la Evolución de Ataque de Hipergrafo de Markov (EMHA).

• Política de Caja Negra: EMHA es una política de referencia que realiza la evolución del entorno basada en la retroalimentación sin actualizar los parámetros del modelo ($\theta_{t+1} = \theta_t$). Se basa en el aprendizaje en contexto y la gestión de estado externo.
• Recorrido de Hipergrafos: Los cambios coordinados en el entorno se modelan como un hipergrafo donde los vértices representan subobjetivos de ataque y las hiperaristas conectan prerrequisitos con sucesores. EMHA muestrea rutas a través de este grafo para proponer transiciones de estado.
• Bucle de Retroalimentación: Después de cada ejecución, un evaluador proporciona retroalimentación ($Y_t$). EMHA utiliza esta retroalimentación para actualizar una función de valor para las transiciones, guiando la selección de rutas futuras para maximizar la Tasa de Éxito de Ataque (ASR) dentro de un presupuesto. Utiliza una búsqueda evolutiva guiada por archivos (similar a MAP-Elites) para mantener una población diversa de estrategias de ataque.

Contribuciones Clave

1. Arena OpenART: Una arena de gran escala y de bucle abierto para el red teaming de agentes que desplaza la unidad de evaluación de seguridad de los prompts aislados a entornos ejecutables y en evolución. Proporciona una base compartida para estudiar la seguridad de los agentes bajo condiciones realistas y con estado.
2. Representación Agnóstica al Objetivo: Una novedosa representación de escenarios y adaptadores de tiempo de ejecución ligeros que preservan la semántica de la tarea y los criterios de evaluación a través de agentes, modelos e interfaces heterogéneas.
3. Algoritmo EMHA: Una formulación de la evolución del entorno como un problema de optimización de caja negra, instanciada con una política sin parámetros y basada en la retroalimentación que modela las transiciones de estado coordinadas como un recorrido de hipergrafos.
4. Evaluación Exhaustiva: Un estudio sistemático a través de 75 configuraciones de agente–modelo que revela cómo la complejidad del entorno y la implementación del agente determinan conjuntamente los resultados de seguridad.

Resultados Experimentales

La evaluación se llevó a cabo a través de 75 configuraciones de agente–modelo utilizando los 10,000 escenarios validados.

• Tasa de Éxito de Ataque (ASR): EMHA logró un ASR Estricto agrupado del 85.0%. Un ataque estricto se cuenta como exitoso solo si tanto el evaluador determinista como un juez de LLM (GLM-5.2) identifican la condición de ataque.
• Impacto de la Complejidad: La ventaja de la evolución completa del entorno sobre la evolución de solo instrucciones está altamente correlacionada con la complejidad del escenario. En entornos simples, la ganancia es de 1.8–2.7%, pero en los entornos más complejos, aumenta a 17.2–17.6%. Esto demuestra que los flujos de trabajo de largo horizonte amplifican el impacto de la evolución del estado persistente.
• Rol de la Implementación del Agente: Mientras que la identidad del modelo fundacional explica el 73.6% de la variación del ASR, la incorporación de la identidad del agente objetivo explica un 7.6% adicional de la variación más allá de los controles de modelo y capacidad. Esto sugiere que la implementación del tiempo de ejecución juega un papel significativo en la seguridad del agente.
• Estudios de Ablación:
  • Restricción de Vectores: La evolución del espacio de trabajo por sí sola logró un ASR del 92.5%, superando la evolución de solo instrucciones por un 10.9%.
  • Mecanismos de Búsqueda: Eliminar los mecanismos de archivo o de redistribución de crédito redujo el ASR en un 3.9% y un 2.6% respectivamente, confirmando su importancia para refinar las estrategias.
• Dinámicas de Propagación: El análisis de 10,000 trayectorias reveló que los fallos de seguridad suelen emerger tras una distancia de propagación mediana de 37 acciones del objetivo. La latencia mediana entre el consumo de un estado evolucionado y la producción de una salida insegura es el 41% del flujo de trabajo, lo que indica que las evaluaciones estáticas pasan por alto vulnerabilidades que solo se manifiestan tras horizontes de ejecución prolongados.

Significado y Reivindicaciones

El artículo afirma que OpenART establece una base escalable para estudiar la seguridad de los agentes en entornos complejos y en evolución. El significado principal radica en demostrar que la seguridad de los agentes no puede caracterizarse completamente mediante evaluaciones cortas, estáticas o centradas en el modelo.

Los hallazgos clave destacados por los autores incluyen:

• La Evolución del Entorno como Factor Crítico: Los fallos de seguridad son propiedades de la trayectoria de interacción. A medida que la complejidad de la tarea crece, la capacidad de evolucionar el entorno expone sustancialmente más vulnerabilidades que las pruebas estáticas.
• La Implementación Importa: La seguridad está determinada conjuntamente por la complejidad del entorno y la implementación específica del agente (runtime), no solo por el modelo fundacional subyacente.
• Vulnerabilidades Recurrentes: El estudio identifica tres modos de fallo recurrentes en los agentes actuales:
  1. Suposiciones Obsoletas: Los agentes fallan al no invalidar las suposiciones formadas anteriormente cuando el entorno cambia (por ejemplo, deriva de referente de plan, revinculación de capacidades).
  2. Decisiones de Seguridad Propagadas: Los agentes difieren los juicios de seguridad a componentes posteriores en lugar de recomputarlos a medida que el contexto cambia.
  3. Riesgo Composicional: El comportamiento inseguro emerge de la interacción de múltiples cambios individualmente benignos a lo largo de flujos de trabajo extensos.

Los autores concluyen que las evaluaciones de seguridad futuras deben tener en cuenta las interacciones de largo horizonte entre los agentes y sus entornos en evolución para evaluar y mitigar los riesgos con precisión.