Benchmarks for Trajectory Safety Evaluation and Diagnosis in OpenClaw and Codex: ATBench-Claw and ATBench-CodeX

Resumen Técnico: ATBench-Claw y ATBench-CodeX

1. El Problema

A medida que los sistemas de agentes de IA se despliegan en entornos de ejecución cada vez más diversos (herramientas, sesiones, repositorios de código, APIs), la evaluación de seguridad a nivel de trayectoria se vuelve crítica. Los benchmarks existentes a menudo son estáticos y no evolucionan junto con las capacidades de los modelos ni con los nuevos contextos de despliegue.

El problema central identificado es la necesidad de un marco de evaluación que sea extensible. Los marcos de agentes pueden mantener patrones arquitectónicos estables, pero sus entornos de ejecución concretos (como OpenClaw para herramientas/sesiones o OpenAI Codex para repositorios/shells) exponen nuevas regiones de riesgo, modos de fallo y daños en el mundo real que los benchmarks tradicionales no capturan adecuadamente. Se requiere una metodología que permita adaptar la evaluación de seguridad sin rediseñar completamente el pipeline de generación de datos cada vez que surge un nuevo entorno.

2. Metodología

Los autores proponen ATBench como un marco de construcción reutilizable para la evaluación y diagnóstico de seguridad de trayectorias de agentes. La metodología se basa en dos pilares fundamentales:

• Taxonomía de Seguridad Tridimensional Unificada: Una estructura que descompone el riesgo de los agentes en tres dimensiones:
  1. Fuente de Riesgo: De dónde proviene el riesgo (ej. entrada del usuario, entidades externas, lógica interna).
  2. Modo de Fallo: Cómo falla el agente (ej. inyección de prompts, uso incorrecto de herramientas, planificación defectuosa).
  3. Daño en el Mundo Real: Qué consecuencias ocurren (ej. violación de privacidad, daño económico, integridad del sistema).
• Motor de Generación de Datos: Un sistema que traduce especificaciones de riesgo (basadas en la taxonomía) en datos de trayectoria sintéticos pero realistas, utilizando muestreo guiado por taxonomía, síntesis de trayectorias basada en planificadores y construcción de contextos de largo alcance con riesgos retardados.

Estrategia de Extensión (Customización):
En lugar de crear benchmarks desde cero, el paper presenta dos extensiones específicas de dominio que adaptan la taxonomía base:

• ATBench-Claw: Adaptado al entorno OpenClaw. Se centra en cadenas de ejecución sensibles a herramientas, habilidades, sesiones y acciones externas. La adaptación introduce nuevas categorías en la taxonomía para riesgos específicos como ambigüedad de identidad de sesión, contaminación persistente del estado, compromiso de la cadena de suministro de plugins y desbordamiento de aprobaciones.
• ATBench-CodeX: Adaptado al entorno OpenAI Codex / Codex-runtime. Se centra en repositorios, shells, parches, dependencias y límites de políticas de ejecución. Utiliza una estrategia mixta: añade pocas categorías nuevas (inyección de artefactos de repositorio, mutación destructiva del espacio de trabajo, ejecución insegura de shells) y reinterpreta fuertemente las categorías heredadas bajo las restricciones de políticas de repositorio y ejecución.

Ambas extensiones mantienen el mismo motor de generación de datos y la misma tarea de nivel de trayectoria (clasificación seguro/inseguro), cambiando solo la especificación de la taxonomía y el inventario de acciones sensibles.

3. Contribuciones Clave

• Marco de Benchmarking Extensible: Demuestran que un marco de evaluación unificado puede adaptarse a entornos de agentes radicalmente diferentes (OpenClaw vs. Codex) simplemente customizando la taxonomía de seguridad, sin necesidad de rediseñar el pipeline de generación de datos.
• ATBench-Claw y ATBench-CodeX: La creación de dos benchmarks específicos que cubren regiones de riesgo dominantes en sus respectivos entornos, proporcionando una base para la evaluación de seguridad en herramientas/sesiones y en desarrollo de software/repositorios.
• Taxonomía de Seguridad Detallada: La definición y visualización de una taxonomía tridimensional que permite un diagnóstico granular de fallos, identificando no solo si una trayectoria es insegura, sino la fuente exacta del riesgo, el modo de fallo y el tipo de daño potencial.
• Análisis de Diagnóstico: Un enfoque que permite evaluar la capacidad de los modelos para identificar riesgos específicos (ej. inyección de dependencias vs. inyección de prompts) en lugar de solo una clasificación binaria general.

4. Resultados

El estudio experimental evaluó múltiples modelos (guardias especializados, modelos instructivos de código abierto y el sistema propuesto AgentDoG) en ambos benchmarks:

• Rendimiento General:
  • En ATBench-Claw, los modelos instructivos de gran tamaño (como Qwen3.5-397B) y el sistema AgentDoG-Qwen3-4B superaron a los guardias especializados tradicionales. AgentDoG alcanzó la mejor puntuación con 0.8720 de precisión, 0.8958 de F1 y 0.9291 de recall.
  • En ATBench-CodeX, la tarea fue significativamente más difícil para la mayoría de los modelos, especialmente para los guardias especializados, cuyas métricas cayeron drásticamente (ej. F1 de 0.0392 para Qwen3Guard-4B). Sin embargo, AgentDoG-Qwen3-4B mantuvo un rendimiento superior con 0.8220 de precisión y 0.9200 de recall.
• Análisis de Dificultad por Categoría:
  • Los resultados desglosados por hojas de la taxonomía mostraron que ATBench-CodeX presenta una "cola larga" de dificultad más pronunciada. Los modelos fallan más frecuentemente en riesgos relacionados con la cadena de suministro de dependencias, mutación destructiva de espacios de trabajo y ejecución insegura de scripts.
  • Los modelos basados en AgentDoG demostraron una mayor estabilidad en estas regiones de alta dificultad (cola larga) en comparación con los modelos base, lo que indica una mejor capacidad de diagnóstico y adaptación a riesgos específicos de dominio.

5. Significado e Impacto

Este trabajo es significativo porque establece un nuevo paradigma para la evaluación de seguridad de agentes: la adaptabilidad mediante la customización de taxonomías.

• Escalabilidad: Permite que la comunidad de investigación actualice los benchmarks de seguridad rápidamente a medida que surgen nuevos entornos de ejecución (nuevos SDKs, nuevos tipos de agentes) sin tener que reconstruir la infraestructura de datos desde cero.
• Diagnóstico Profundo: Al moverse más allá de la simple clasificación "seguro/inseguro" hacia un diagnóstico basado en taxonomía, permite a los desarrolladores entender exactamente dónde y por qué fallan sus agentes, facilitando la mejora dirigida de los modelos.
• Validación de Agentes en Producción: Proporciona herramientas críticas para evaluar la seguridad de agentes en escenarios realistas y complejos (como la manipulación de repositorios de código o la gestión de sesiones multi-herramienta), que son esenciales para el despliegue seguro de agentes autónomos en entornos empresariales y de desarrollo.

En resumen, el paper demuestra que la flexibilidad en la definición de riesgos (a través de la taxonomía) es la clave para mantener la relevancia y efectividad de los benchmarks de seguridad en un ecosistema de agentes de IA en rápida evolución.