Resumen Técnico: VERA – Pruebas de Seguridad para Agentes LLM a Escala

1. Planteamiento del Problema

Los agentes de Modelos de Lenguaje de Gran Escala (LLM) se están desplegando cada vez más para realizar acciones autónomas mediante herramientas externas en dominios como el desarrollo de software, los servicios empresariales y la computación personal. Si bien esta autonomía extiende las capacidades más allá de la generación de texto, introduce riesgos de seguridad complejos y en evolución, incluyendo la exposición de datos sensibles, modificaciones no autorizadas del sistema y la ejecución de código inseguro.

Los métodos de evaluación de seguridad existentes sufren tres limitaciones primarias:

1. Estáticos y Dependientes de Expertos: Los benchmarks actuales dependen de escenarios diseñados por expertos y categorías de riesgo predefinidas, lo que impide seguir el ritmo de la rápida evolución de las capacidades de los agentes y los ecosistemas de herramientas.
2. Falta de Verificación Basada en la Realidad (Grounded Verification): Muchos enfoques confunden una solicitud insegura o una declaración textual de intención con una violación de seguridad realizada. A menudo dependen de autoinformes del modelo o de jueces basados en LLM para verificar los resultados, en lugar de observar los efectos reales de las acciones ejecutadas en el entorno.
3. Escalabilidad y Mantenibilidad Deficientes: Los marcos existentes acoplan estrechamente las definiciones de riesgo, las implementaciones del entorno y los procedimientos de verificación. Extender la cobertura a nuevos riesgos o arquitecturas de agentes requiere modificaciones coordinadas en múltiples capas del sistema, lo que hace que la construcción de conjuntos de datos de seguridad sea costosa y difícil de mantener.

Además, adaptar los paradigmas tradicionales de pruebas de software a los agentes es un desafío porque la planificación del agente, la selección de herramientas y la evolución del estado son no deterministas en tiempo de ejecución, a diferencia de los mapeos de entrada-salida deterministas que se asumen en las pruebas de software estándar.

2. Metodología: El Marco VERA

Para abordar estos desafíos, los autores presentan VERA, un marco de pruebas de seguridad automatizado de extremo a extremo que instancia principios de pruebas de ingeniería de software para agentes no deterministas. VERA opera a través de un pipeline de tres etapas y autorreforzado:

A. Exploración Continua de Riesgos

En lugar de depender de taxonomías estáticas, VERA emplea un proceso de exploración impulsado por la literatura para descubrir y estructurar continuamente los riesgos emergentes.

• Proceso: Un "Agente de Resumen" procesa iterativamente la literatura de investigación (por ejemplo, de arXiv) para construir y consolidar taxonomías de Riesgos de Seguridad (consecuencias dañinas), Métodos de Ataque (mecanismos de inducción) y Entornos (contextos de ejecución de herramientas).
• Mecanismo: El sistema utiliza un operador de actualización para crear nuevos nodos, fusionar variaciones terminológicas o eliminar conceptos no soportados, asegurando que las taxonomías converjan en estructuras estables que reflejen el panorama actual de amenazas.
• Alcance: La exploración se limita a riesgos en tiempo de inferencia que sean testeables contra agentes desplegados, excluyendo ataques en la fase de entrenamiento como el envenenamiento de datos.

B. Construcción de Casos de Prueba Ejecutables

Esta etapa transforma las hojas de la taxonomía abstracta en casos de seguridad ejecutables ($\sigma = \langle g, s_0, V_g \rangle$).

• Composición Combinatoria: El marco genera candidatos a objetivos de seguridad ($g$) componiendo nodos hoja de las tres taxonomías (Riesgo, Método de Ataque, Entorno).
• Compilación:
  • Estado Inicial ($s_0$): Construido programáticamente mediante APIs de servicio para crear diversos precondiciones relevantes al objetivo (por ejemplo, un repositorio con una dependencia vulnerable).
  • Verificador ($V_g$): Un script determinista a nivel de código que comprueba si la violación de seguridad se materializó basándose en artefactos observables.
• Filtrado: Los casos se filtran para asegurar que dependan de efectos observables en lugar de trazas de razonamiento interno. Cada escenario base se expande en tres variantes: Benigno (tarea legítima), Canal Único (solo mensajes de usuario adversarios) y Multicanal (mensajes de usuario adversarios + resultados de herramientas inyectados).

C. Ejecución Adaptativa y Verificación Basada en Evidencia

El agente objetivo se ejecuta en un sandbox aislado bajo un contrato de ejecución unificado.

• Entorno de Sandbox: Una Pasarela de Herramientas (basada en MCP) configurable media todas las llamadas a herramientas, registrando los resultados originales y las observaciones transformadas. Soporta cuatro modos de inyección: identidad, anexar, prefijo y sobrescribir.
• Agente de Control Adaptativo: Un agente de control del lado de la prueba dirige la interacción de múltiples turnos. Observa los comportamientos en tiempo de ejecución (respuestas del agente, llamadas a herramientas, cambios de estado) y adapta su estrategia (por ejemplo, reformular solicitudes, ajustar la descomposición de tareas) para guiar al agente hacia el objetivo de seguridad.
• Verificación Basada en Evidencia: Un verificador programático juzga los resultados basándose en una jerarquía de evidencia:
  1. Estado del Entorno ($s_T$): Se da prioridad a los cambios de estado persistentes (por ejemplo, modificaciones de archivos, exfiltración de datos).
  2. Registros de Llamadas a Herramientas: Se utilizan si los cambios de estado no son el indicador principal de la violación.
  3. Respuestas del Agente: Se utilizan solo si la salida textual en sí misma constituye la violación.
  • Este enfoque elimina los falsos positivos de la autoevaluación optimista y los falsos negativos de las intenciones dañinas no ejecutadas.

3. Contribuciones Clave

1. Instanciación de Principios de Pruebas de SE: El artículo operacionaliza conceptos de ingeniería de software (oráculos de prueba, construcción combinatoria, verificación basada en evidencia) para agentes LLM, produciendo un marco para casos de seguridad ejecutables y protocolos de ejecución adaptativa.
2. El Marco VERA: Un novedoso sistema de extremo a extremo que soporta marcos de agentes heterogéneos a través de tres etapas: descubrimiento autónomo de riesgos, generación de casos de prueba ejecutables y ejecución adaptativa en tiempo de ejecución.
3. VERA-Bench y Evaluación Empírica: Los autores lanzan VERA-Bench, que comprende 1,600 casos de seguridad ejecutables que abarcan 124 categorías de riesgo en tres entornos de ejecución. Evalúan VERA en cuatro marcos de agentes de producción (OpenClaw, Hermes, Codex, Claude Code), revelando debilidades de seguridad sustanciales.

4. Resultados Experimentales

La evaluación se realizó en cuatro marcos de agentes utilizando múltiples modelos de backend (GPT-5.2, Gemini-3, Qwen-3.7, etc.) en entornos Docker aislados.

• Tasas de Éxito de Ataque (ASR): Bajo ataques multicanal, la tasa de éxito de ataque promedio alcanzó el 93.9%. Incluso bajo ataques de canal único, el ASR promedio fue del 90.6%, superando significativamente los resultados de los benchmarks de prompts estáticos.
• Vulnerabilidades de los Marcos:
  • Claude Code y Hermes mostraron una alta susceptibilidad (88.6% y 86.6% de ESR general en modos de ataque), lo que sugiere que las capacidades más fuertes de completado de tareas y la orquestación flexible de herramientas se correlacionan con una mayor vulnerabilidad a ataques adaptativos.
  • OpenClaw tuvo un ESR general más bajo (70.3%), debido en parte a políticas de llamada a herramientas conservadoras, pero también a mayores tasas de fallo de infraestructura.
• Análisis del Modelo de Amenaza:
  • Multicanal vs. Canal Único: Las pruebas multicanal proporcionaron una ganancia incremental modesta pero consistente (+3.3% promedio), revelando que la inyección de resultados de herramientas es un vector de bypass viable, particularmente para agentes con procesamiento de mensajes de usuario conservador (por ejemplo, OpenClaw vio una ganancia de +6.3%).
  • Driver Adaptativo: El agente de control adaptativo aumentó las tasas de éxito en aproximadamente 20 puntos porcentuales en comparación con los entornos benignos, demostrando el valor de la interacción adaptativa en tiempo de ejecución para eludir defensas.
• Impacto en el Downstream: El ajuste fino de un modelo de guardia (Qwen3Guard) con datos derivados de VERA mejoró significamente el rendimiento de la clasificación de seguridad (Precisión: 61.7%, Recall: 77.9%, F1: 68.4%) en comparación con las líneas base estándar, y mostró generalización a benchmarks externos como R-Judge.

5. Significado y Reivindicaciones

El artículo argumenta que a medida que los agentes se vuelven más autónomos e integrados con herramientas, la evaluación de seguridad debe evolucionar de los benchmarks estáticos hacia una infraestructura de pruebas modular y ejecutable.

• Modularidad y Mantenibilidad: VERA demuestra que el desacoplamiento de las definiciones de riesgo, las implementaciones del entorno y los procedimientos de verificación permite una evaluación de seguridad escalable que puede adaptarse a sistemas de agentes que evolucionan rápidamente sin una reingeniería manual costosa.
• Verificación Basada en la Realidad: Al priorizar el estado observable del entorno sobre los autoinformes del modelo, VERA proporciona una evaluación más rigurosa y fiable de las violaciones de seguridad reales.
• Alineación entre Capacidad y Vulnerabilidad: Los resultados resaltan una tensión estructural en el diseño de agentes: las mismas capacidades que hacen que los agentes sean útiles (seguimiento de instrucciones fuerte, orquestación de herramientas flexible) también los hacen más susceptibles a la manipulación adversaria.
• Infraestructura Futura: Los autores posicionan a VERA no meramente como un benchmark, sino como un paso fundacional hacia el establecimiento de la infraestructura necesaria para el aseguramiento de la seguridad riguroso, mantenible y a gran escala de los sistemas agénticos.

El artículo concluye que la "alineación capacidad-vulnerabilidad" observada es una propiedad estructural de los sistemas de agentes actuales, y que marcos como VERA son esenciales para exponer y abordar estos riesgos en entornos de producción.