Domain-Conditioned Safety in Frontier Computer-Using Agents: A 793-Episode Browser Benchmark, a Coding-Domain Cross-Reference, and a Reproducibility Audit of Recent Red-Teaming

Resumen Técnico: Seguridad Condicionada al Dominio en Agentes de Frontera con Capacidad de Uso de Computadora

Planteamiento del Problema
La literatura reciente sobre Agentes con Capacidad de Uso de Computadora (CUA, por sus siglas en inglés) reporta altas Tasas de Éxito de Ataque de Inyección de Prompt (ASR), que oscilan entre el 42% y el 98%. Sin embargo, estas cifras suelen depender de versiones de modelos ya retiradas (por ejemplo, GPT-4o, Claude 3.5 Sonnet) o de los modelos más vulnerables dentro de un panel de prueba. Además, muchos resultados de alto ASR son impulsados por cadenas de inyección optimizadas mediante Aprendizaje por Refuerzo (RL) que no se han publicado. Esto crea una brecha de reproducibilidad: no está claro si las técnicas descritas en estos artículos siguen siendo efectivas contra los modelos de frontera actuales cuando se reproducen como plantillas legibles por humanos y elaboradas manualmente. Adicionalmente, se desconoce si el endurecimiento de la seguridad en un dominio (por ejemplo, la navegación web) se generaliza a otras modalidades de agentes (por ejemplo, la programación).

Metodología
Los autores presentan CUA-HANDCRAFTED, un benchmark adversarial público diseñado para evaluar los CUA de frontera utilizando plantillas de ataque manuales y no optimizadas por RL.

• Diseño del Benchmark: La suite consta de 793 episodios a través de 24 tareas web de múltiples pasos en 8 sitios autoalojados (por ejemplo, Banca, Portal de RR.HH., CRM). Utiliza 56 plantillas de ataque que abarcan 8 categorías (por ejemplo, acción no autorizada, exfiltración de datos, secuestro de objetivos) y 5 niveles de profundidad.
• Definición de Ataque: "Elaborado manualmente" se define estrictamente como cadenas de prosa legibles por humanos escritas basándose en las descripciones textuales de artículos recientes de red-teaming (RL-Hammer, WASP, TRAP, MUZZLE). Estas plantillas no contienen señales de recompensa ni bucles de optimización automatizados.
• Objetivos de Evaluación: El objetivo principal de la evaluación son los modelos de frontera más recientes: Claude Sonnet 4.6 y GPT-5.4.
• Métricas: El estudio utiliza métricas compatibles con AgentDojo: Utilidad Benigna (BU), Utilidad bajo Ataque (UuA) y Tasa de Éxito de Ataque (ASR). Un sistema de detección de "canario" (utilizando URLs .test de RFC 2606, patrones de ID específicos o marcadores sintácticos) verifica si un agente ejecutó un objetivo inyectado.
• Ablación y Trans-dominio: El estudio incluye una ablación de prompts (eliminación de instrucciones de seguridad) para determinar si la resistencia es a nivel de prompt o a nivel de pesos. También introduce SKILLBENCH, un benchmark hermano para agentes de programación, para probar si el endurecimiento de la seguridad se transfiere entre modalidades.
• Línea Base de RL: Un experimento de Fase 10 ejecuta un atacante de RL de sufijo aleatorio adaptativo (basado en AutoInject) para establecer un techo superior para los ataques basados en RL dentro de un presupuesto restringido.

Resultos Clave

1. ASR Cero en Agentes de Navegación de Frontera: Contra Claude Sonnet 4.6 y GPT-5.4, los ataques manuales de múltiples pasos lograron 0/140 éxitos (0% ASR). El límite superior de Clopper-Pearson al 95% es de 2.60%. El único ASR manual distinto de cero ocurrió en ataques de Denegación de Servicio (DoS) de un solo paso en modelos heredados (6.16% en Sonnet 4, 6.88% en GPT-4o).
2. La Resistencia reside en los Pesos: Los experimentos de ablación de prompts (eliminar guía de seguridad o añadir instrucciones de "ayuda") mantuvieron un 0% de ASR. Esto indica que la resistencia a la inyección en el dominio de navegación es una propiedad de los pesos del modelo, no del prompt del sistema.
3. La Optimización por RL es la Brecha: Mientras que las plantillas manuales fallaron, una línea base de atacante basada en RL (dentro de un presupuesto de $25) también falló en encontrar una cadena exitosa (0/50). Los autores argumentan que el alto ASR en la literatura es atribuible a frases descubiertas por RL y fuera de la distribución, en lugar de a las categorías de ataque mismas. Los benchmarks que no liberan las cadenas optimizadas no son reproducibles.
4. Seguridad Condicionada al Dominio (La Brecha de Programación): Los mismos pesos de modelo (Sonnet 4.6, GPT-5.4) que resistieron la inyección de navegación con un 0% fueron altamente vulnerables en el benchmark de agentes de programación SKILLBENCH. Los ataques de inyección de habilidades manuales lograron un 100% de ASR en Sonnet 4.6 y un 79% de ASR en GPT-5.4. Esto demuestra que el endurecimiento de la seguridad es específico de la superficie: el dominio de navegación está fuertemente red-teameado y endurecido, mientras que el dominio de programación sigue siendo vulnerable.
5. Auditoría de Reproducibilidad: Una auditoría de seis artículos recientes de red-teaming de CUA encontró que cuatro emparejaban modelos objetivo retirados con cadenas optimizadas no publicadas, lo que hace que sus números de ASR principales sean permanentemente irreproducibles.

Significancia y Reivindicaciones
El artículo argumenta que los altos números de ASR de la literatura actual son en gran medida artefactos de texto optimizado por RL y generaciones de modelos específicos, más que vulnerabilidades inherentes en las categorías de ataque. Los autores afirman que:

• La seguridad de frontera está condicionada al dominio: Un modelo puede ser "seguro" en un contexto de navegación mientras es "inseguro" en un contexto de programación. Las afirmaciones de seguridad deben especificar la superficie (por ejemplo, "inyección de navegador" frente a "inyección de habilidades de programación").
• La reproducibilidad requiere artefactos: Reportar técnicas sin liberar las cadenas de inyección optimizadas (o el modelo atacante) hace que los números de ASR publicados sean irreproducibles.
• Los benchmarks manuales sirven como un suelo: CUA-HANDCRAFTED proporciona una línea base para modos de falla descubribles por humanos. Si un modelo resiste los ataques manuales, ha cerrado los modos de falla más accesibles, aunque todavía pueda ser vulnerable a ataques optimizados por RL.

Los autores concluyen que los informes futuros de seguridad de CUA deberían tratar el ASR como un vector a través de las superficies, nombrar explícitamente los checkpoints objetivo y liberar las cadenas optimizadas o los modelos atacantes para asegurar la reproducibilidad. No afirman que los CUA sean inatacables, sino que la "brecha" entre la seguridad actual y el alto ASR de la literatura se define por la optimización de RL y la cobertura desigual de dominios.