Resumen Técnico: CIAware-Bench

Declaración del Problema

A medida que los modelos de IA se despliegan en entornos cada vez más autónomos, se han propuesto los protocolos de control como un marco de seguridad para mitigar riesgos. Estos protocolos emplean típicamente un "modelo interviniente" (monitor) de confianza para supervisar a un "modelo actuante" no confiable, interviniendo cuando se detecta un comportamiento sospechoso mediante la sustitución o edición de las acciones señaladas.

Una vulnerabilidad crítica, no medida previamente en este marco, es la conciencia de la Intervención de Control (CI por sus siglas en inglés): la capacidad de un modelo actuante para detectar que su trayectoria de ejecución ha sido manipulada por un protocolo de control. Si un modelo actuante puede detectar de manera fiable estas intervenciones, puede inferir propiedades del monitor, aprender sus deberes y adaptarse para evadir el control o incluso coludir con el monitor si comparten una familia de modelos. Mientras que el trabajo existente evalúa la efectividad de los protocolos contra modelos adversarios, no mide sistemáticamente si los modelos pueden detectar las intervenciones por sí mismos.

Metodología: CIAware-Bench

Los autores introducen CIAware-Bench, un benchmark diseñado para medir la conciencia de CI en modelos de lenguaje de vanguardia. El benchmark opera sobre una tarea de clasificación binaria: dada una trayectoria truncada donde el paso final puede o no haber sido modificado por un protocolo de control, el modelo actuante debe determinar si ocurrió una intervención.

Configuración Experimental

• Dominios de Tareas: El benchmark abarca cuatro entornos distintos con diferentes intensidades de señal:
  1. Escritura de Ensayos (Essay Writing): Generación de múltiples turnos con ricas señales estilísticas.
  2. BigCodeBench: Generación de código de un solo paso donde el nombramiento de variables y el formato sirven como señales.
  3. Bash Arena: Tareas de administración de sistemas de múltiples pasos en un entorno de arena (sandbox).
  4. SHADE-Arena: Tareas laborales de múltiples pasos (correo electrónico, banca, calendario) en entornos simulados.
• Modelos: Se probaron once modelos de vanguardia de cuatro proveedores (OpenAI, Anthropic, Google, Moonshot), incluyendo GPT-4.1 a través de GPT-5.5, Claude Sonnet/Opus 4.x, Gemini 3.1 Pro y Kimi K2.6.
• Protocolos de Intervención:
  • Defer-to-Trusted (DtT): La configuración por defecto donde un modelo interviniente reemplaza completamente la salida del modelo actuante en un paso aleatorio.
  • Trusted Editing (TE): El modelo interviniente reescribe el paso del modelo actuante.
  • Defer-to-Resample (DtR): El modelo actuante regenera su propio paso (sin señal de un modelo externo).
• Variantes: El benchmark evalia el impacto de la marcada de agua (watermarking) (scratchpad oculto frente a solo instrucciones), tareas laterales (políticas de ataque) y diferentes protocolos de intervención.
• Métricas: El rendimiento se mide como precisión de clasificación binaria balanceada, donde 0.5 representa el azar.

Hallazgos Clave

1. La conciencia de CI es dependiente del contexto, no una propiedad fija

La conciencia de CI es primordialmente una propiedad del triplete (modelo actuante, modelo interviniente, entorno) específico, más que una capacidad fija del modelo.

• La mayoría de los pares de modelos operan cerca del azar (0.50).
• Las clasificaciones se reordenan significativamente entre entornos y pares de modelos. Por ejemplo, aunque GPT-5 es generalmente más detectable como modelo interviniente (precisión promedio 0.58), esto se concentra en entornos ricos en texto (Essay: 0.65, BigCodeBench: 0.57) y desaparece en entornos agénticos.
• Ningún modelo actuante único supera consistentemente a otros como detector en todos los escenarios.

2. La capacidad del modelo no se correlaciona con la detección

Los modelos más fuertes no detectan necesariamente mejor las intervenciones.

• Dentro de las familias de modelos, los más capaces (ej. Opus 4.7, GPT-5.5) no logran la mayor precisión de detección. En algunos casos, modelos más antiguos o menos capaces (ej. Sonnet 4) superan a los más nuevos.
• Intervenciones de débil-a-fuerte: Incluso cuando un modelo mucho más débil interviene sobre un modelo actuante mucho más fuerte, la precisión de detección apenas supera el azar, lo que sugiere que las brechas de capacidad no son un canal de detección primario.

3. Detección Intra-familia vs. Entre-familias

• Las intervenciones entre familias se detectan de forma más fiable que las intervenciones dentro de la misma familia, pero este efecto depende del entorno.
• En Essay, los modelos actuantes de Anthropic detectan las intervenciones de OpenAI significativamente mejor que las de su propia familia (0.63 vs. 0.50, $p < 10^{-10}$).
• En BigCodeBench, existe un efecto similar pero más débil para los modelos de Anthropic.
• Los modelos actuantes de OpenAI no muestran una brecha significativa entre la detección entre familias y dentro de la misma familia.
• En entornos agénticos (Bash/SHADE), la ventaja entre familias desaparece en gran medida, probablemente debido a las salidas restringidas (llamadas a herramientas) que dejan menos rastros estilísticos.

4. Tamaño de la Intervención y Marcado de Agua

• El tamaño importa: La precisión de detección aumenta monótonamente con el tamaño de la intervención. Los reemplazos de menos de 100 caracteres se detectan cerca del azar, mientras que aquellos de más de 1000 caracteres se detectan aproximadamente un 65% de las veces.
• Marcado de agua (Watermarking): El marcado de agua explícito (mediante un scratchpad oculto) aumenta significativamente la detección en tareas ricas en texto (BigCodeBench: +0.43; Essay: +0.21), pero tiene efectos insignificantes en tareas agénticas (Bash: +0.07; SHADE: +0.01). Esto se debe a que los pasos agénticos suelen ser solo llamadas a herramientas, dejando sin espacio para marcas de agua basadas en texto.

5. Diferencias de Protocolo

• DtT > TE > DtR: En la tarea de Essay, la sustitución completa (DtT) es ligeramente más detectable que la edición (TE), la cual es más detectable que el remuestreo (DtR). El remuestreo del mismo modelo (DtR) es indistinguible del azar.

Significado e Implicaciones

El artículo argumenta que la conciencia de CI es una métrica granular y específica de cada despliegue que debe medirse para cada nuevo lanzamiento de modelo y escenario de monitoreo específico. Los hallazgos sugieren varios principios de diseño para los protocolos de control:

1. Intervinientes a medida: Los diseñadores de protocolos deben seleccionar monitores intervinientes basados en el modelo actuante y el entorno específicos, en lugar de confiar en un único monitor fijo. Paneles aleatorios de intervinientes de diferentes proveedores podrían diluir las huellas detectables.
2. Minimizar el tamaño de la intervención: Para reducir la detectabilidad, las intervenciones deben ser lo más locales y mínimas posible. Los reemplazos grandes dejan rastros superficiales más fuertes.
3. Normalización de estilo: Contramedidas como la sumarización, la paráfrasis o el prompting al modelo interviniente para imitar el estilo del modelo actuante pueden reducir las tasas de detección (ej. reduciendo la detección de 0.72 a 0.65 en la generación de código).
4. Anti-marcado de agua: En entornos no agénticos, los protocolos deben priorizar contramedidas contra la elicitación de marcas de agua, ya que los modelos actuantes pueden usar scratchpads ocultos para plantar patrones detectables.

Los autores lanzan CIAware-Bench para rastrear estas métricas e informar el desarrollo de protocolos de control donde las intervenciones sean más difíciles de detectar, reduciendo así el riesgo de estrategias de evasión adaptativas por parte de agentes no confiables.