Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human

Resumen Técnico: "La supervisión tiene una capacidad: Calibrando los guardas de agentes ante un humano subjetivo y fatigado"

Declaración del Problema
A medida que los agentes de Modelos de Lenguaje Extensos (LLM) transitan de sugerir código a ejecutar acciones irreversibles (por ejemplo, desplegar código, ejecutar comandos de shell), el mecanismo de seguridad estándar es una puerta de aprobación de humano en el bucle (HITL, por sus siglas en inglés). La suposición prevalente en el campo es doble: (1) existe una definición de "riesgosa" de verdad absoluta para las acciones, y (2) el revisor humano es un oráculo perfecto e infinitamente disponible cuya fiabilidad es independiente del volumen de solicitudes.

Este artículo argumenta que ambas suposiciones son falsas. Primero, el juicio de riesgo es subjetivo y dependiente del contexto, careciendo de una etiqueta única correcta. Segundo, los revisores humanos son endógenos al sistema; su fiabilidad se degrada a medida que el volumen de escalaciones (carga) aumenta, lo que conduce a la "fatiga de aprobación", donde los revisores aprueban de forma automática acciones maliciosas para despejar la cola. En consecuencia, una política de guardia que escala más acciones no es necesariamente más segura; puede agotar el presupuesto finito de atención requerido para amenazas genuinas, resultando en una tasa de escalación óptima para la seguridad que es estrictamente inferior a "escalar todo".

Metodología
Los autores operacionalizan la supervisión de agentes como un problema de clasificación selectiva bajo costo asimétrico y asignación de recursos.

• Conjunto de datos: Un conjunto curado de 125 acciones de agentes etiquetadas a mano, deliberadamente ponderadas hacia casos difíciles, ambiguos y adversarios (por ejemplo, rm -rf ofuscado, ediciones de package.json, exfiltración de secretos). Las etiquetas se categorizan como seguro, aprobación o bloqueado.
• Puntuación del Guarda: Las acciones son puntuadas por un LLM (por defecto Haiku, con Sonnet para comparación) en una escala de riesgo de 0 a 100. Reglas deterministas manejan los casos claros.
• Marco de Medición:
  • Piso de Ruido (Noise Floor): Tres personas de LLM (cautelosa, pragmática, de cumplimiento estricto) etiquetan el conjunto de datos para cuantificar la subjetividad del "riesgo", calculando la $\kappa$ de Fleiss para establecer una línea base de acuerdo.
  • Calibración Sensible al Costo: El sistema recorre umbrales de decisión ($\theta$) para generar curvas operativas (Riesgo-Cobertura, Costo Esperado). Los costos son asimétricos: omitir una acción peligrosa es catastrófico (costo 50), mientras que las falsas alarmas son molestas (costo 1).
  • Simulación de Revisor Endógeno: Se aplica un modelo de fatiga $r(\ell)$ donde la fiabilidad del revisor disminuye linealmente después de que se supera un umbral de capacidad $C$. El sistema simula el "paso de peligro" (ataques exitosos) como una función de la tasa de escalación, contabilizando tanto los fallos del guarda como los fallos inducidos por la fatiga humana.
  • Simulación de Ataque: Se simula un ataque de inundación donde un adversario entierra una única acción maliciosa en un flujo de acciones benignas de "relleno" para agotar la capacidad del revisor.

Resultos Clave

1. Sin Verdad Absoluta (Piso de Ruido): El acuerdo de los revisores sobre las 125 acciones es solo moderado (Fleisss' $\kappa = 0.52$). La persona "pragmática" etiquetó 87 acciones como seguras, mientras que la persona "cautelosa" etiquetó solo 45 como tales. Esto confirma que las etiquetas de seguridad son contestables y dependen de la tolerancia al riesgo, no de una verdad objetiva.
2. Límites Medibles del Guarda: En este conjunto difícil, el guarda no puede decidir automáticamente de forma segura. La política que minimiza el costo bajo costos asimétricos colapsa hacia "escalar casi todo" para lograr un 0% de peligro omitido, lo que resulta en una alta tasa de falsas alarmas. El Área Bajo la Curva de Riesgo-Cobertura (AURC) es 0.374 $\pm$ 0.002, lo que indica la limitación inherente del guarda en entradas ambiguas.
3. La Curva de Seguridad en Forma de U Invertida: El modelado del revisor como un elemento endógeno revela una relación de U invertida entre la tasa de escalación y la seguridad realizada.
   • Escalación Baja: Alto paso de peligro debido a fallos del guarda (permitir riesgos automáticamente).
   • Escalación Alta: Alto paso de peligro debido a fallos por fatiga (revisores aprobando de forma automática).
   • Óptimo: La tasa de escalación óptima para la seguridad es estrictamente inferior al 100%. Para una capacidad de revisor de 25, la tasa óptima es del 64%, lo que produce un paso de peligro del 42%, mientras que la escalación total (100%) resulta en un paso de peligro del 57%.
4. Defensa contra la Inundación: Una política "consciente de la carga" (escalando menos acciones rutinarias) aumenta significamente el esfuerzo requerido por el atacante para inducir fatiga. Mientras que una política paranoica (88% de escalación) permite una tasa de éxito del 40% con solo 50 acciones de relleno, una política consciente de la carga (26% de escalación) mantiene un 0% de éxito hasta que el atacante inunda el sistema con aproximadamente 100 acciones.
5. Dependencia del Modelo: Los modelos más fuertes (Sonnet) mejoran ligeramente el rendimiento (AURC 0.351 vs. 0.373), pero no eliminan la necesidad de supervisión humana en entradas difíciles. Los resultados son reproducibles a través de semillas y temperaturas.

Contribuciones y Significado
El artículo establece explícitamente que no pretende reclamar mecanismos novedosos. El aplazamiento consciente de la fatiga (FALCON), el aplazamiento sensible al costo bajo restricciones (DeCCaF) y los ataques basados en la fatiga son conocimientos previos establecidos.

La contribución del artículo es aplicada y basada en mediciones:

• Implementación del Sistema: Un firewall de agentes de código abierto y un aparato de medición que operacionaliza estos conceptos conjuntamente en el entorno de control de acciones de agentes de LLM.
• Medición Empírica: Proporcionar un "piso de ruido" medido para el riesgo de las acciones de agentes, demostando que la suposición de verdad absoluta del campo es falsa en dominios subjetivos.
• Calibración de la Supervisión: Convertir la pregunta "¿Es bueno mi guarda?" de una suposición a una curva medible (AURC, puntos operativos).
• Demostración de la U Invertida: Mostrar en el contexto específico de los agentes de LLM que "más supervisión" puede ser "menos segura", y que la política de escalación óptima para la seguridad es una tasa de escalación intermedia, no la máxima.

Limitaciones y Alcance
Los autores son modestos en sus afirmaciones:

• La "U invertida" es un resultado de modelado basado en una curva de fatiga simulada, no un hallazgo empírico de sujetos humanos.
• El conjunto de datos es pequeño (125 acciones) y de un solo dominio (agentes de codificación); los resultados son demostraciones del instrumento, no estimaciones poblacionales.
• Las personas de los revisores son proxies de LLM, no humanos reales.
• El alcance se limita a dominios con juicio subjetivo y resultados retardados (por ejemplo, control de agentes, moderación de contenido), no a dominios de verdad objetiva (por ejemplo, fraude bancario).

Conclusión
El artículo redefine la supervisión de agentes como un problema de asignación de recursos donde la atención humana es finita. Argumenta que la política de escalación de un guarda debe calibrarse no solo para detectar el riesgo, sino para preservar la capacidad del revisor para detectar el riesgo crítico. Al medir la compensación entre el volumen de escalación y la fatiga del revisor, el sistema identifica un punto operativo que maximiza la seguridad, demostando que "escalar todo" es estrictamente subóptimo.