Evaluating Frontier AI Agents as Autonomous Clinical Security Auditors

Resumen Técnico: Evaluación de Agentes de IA de Frontera como Auditores de Seguridad Clínica Autónomos

Planteamiento del Problema
Los modelos de IA clínica se despliegan cada vez más en entornos de alto riesgo (p. ej., predicción de mortalidad, cribado radiológico) sin pruebas adversarias formales. Aunque estos modelos pueden funcionar bien en datos de prueba no vistos, siguen siendo susceptibles a pequeñas perturbaciones deliberadas en la entrada que pueden derivar en daños al paciente. La auditoría de seguridad actual es un cuello de botella estructural: requiere experiencia estadística, implementación de software personalizado (p. ej., ataques basados en gradientes, modelos sombra, métricas de calibración) y un tiempo significativo. La mayoría de los equipos de despliegue clínico carecen de estos recursos, lo que conduce a evaluaciones ad hoc, incompletas o delegadas en el proveedor. El artículo postula que los agentes de IA de frontera, capaces de razonamiento de múltiples pasos y uso de herramientas, podrían cerrar esta brecha de forma autónoma mediante la implementación de especificaciones de evaluación de seguridad estructuradas sin guía humana en el bucle.

Metodología
Los autores construyeron una tarea de evaluación abierta basada en el Estándar de Tareas METR v0.3.0 para probar si los agentes de IA de frontera pueden ejecutar autónomamente una evaluación del Puntaje de Postura de Seguridad (SPS).

• Entorno de la Tarea: El agente opera dentro de un contenedor Docker con acceso a un modelo clínico preentrenado, un conjunto de datos de pacientes y una especificación de auditoría escrita. El agente no tiene código de andamiaje; debe implementar toda la lógica a partir del pseudocódigo proporcionado en las instrucciones.
• El Marco SPS: El agente debe implementar cuatro componentes adversarios distintos y agregarlos en un puntaje ponderado:
  1. Robustez FGSM ($s_{fgsm}$): Implementación del Método de Signo del Gradiente de Fast (Fast Gradient Sign Method) utilizando una regresión logística sustituta para aproximar los gradientes para modelos objetivo no diferenciables.
  2. Resistencia a la Inferencia de Membresía ($s_{mi}$): Entrenamiento de cuatro modelos sombra sobre subconjuntos de datos superpuestos para construir un clasificador de ataque y probarlo contra el modelo objetivo.
  3. Error de Calibración Esperado ($s_{ece}$): Agrupación de probabilidades predichas y cálculo de la desviación media absoluta ponderada entre la precisión y la confianza.
  4. Resistencia al Ataque de Frontera ($s_{ba}$): Caminata iterativa desde los puntos de prueba hacia la clase opuesta para medir la proximidad de la frontera de decisión.
• Restricciones: El agente debe escribir un informe JSON estructurado en submission.txt a través de una interfaz de herramienta bash dentro de un límite de 40 turnos.
• Diseño Experimental:
  • Conjuntos de Datos: Se utilizaron dos conjuntos de datos clínicos: Wisconsin Diagnostic Breast Cancer (WDBC) y MIMIC-IV (mortalidad en UCI).
  • Modelos: Tres arquitecturas de modelos con un aumento en la fuerza de defensa (línea base de Regresión Logística, Random Forest con escalado de Platt, XGBoost con entrenamiento adversario).
  • Agentes: Se evaluaron tres modelos de frontera: Claude Sonnet 4.6, GPT-4.1 y GPT-4o.
  • Protocolo: Cada modelo realizó tres ejecuciones independientes por variante (6 variantes en total), resultando en 54 evaluaciones totales.

Contribuciones Clave

1. Tarea de Evaluación Abierta: El artículo publica una tarea estandarizada por METR para la auditoría de seguridad de IA clínica, que incluye la especificación del SPS, infraestructura de puntuación automatizada y activos públicos para las variantes de WDBC.
2. Comparación Empírica: Una evaluación piloto de 54 ejecuciones comparando las tasas de finalización de tareas, la eficiencia de tokens y la precisión numérica de tres modelos de frontera.
3. Taxonomía de Modos de Fallo: Una caracterización de tres modos de fallo distintos observados en GPT-4o: terminación temprana de la sesión antes de la escritura del archivo, errores aritméticos en la agregación ponderada y archivos de envío vacíos.

Resultados

• Finalización de la Tarea: Claude Sonnet 4.6 y GPT-4.1 lograron una finalización de tarea del 100% (18/18 ejecuciones cada uno) con puntajes de evaluador perfectos. Produjeron resultados numéricamente idénticos entre ejecuciones (con una ligera varianza en GPT-4.1 debido a las semillas de entrenamiento estocástico de los modelos sombra).
• Rendimiento de GPT-4o: GPT-4o logró una tasa de finalización del 61% (11/18 ejecuciones). Las 7 ejecuciones fallidas resultaron en un envío no válido o un puntaje parcial debido a errores de agregación.
• Eficiencia y Costo:
  • Uso de Tokens: GPT-4o consumió aproximadamente 5 veces más tokens de entrada por ejecución que Claude Sonnet 4.6 (169K vs. 34K).
  • Costos de API: A través de 18 ejecuciones, GPT-4.1 costó ~$8, Claude Sonnet 4.6 costó ~$12 y GPT-4o costó ~$27.
  • Turnos: Claude promedió 4.7 turnos; GPT-4.1 promedió 10.4 turnos; GPT-4o promedió 16.9 turnos, con algunas ejecuciones alcanzando el límite de 40 turnos.
• Análisis de Fallos: Los fallos de GPT-4o se atribuyeron a problemas de "disciplina de ejecución agéntica" más que a una falta de capacidad de razonamiento. Los fallos específicos incluyeron:
  • Terminación de sesiones antes de escribir el archivo JSON final (5 casos).
  • Errores aritméticos manuales en el paso de agregación ponderada final en lugar de cálculo programático (1 caso).
  • Creación de un archivo de envío vacío (1 caso).

Significancia y Reivindicaciones
El artículo sostiene que los agentes de IA de frontera son capaces de implementar autónomamente evaluaciones de seguridad clínica estructuradas y de múltiples pasos con alta fidelidad, siempre que la tarea esté bien definida. Los resultados sugieren que la selección del modelo es una decisión arquitectónica primaria para los profesionales que construyen tuberías de seguridad agénticas; la brecha entre el rendimiento perfecto de Claude Sonnet 4.6/GPT-4.1 y la tasa de fallo del 39% de GPT-4o es lo suficientemente significativa como para impactar la fiabilidad del despliegue.

Los autores enfatizan que este es un estudio piloto ($n=18$ por modelo) destinado a identificar patrones más que a proporcionar estimaciones de puntos precisas. Indican explícitamente que los pesos y umbrales del marco SPS se toman de un preprint complementario (Eniolade, 2026) y aún no han sido sometidos a revisión por pares independiente. El estudio concluye que, si bien la tecnología es viable, la "disciplina de ejecución" del agente —específicamente la capacidad de rastrear el progreso y evitar la inflación del contexto o la terminación prematura— es un diferenciador crítico en tareas técnicas de múltiples pasos. El artículo no pretende que estos agentes puedan reemplazar totalmente a los estadísticos humanos, sino que pueden automatizar la implementación de protocolos de evaluación rigurosos que actualmente son inaccesibles para muchos equipos clínicos.