Resumen Técnico: Dejen de lanzar Agentes de IA basados en la fe: La capacidad no es la preparación para producción

Declaración del Problema

Los agentes de IA están transitando de demostraciones controladas a flujos de trabajo de producción donde recuperan información, llaman a herramientas, mantienen el estado y actúan en nombre de los usuarios. Sin embargo, las decisiones de lanzamiento actuales suelen basarse en "señales de capacidad" —como demostraciones de comportamiento o benchmarks específicos de tareas— que no logran capturar si un agente está listo para las restricciones de producción.

El documento argumenta que la capacidad no es la preparación para producción. Un agente capaz puede seguir siendo inseguro para su despliegue si su contexto operativo es débil, si el uso de sus herramientas está mal controlado, si la evidencia de cumplimiento es incompleta o si los controles de gobernanza son inexistentes. En dominios regulados como la salud y las finanzas, estas brechas representan fallos de cumplimiento, seguridad y gobernanza, más que meros defectos de rendimiento. Los métodos de evaluación existentes miden cómo se comporta un agente bajo prueba, pero no determinan si el agente posee la evidencia suficiente para ser desplegado, monitoreado y gobernado dentro de un alcance operativo definido.

Metodología: El Índice ProofAgent (PAI)

Para abordar la brecha entre el rendimiento conductual y la preparación para el despliegue, los autores introducen el Índice ProofAgent (PAI), un índice de preparación de gobernanza. El PAI redefine el lanzamiento de agentes como una decisión auditable basada en evidencia decomponible en lugar de fe.

1. Cuatro Dimensiones de Preparación

El PAI agrega evidencia a través de cuatro dimensiones normalizadas (escaladas de 0 a 100):

• Evaluación (E): Mide el comportamiento observado del agente bajo condiciones adversas y esperadas (ej. éxito en la tarea, resistencia a alucinaciones, seguridad, uso de herramientas).
• Contexto (Q): Mide la calidad del entorno operativo, incluyendo claridad de rol, consistencia de instrucciones, fundamentación (grounding), esquemas de herramientas, salvaguardas (guardrails) y endurecimiento contra inyecciones.
• Cumplimiento (C): Mide si el comportamiento y los artefactos observados satisfacen las obligaciones legales, regulatorias y de política aplicables (ej. GDPR, HIPAA, Ley de IA de la UE). La falta de evidencia se trata como un incumplimiento.
• Gobernanza (G): Mide los controles organizacionales, incluyendo propiedad, definición de alcance, flujos de aprobación, monitoreo, respuesta a incidentes y mecanismos de reversión (rollback).

2. Agregación y Puerta de Admisibilidad

El PAI se calcula en dos etapas para evitar que los defectos críticos se "promedien hacia la irrelevancia":

• Agregación por Media Geométrica: El puntaje bruto ($PA^{raw}_{PAI}$) es una media geométrica ponderada de las cuatro dimensiones. Esto asegura que un puntaje bajo en una dimensión reduzca el total de forma más drástica que una media aritmética, limitando la compensación entre dimensiones.
• Puerta de Admisibilidad (Bloqueos Duros): Se aplica un "tope" basado en reglas de bloqueo duro. Si una configuración activa una condición de uso prohibida, un fallo crítico de seguridad, evidencia de cumplimiento obligatoria faltante o un hallazgo de gobernanza no resuelto, el puntaje final se limita por debajo del umbral de revisión, independientemente de la media geométrica bruta. Esto asegura que los defectos no negociables bloqueen el lanzamiento.

3. Bandas de Preparación

El puntaje final se mapea a bandas operativas:

• Bloqueado: Se activó una condición de bloqueo duro; lanzamiento prohibido.
• No Listo: No cumple con el mínimo de la barra de preparación.
• Listo con Salvedades: Cumple con el umbral de revisión pero requiere monitoreo o remediación.
• Listo: Satisface el umbral completo sin condiciones de bloqueo.

Validación Empírica

Los autores validaron el PAI utilizando ProofAgent Harness, una infraestructura de código abierto para la evaluación auditable. El estudio cubrió dos dominios fuertemente regulados (salud y finanzas) a través de una cuadrícula de configuración de 12 unidades (3 niveles de capacidad × 2 condiciones de contexto × 2 dominios).

Configuración Experimental

• Capacidades: Débil (modelo de 8B), Media (modelo de 70B) y Fuerte (modelo de Mezcla de Expertos - MoE).
• Contexto: Base (B0, instrucciones/gobernanza débiles) vs. Diseñado (B5, instrucciones/gobernanza fuertes).
• Estrategia de Validación: Un enfoque de "muestra retenida" donde los puntajes PAI se calcularon a partir de un paquete de desarrollo de trampa (25 turnos), mientras que el resultado PASA/FALLA se midió en un paquete de examen disjunto (10 turnos) para evitar la validación circular.
• Escala: Una validación de 10,000 turnos a través de 1,000 sesiones para analizar patrones de defectos.

Resultados Clave

1. Poder Predictivo: El PAI logró un AUC de 0.98 al ordenar las configuraciones por su riesgo de fallo en trampas no vistas. Esto indica una fuerte discriminación entre configuraciones listas y no listas.
2. Contexto vs. Capacidad:
   • Ingeniería de Contexto: Tuvo el efecto más fuerte. Pasar de un contexto débil (B0) a uno diseñado (B5) redujo las tasas de defectos del 65.74% al 17.84% (una reducción relativa del 72.9%).
   • Saturación de Capacidad: Aunque pasar de capacidad débil a media redujo significativamente los defectos, el salto de media a fuerte arrojó rendimientos decrecientes. Crucialmente, un agente de capacidad media en un contexto fuerte (B5) fue mucho más confiable que un agente de alta capacidad en un contexto débil (B0).
3. La Capacidad no es la Preparación: El estudio confirmó que una alta capacidad conductual no garantiza la preparación. Los agentes débiles siguieron siendo riesgosos incluso bajo condiciones de contexto fuerte, mientras que los agentes fuertes fallaron bajo gobernanza o contexto débiles.
4. Modos de Fallo: Los defectos abarcaron seguridad, uso de herramientas, resistencia a alucinaciones y llamadas a herramientas fantasma, reforzando la necesidad de un marco de preparación más amplio que la simple precisión de la tarea.

Contribuciones Clave

1. Definición de Preparación: El documento define la preparación para producción de agentes de IA como un problema de gobernanza que se extiende más allá de la evaluación conductual, requiriendo evidencia de operación segura dentro de un nivel de riesgo y alcance de cumplimiento específicos.
2. El Marco PAI: Introducción de un índice de cuatro dimensiones (Evaluación, Contexto, Cumplimiento y Gobernanza) que integra el comportamiento técnico con los controles organizacionales.
3. Implementación: Descripción de la implementación de PAI en ProofAgent Harness, proporcionando una CLI de código abierto para generar artefactos de preparación decomponibles, decisiones de bloqueo duro y reportes de lanzamiento.
4. Evidencia Empírica: Validación que muestra que el PAI porta una señal de preparación de muestra retenida y que la ingeniería de contexto y la evidencia de gobernanza son determinantes críticos del riesgo de despliegue, superando a menudo la capacidad bruta del modelo.

Significado y Reivindicaciones

El documento afirma que el PAI redefine el lanzamiento de agentes de la "decisión basada en la fe" a una decisión de preparación auditable. Su importancia radica en proporcionar un lenguaje unificado para tres partes interesadas distintas:

• Ingenieros: Reciben señales medibles y decomponibles (no solo un único puntaje conductual).
• Equipos de Riesgo/Cumplimiento: Reciben evidencia auditable que vincula el comportamiento con las obligaciones de política y control.
• Líderes de Negocio: Reciben decisiones de lanzamiento interpretables que consideran el contexto, el cumplimiento y la gobernanza, en lugar de solo el rendimiento del modelo.

Los autores concluyen que los agentes de IA no deben lanzarse porque parezcan capaces; solo deben lanzarse cuando haya evidencia de que están listos para operar dentro de un entorno de producción gobernado. El PAI sirve como el mecanismo para convertir la evaluación de agentes de un acto de confianza en una decisión de preparación verificable.