The Reliability Gap: Repeated-Trial Consistency and the Deployable Autonomy Horizon of Frontier AI Agents
Este artículo analiza los datos de rendimiento de los agentes de IA de frontera para revelar una significativa "brecha de fiabilidad" en la que la duración de la tarea que un agente puede completar consistentemente es aproximadamente 2,4 veces más corta que su horizonte de capacidad promedio, principalmente porque los fallos están fuertemente correlacionados dentro de tareas específicas en lugar de ser aleatorios, lo que requiere un cambio en las métricas de evaluación de éxito promedio hacia horizontes ajustados por fiabilidad para un despliegue seguro.