The Reliability Gap: Repeated-Trial Consistency and the Deployable Autonomy Horizon of Frontier AI Agents

En el mundo de la inteligencia artificial, que evoluciona rápidamente, ha surgido un nuevo tipo de software: agentes que no solo responden preguntas, sino que toman acciones. Estos sistemas pueden planificar una secuencia de pasos, utilizar herramientas digitales y navegar por entornos complejos como código de software o navegadores web, a menudo con poca o ninguna supervisión humana. Para rastrear qué tan capaces se están volviendo estos agentes, los investigadores han desarrollado una forma de medir su progreso utilizando un "horizonte de tiempo". Este concepto describe la longitud de una tarea, medida en el tiempo que le tomaría a un experto humano completarla, que un agente de IA puede finalizar con éxito la mitad de las veces. Si un agente tiene un horizonte de tiempo de una hora, significa que puede resolver con fiabilidad problemas que a un humano le tomarían aproximadamente una hora terminar, pero es probable que falle en tareas que toman dos horas. Esta métrica se ha convertido en un lenguaje estándar para describir el progreso de la IA, con informes que muestran que este horizonte se duplica aproximadamente cada siete meses, lo que sugiere un futuro en el que las máquinas podrán manejar trabajos cada vez más complejos.

Sin embargo, existe una distinción crítica entre lo que un agente puede hacer en promedio y en lo que se puede confiar para que lo haga cada vez. Para un gerente humano que asigna un trabajo recurrente o un regulador que supervisa un sistema autónomo, una tasa de éxito del 50 por ciento suele ser insuficiente. Si una tarea ocurre repetidamente, el objetivo no es que el agente tenga éxito la mitad de las veces, sino que tenga éxito cada vez que aparezca la tarea. Un sistema que falla una de cada dos veces no es lo suficientemente fiable para muchas aplicaciones del mundo real; sin embargo, la métrica estándar del "horizonte de tiempo" no captura este riesgo. Mide la frontera de la capacidad, no el suelo de la fiabilidad. Esta brecha entre el rendimiento promedio y el rendimiento consistente es el misterio central que un nuevo estudio busca resolver, preguntándose qué tan atrasada está la verdadera fiabilidad de estos agentes en comparación con sus llamativos puntajes de capacidad.

Para responder a esto, los investigadores recurrieron a una enorme colección de registros públicos de la organización METR, que ha estado realizando evaluaciones de agentes de IA en cientos de tareas diferentes desde 2023. El estudio se centró en 30 modelos diferentes lanzados entre 2023 y principios de 2026, analizando más de 60,000 intentos individuales en diversas tareas. En lugar de observar si un agente tuvo éxito o falló solo una vez, los investigadores examinaron qué sucedía cuando el mismo agente intentaba la misma tarea múltiples veces. Específicamente, observaron el punto en el que un agente podía completar una tarea cuatro veces seguidas con una probabilidad del 50 por ciento de éxito total. Este "horizonte de fiabilidad" representa la longitud de una tarea que se puede esperar que un agente maneje de manera consistente, en lugar de solo ocasionalmente.

Los resultados revelaron una brecha significativa y persistente entre lo que los agentes pueden hacer y en lo que se puede confiar para que lo hagan. Para cada modelo probado, el horizonte de tiempo para el éxito fiable y repetido fue mucho más corto que el horizonte de capacidad estándar. En promedio, el horizonte de fiabilidad fue aproximadamente 2.4 veces más corto que el horizonte de éxito promedio. Para poner esto en perspectiva, si un modelo de alto nivel es capaz de manejar una tarea que le toma a un humano 715 minutos completar con un 50 por ciento de probabilidad de éxito, ese mismo modelo solo puede ser confiable para completar una tarea de unos 355 minutos cuatro veces seguidas con el mismo nivel de confianza. Esta brecha no se ha cerrado significativamente durante los últimos tres años; a pesar de que los modelos son más potentes, la distancia entre su rendimiento promedio y su rendimiento consistente se ha mantenido aproximadamente la misma.

Uno podría asumir que si un agente falla una tarea, es simplemente una cuestión de mala suerte o un error aleatorio, y que intentarlo de nuevo probablemente daría un resultado diferente. El estudio encontró que esta suposición es incorrecta. Los investigadores descubrieron que los resultados de los intentos repetidos están fuertemente vinculados a la tarea específica en sí, en lugar de ser aleatorios. Cuando un agente falla una tarea, tiende a fallar cada vez que intenta esa misma tarea. Por el contrario, cuando tiene éxito, tiende a tener éxito cada vez que la realiza. Esto significa que la fiabilidad de un agente no está determinada por un lanzamiento de dados en cada intento, sino por la dificultad inherente de la tarea en relación con las habilidades del agente. Debido a esta fuerte conexión, la fiabilidad observada es mucho mayor de lo que sería si cada intento fuera independiente. Si los intentos fueran verdaderamente aleatorios y no relacionados, el horizonte de fiabilidad sería drásticamente más corto, pero la realidad es que el rendimiento del agente es consistente dentro del contexto de un problema específico.

El estudio también localizó exactamente dónde ocurren estas inconsistencias. El comportamiento más impredecible no ocurre en las tareas más difíciles, donde los agentes fallan consistentemente, ni en las tareas más fáciles, donde tienen éxito consistentemente. En cambio, los "resultados mixtos" —donde un agente tiene éxito algunas veces y falla otras— se agrupan estrechamente alrededor del límite de la capacidad del agente. Esta es la zona justo por debajo del horizonte de tiempo estándar, donde una tarea es lo suficientemente difícil como para desafiar al agente, pero no tanto como para que sea imposible. Es precisamente en esta zona donde es más probable que caigan las nuevas tareas delegadas, lo que la convierte en el área más crítica para comprender el riesgo.

A pesar de la clara evidencia de una brecha, los investigadores encontraron que la tasa a la que esta brecha se cierra no es estadísticamente significativa. Aunque los datos muestran una ligera tendencia de que el horizonte de fiabilidad alcance al horizonte de capacidad, la tendencia es demasiado pequeña para distinguirse de la variación aleatoria dado el número actual de modelos probados. Esto sugiere que, si bien los agentes de IA están mejorando en la resolución de problemas más difíciles, no necesariamente se están volviendo más consistentes en su ejecución al mismo ritmo. El estudio concliza que, para cualquiera que despliegue estos sistemas, confiar únicamente en las tasas de éxito promedio proporciona una visión excesivamente optimista del futuro. Para entender verdaderamente lo que se puede confiar a un agente, los informes deben incluir un horizonte ajustado por fiabilidad que tome en cuenta la necesidad de un éxito repetido y consistente. Sin este ajuste, la promesa de los agentes autónomos sigue siendo una medida de potencial, no una garantía de rendimiento.