The Reliability Gap: Repeated-Trial Consistency and the Deployable Autonomy Horizon of Frontier AI Agents

Dans le monde en évolution rapide de l'intelligence artificielle, un nouveau type de logiciel a émergé : des agents qui ne se contentent pas de répondre à des questions, mais qui accomplissent des actions. Ces systèmes peuvent planifier une séquence d'étapes, utiliser des outils numériques et naviguer dans des environnements complexes comme du code logiciel ou des navigateurs web, souvent avec peu ou pas de supervision humaine. Pour suivre l'évolution de leurs capacités, les chercheurs ont développé un moyen de mesurer leurs progrès en utilisant un « horizon temporel ». Ce concept décrit la longueur d'une tâche, mesurée par le temps qu'un expert humain mettrait pour la terminer, qu'un agent d'IA peut accomplir avec succès la moitié du temps. Si un agent possède un horizon temporel d'une heure, cela signifie qu'il peut résoudre de manière fiable des problèmes qui prennent environ une heure à un humain pour être terminés, mais qu'il échouera probablement sur des tâches qui en prennent deux. Cette métrique est devenue un langage standard pour décrire les progrès de l'IA, les rapports montrant que cet horizon double approximativement tous les sept mois, suggérant un avenir où les machines pourront gérer des travaux de plus en plus complexes.

Cependant, une distinction critique existe entre ce qu'un agent peut faire en moyenne et ce sur quoi on peut compter pour qu'il agisse à chaque fois. Pour un gestionnaire humain confiant une tâche récurrente ou un régulateur supervisant un système autonome, un taux de réussite de 50 pour cent est souvent insuffisant. Si une tâche se répète, l'objectif n'est pas que l'agent réussisse la moitié du temps, mais qu'il réussisse chaque fois que la tâche apparaît. Un système qui échoue une fois sur deux n'est pas assez fiable pour de nombreuses applications du monde réel, pourtant la métrique standard de l'« horizon temporel » ne capture pas ce risque. Elle mesure la frontière de la capacité, et non le plancher de la fiabilité. Cet écart entre la performance moyenne et la performance constante est le mystère central qu'une nouvelle étude cherche à résoudre, en demandant à quel point la fiabilité réelle de ces agents est en retard par rapport à leurs scores de capacité qui font les gros titres.

Pour répondre à cela, les chercheurs se sont tournés vers une vaste collection de registres publics de l'organisation METR, qui réalise des évaluations d'agents d'IA sur des centaines de tâches différentes depuis 2023. L'étude s'est concentrée sur 30 modèles différents publiés entre 2023 et le début de 2026, analysant plus de 60 000 tentatives individuelles de diverses tâches. Au lieu de regarder si un agent a réussi ou échoué une seule fois, les chercheurs ont examiné ce qui se passait lorsqu'un même agent tentait la même tâche plusieurs fois. Ils ont spécifiquement observé le point où un agent pouvait accomplir une tâche quatre fois de suite avec une probabilité de succès total de 50 pour cent. Cet « horizon de fiabilité » représente la longueur d'une tâche qu'un agent peut être censé gérer de manière cohérente, plutôt que de manière occasionnelle.

Les résultats ont révélé un écart significatif et persistant entre ce que les agents peuvent faire et ce sur quoi ils peuvent être jugés dignes de confiance. Pour chaque modèle testé, l'horizon temporel pour un succès répété et fiable était bien plus court que l'horizon de capacité standard. Pour mettre cela en perspective, si un modèle de haut niveau est capable de gérer une tâche qui prend 715 minutes à un humain pour être accomplie avec une probabilité de réussite de 50 pour cent, ce même modèle ne peut être considéré comme fiable pour accomplir une tâche d'environ 355 minutes quatre fois de suite avec le même niveau de confiance. Cet écart ne s'est pas réduit de manière significative au cours des trois dernières années ; bien que les modèles deviennent plus puissants, la distance entre leur performance moyenne et leur performance constante est restée sensiblement la même.

On pourrait supposer que si un agent échoue à une tâche, il s'agit simplement d'un manque de chance ou d'un bug aléatoire, et qu'essayer à nouveau produirait probablement un résultat différent. L'étude a révélé que cette hypothèse est incorrecte. Les chercheurs ont découvert que les résultats des tentatives répétées sont fortement liés à la tâche spécifique elle-même, plutôt qu'au hasard. Lorsqu'un agent échoue à une tâche, il a tendance à échouer chaque fois qu'il tente cette même tâche. Inversement, lorsqu'il réussit, il a tendance à réussir chaque fois qu'il la tente. Cela signifie que la fiabilité d'un agent n'est pas déterminée par un lancer de dés pour chaque tentative, mais par la difficulté inhérente de la tâche par rapport aux compétences de l'agent. En raison de ce lien étroit, la fiabilité observée est bien plus élevée que si chaque tentative était indépendante. Si les tentatives étaient véritablement aléatoires et sans lien entre elles, l'horizon de fiabilité serait radicalement plus court, mais la réalité est que la performance de l'agent est cohérente dans le contexte d'un problème spécifique.

L'étude a également localisé précisément où ces incohérences se produisent. Le comportement le plus imprévisible ne se situe pas sur les tâches les plus difficiles, où les agents échouent systématiquement, ni sur les tâches les plus faciles, où ils réussissent systématiquement. Au lieu de cela, les « résultats mixtes » — où un agent réussit certaines fois et échoue d'autres — se regroupent étroitement autour de la limite des capacités de l'agent. C'est la zone située juste en dessous de l'horizon temporel standard, où une tâche est suffisamment difficile pour défier l'agent, mais pas assez pour qu'elle soit impossible. C'est précisément dans cette zone que les nouvelles tâches déléguées sont les plus susceptibles de tomber, ce qui en fait la zone la plus critique pour comprendre le risque.

Malgré l'évidence de l'écart, les chercheurs ont constaté que le taux auquel ce fossé se comble n'est pas statistiquement significatif. Bien que les données montrent une légère tendance de l'horizon de fiabilité à rattraper l'horizon de capacité, la tendance est trop faible pour être distinguée d'une variation aléatoire compte tenu du nombre actuel de modèles testés. Cela suggère que si les agents d'IA deviennent meilleurs pour résoudre des problèmes plus difficiles, ils ne deviennent pas nécessairement plus cohérents dans leur exécution au même rythme. L'étude conclut que pour quiconque déploie ces systèmes, se fier uniquement aux taux de réussite moyens offre une vision trop optimiste de l'avenir. Pour véritablement comprendre ce qu'un agent peut faire de manière fiable, les rapports doivent inclure un horizon ajusté à la fiabilité qui tient compte de la nécessité d'un succès répété et constant. Sans cet ajustement, la promesse des agents autonomes reste une mesure du potentiel plutôt qu'une garantie de performance.