Measuring AI Ability to Complete Long Software Tasks
Ce document introduit la métrique de l'« horizon de temps de complétion de tâche à 50 % » pour quantifier les capacités de l'IA en les comparant à l'effort humain, constatant que les modèles de pointe peuvent désormais accomplir en 50 minutes des tâches que les humains mettent typiquement 50 minutes à terminer, une tendance au doublement suggérant que l'IA pourrait automatiser des tâches logicielles d'un mois d'ici cinq ans.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous regardez une course entre un humain et un robot, mais au lieu de courir sur une piste, ils essaient tous deux de résoudre une pile géante et sans cesse croissante d'énigmes logicielles. Depuis des années, nous essayons de mesurer la performance de ces robots d'IA à l'aide de tests complexes, mais ces tests ressemblent souvent à des niveaux de jeux vidéo artificiels qui ne disent pas vraiment à quelle vitesse le robot peut réellement travailler dans le monde réel.
Pour corriger cela, une équipe de chercheurs de METR a décidé de mesurer quelque chose de beaucoup plus intuitif : Combien de temps une IA peut-elle travailler avant de commencer à échouer ?
Ils ont appelé cela l'« Horizon Temporel ». Voyez cela comme la durée de vie d'une batterie pour l'intelligence. Si une IA peut résoudre une énigme qui prend 10 minutes à un humain pour être terminée, son horizon temporel est de 10 minutes. Si elle peut gérer une tâche qui prend 4 heures à un humain, son horizon est de 4 heures. Les chercheurs voulaient trouver le point spécifique où une IA a 50 % de chances de mener à bien la tâche correctement.
La grande découverte : L'explosion exponentielle
L'équipe a rassemblé une collection massive de 170 tâches différentes, allant de micro-vérifications de 1 seconde (comme repérer un nom de fichier spécifique) à de vastes projets de recherche de 8 heures. Ils ont engagé des experts humains qualifiés pour chronométrer le temps qu'il leur fallait pour terminer ces tâches. Ensuite, ils ont laissé 12 modèles d'IA différents, allant du vieux GPT-2 (sorti en 2019) au tout nouveau o3 (sorti en 2025), tenter de résoudre ces problèmes.
Voici la partie incroyable : La « durée de vie de la batterie » de l'IA double tous les sept mois.
En 2019, la meilleure IA ne pouvait gérer de manière fiable que des tâches qui prenaient environ 2 secondes à un humain pour être terminées. En 2025, les meilleurs modèles (comme o3) pouvaient gérer des tâches qui prennent environ 110 minutes (près de deux heures) à un humain avec un taux de réussite de 50 %.
Les chercheurs ont découvert que cette croissance n'est pas seulement un peu plus rapide ; c'est une courbe exponentielle. C'est comme regarder une boule de neige rouler le long d'une colline, devenant deux fois plus grosse chaque fois qu'elle passe un certain arbre. Ils ont mesuré cette tendance de 2019 à 2025 et ont trouvé que le « temps de doublement » était d'environ 207 jours (environ sept mois).
Pourquoi s'améliorent-elles ?
L'article suggère que l'IA ne devient pas seulement « plus intelligente » de manière vague ; elle devient meilleure dans des compétences spécifiques et pratiques. Lorsque les chercheurs ont examiné pourquoi les anciens modèles échouaient et pourquoi les nouveaux réussissaient, ils ont constaté que les nouveaux modèles étaient :
- Meilleurs pour utiliser des outils : Ils savent utiliser une calculatrice ou un éditeur de code sans les casser.
- Meilleurs pour corriger les erreurs : Si une ancienne IA faisait une erreur, elle tendait souvent à répéter la même erreur encore et encore. Les nouveaux modèles peuvent repérer l'erreur, dire « Oups », et essayer un autre chemin.
- Meilleurs pour le raisonnement logique : Ils peuvent suivre une chaîne de pensée sans se perdre.
Le bémol du « désordre » : La vie réelle est plus difficile
Cependant, l'article est très prudent à ne pas dire que les robots ont déjà gagné la guerre. Les chercheurs soutiennent explicitement que ces tests pourraient être trop « propres ».
Imaginez que l'IA joue à un jeu vidéo dont les règles sont écrites dans un manuel clair, où les ennemis sont prévisibles et où il n'y a pas de coupures de courant soudaines. Les chercheurs appellent le travail du monde réel du travail « désordonné » (ou « messy »). Dans le monde réel, les tâches ont souvent des instructions peu claires, nécessitent de parler à d'autres personnes ou impliquent des ressources qui s'épuisent.
Lorsque l'équipe a testé l'IA sur des tâches qui étaient plus « désordonnées » (moins structurées, plus chaotiques), la performance de l'IA a chuté de manière significative. L'article suggère que, si l'IA devient excellente dans les énigmes « propres », elle pourrait encore avoir du mal avec la nature chaotique et imprévisible du quotidien d'un ingénieur logiciel. Ils n'ont trouvé aucune preuve que l'amélioration de l'IA ralentit sur les tâches désordonnées pour l'instant, mais ils préviennent que l'écart entre le « test propre » et la « réalité désordonnée » est une grande inconnue.
Que signifie cela pour l'avenir ?
Les chercheurs ont fait quelques calculs pour voir vers où mène cette courbe. Si la tendance du doublement tous les sept mois se poursuit, ils prédisent que d'ici 5 ans (entre la mi-2028 et la mi-2031), les systèmes d'IA pourraient être capables de réaliser de manière autonome des tâches logicielles qui demandent actuellement à un humain un mois (environ 167 heures de travail) pour être terminées.
Ils soulignent qu'il s'agit d'une projection, et non d'une garantie. Cela dépend du fait que l'IA continue de s'améliorer à cette vitesse exacte et que ces résultats de tests « propres » s'appliquent au monde réel « désordonné ». Si la tendance se maintient, nous pourrions voir apparaître des agents d'IA capables de travailler essentiellement comme des employés à plein temps sur des projets complexes dans un avenir proche. Mais si la tendance ralentit ou si le « désordre » de la vie réelle s'avère trop difficile, ce calendrier pourrait changer.
L'essentiel
L'article ne prétend pas que l'IA a tout résolu. Au contraire, il nous donne une nouvelle règle pour mesurer le progrès. Il montre que, pour les six dernières années, la capacité de l'IA à gérer des tâches longues et complexes a grandi à un rythme effrayant, doublant sa « journée de travail » environ tous les sept mois. Bien qu'il existe encore de grands écarts dans la façon dont elles gèrent le chaos désordonné du monde réel, la trajectoire suggère que le jour où une IA pourra effectuer un mois de travail complet de manière autonome pourrait être plus proche qu'on ne le pense.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.