ASI-Bench: At the Dawn of Artificial Superintelligence

Le voyage vers une machine capable de penser comme un humain s'est longtemps concentré sur la capacité des ordinateurs à mémoriser des faits, à résoudre des énigmes connues ou à suivre un ensemble d'instructions pour parvenir à une réponse spécifique. Pendant des années, les systèmes d'intelligence artificielle les plus avancés ont excellé dans ces tâches, absorbant de vastes bibliothèques de connaissances humaines et les appliquant avec une vitesse incroyable. Mais il existe un autre type d'intelligence qui reste largement hors de portée : la capacité de s'aventurer dans l'inconnu, de regarder un problème complexe et inexpliqué, et de découvrir non seulement la réponse, mais le chemin même pour la trouver. C'est le domaine de la découverte scientifique, où l'objectif n'est pas de se rappeler une formule, mais d'en inventer une, de concevoir une expérience et de transformer une question vague en un résultat vérifié. La question qui motive une nouvelle étude est de savoir si les machines actuelles peuvent réellement faire cela seules, ou si elles dépendent encore entièrement des humains pour les tenir par la main à chaque étape du processus.

Une équipe de chercheurs issus d'universités et d'instituts du monde entier a construit un nouveau terrain d'essai appelé ASI-Bench pour répondre à cette question. Ils ont créé soixante projets de recherche complexes répartis dans onze domaines différents de la science, allant de la physique et de la chimie à la biologie et à l'ingénierie. Chaque projet a été conçu pour imiter une véritable investigation scientifique, comprenant des données brutes, un objectif spécifique et l'exigence de produire une solution fonctionnelle. Le génie de la conception réside dans la manière dont ils ont testé les machines. Pour chaque projet de recherche, ils ont fait passer le même système d'IA quatre fois, mais en modifiant la quantité d'aide apportée. Dans le premier scénario, l'IA recevait un manuel complet, étape par étape, sur la manière exacte de résoudre le problème. Dans le second, on ne lui indiquait que la méthode générale à utiliser, comme si on lui disait d'« utiliser un marteau » sans lui montrer comment le balancer. Dans le troisième, l'IA ne recevait que le problème et les données, sans aucune instruction sur la marche à suivre, la forçant ainsi à décider de la méthode elle-même. Enfin, dans le quatrième scénario, ils ont ajouté une couche d'informations confuses et non pertinentes pour voir si la machine pouvait rester concentrée sur la tâche réelle.

Les résultats révèlent une réalité brutale sur l'état actuel de l'intelligence artificielle. Lorsque les machines recevaient des instructions complètes, elles performaient de manière raisonnable, obtenant une moyenne d'environ cinquante et un sur cent. Cependant, dès que les chercheurs ont supprimé le guidage étape par étape et ont demandé à l'IA de déterminer la procédure par elle-même, la performance s'est effondrée. Lorsque l'IA devait choisir la méthode elle-même, le score moyen est tombé à environ vingt-sept. Ce déclin brutal suggère que si les systèmes actuels sont excellents pour suivre un chemin que les humains ont déjà tracé, ils éprouvent d'immenses difficultés à construire la route eux-mêmes. Le plus grand obstacle n'était pas de choisir le bon outil, mais plutôt de traduire une idée générale en un plan détaillé et opérationnel. Même lorsque l'IA savait quelle méthode utiliser, elle échouait souvent à construire les étapes nécessaires pour la faire fonctionner, ce qui faisait chuter les scores de manière significative lorsque les instructions détaillées étaient supprimées.

Les chercheurs ont également découvert que l'ajout d'informations supplémentaires et distrayantes ne confondait pas les machines autant que la suppression des instructions. Lorsque l'IA était confrontée à la même tâche difficile mais avec une pile de faits et de bavardages sans rapport ajoutés au prompt, sa performance restait presque exactement la même que lorsqu'elle n'avait aucune instruction. Cela indique que la principale faiblesse des systèmes actuels n'est pas un manque de concentration ou une incapacité à filtrer le bruit, mais une incapacité fondamentale à opérer sans une feuille de route définie par l'humain. L'étude impliquait dix-huit combinaisons différentes de modèles d'IA et d'agents logiciels, et même la configuration la plus avancée, qui utilisait le raisonnement le plus puissant disponible, n'a réussi à obtenir qu'environ cinquante-deux lorsqu'elle était laissée à elle-même. C'est un succès modeste, mais cela est loin de la fiabilité requise pour qu'une machine puisse mener des recherches scientifiques indépendantes.

Le coût de cette indépendance est également élevé. Lorsque l'IA devait déterminer les étapes par elle-même, elle consommait nettement plus de puissance de calcul et de temps que lorsqu'elle se contentait de suivre des ordres. Dans certains cas, le système utilisait près de soixante pour cent de ressources informatiques supplémentaires juste pour tenter la même tâche sans guide, se retrouvant souvent bloqué dans des boucles ou tentant des chemins inefficaces. Cela suggère que la véritable autonomie n'est pas seulement une question d'intelligence, mais d'efficacité ; sans guidage humain, les machines gaspillent de vastes quantités d'efforts pour résoudre des problèmes qu'elles auraient pu résoudre rapidement si on leur avait indiqué comment faire. L'étude conclut que nous sommes encore loin de l'aube de la superintelligence artificielle, un état où les machines pourraient explorer l'inconnu et créer de nouvelles connaissances sans intervention humaine. Au lieu de cela, nous sommes dans une phase où les machines sont des assistants puissants capables d'exécuter des tâches complexes, mais elles dépendent encore lourdement des humains pour définir la stratégie.

Ce nouveau benchmark n'est pas destiné à être un jugement final, mais plutôt un point de départ pour la communauté scientifique. Les chercheurs ont mis leurs soixante tâches et leurs méthodes de test à la disposition du monde entier, invitant d'autres scientifiques et ingénieurs à apporter de nouveaux problèmes et à tester leurs propres systèmes face à ces défis. Ils pensent qu'en ajoutant continuellement de nouveaux projets de recherche difficiles et en affinant les tests, la communauté pourra suivre les progrès plus précisément. L'objectif est d'aller au-delà des simples tests de mémoire et de logique vers un futur où nous pourrons mesurer si une machine peut véritablement penser comme un scientifique, capable de naviguer dans l'inconnu et de transformer une page blanche en une découverte. Pour l'instant, les données montrent que bien que nos machines deviennent plus intelligentes, elles attendent encore que nous leur disions quoi faire ensuite.