Frontier AI Forecasting Has a Measurement Problem: An Audit of Progress Evidence

Nous vivons dans une ère où les capacités de l'intelligence artificielle sont souvent prédites avec la précision d'une prévision météorologique. Les experts observent la vitesse à laquelle les ordinateurs progressent, la quantité de données qui leur sont injectées et la manière dont ils performent lors de tests standardisés pour deviner quand les machines atteindront un raisonnement de niveau humain ou même le surpasseront. Ces prédictions prennent généralement la forme d'une date précise sur un calendrier, suggérant que, d'ici une certaine année, une IA sera capable de résoudre un problème complexe ou d'accomplir une tâche spécifique. La logique semble directe : si vous pouvez mesurer la vitesse d'une voiture, vous pouvez calculer quand elle arrivera à destination. Mais cette approche repose sur une hypothèse cachée : que la règle utilisée pour mesurer la vitesse est la même qu'hier, et que le compteur de vitesse fonctionne correctement pour chaque voiture sur la route.

Une nouvelle analyse de Fabricio F. Costa remet en question cette hypothèse. L'article ne soutient pas que prédire l'avenir de l'IA est impossible, mais plutôt que la façon dont nous essayons de le faire actuellement repose sur des fondations fragiles. L'auteur a mené un audit rigoureux des registres publics utilisés pour établir ces prévisions, traitant les données non pas comme une ligne lisse sur un graphique, mais comme une collection d'événements, de mesures et de sources individuels. L'enquête révèle que le lien entre les ressources utilisées pour construire ces systèmes et leur performance réelle est bien plus fragmenté que ne le suggèrent les prévisions populaires. L'étude conclut que les preuves étayant ces prédictions sont souvent incomplètes, incohérentes et fortement dépendantes d'une source unique d'information, faisant des dates spécifiques souvent citées dans les médias davantage une conjecture qu'une conclusion scientifique.

Pour comprendre l'ampleur du problème, il faut d'abord examiner comment ces prévisions sont typiquement construites. Les chercheurs tentent généralement de lier deux éléments : la quantité de puissance de calcul utilisée pour entraîner un modèle et les résultats qu'il obtient lors d'un test de référence (benchmark). Un benchmark est simplement un ensemble standardisé de questions ou de tâches conçu pour mesurer une compétence spécifique, comme répondre à des questions de culture générale ou résoudre des problèmes mathématiques. L'idée est qu'en donnant plus de puissance de calcul à un modèle, son score à ces tests augmente de manière prévisible. Si l'on peut cartographier cette relation, on peut projeter vers l'avant pour voir quand le score atteindra un certain seuil. Cependant, pour que cette projection soit valide, il est nécessaire de disposer de points de données où la puissance de calcul et le score de performance sont connus pour le même système.

Lorsque l'auteur a examiné le registre public de soixante-deux systèmes d'intelligence artificielle majeurs, un écart significatif est apparu. Bien que l'information sur la puissance de calcul utilisée soit disponible pour de nombreux systèmes, elle manquait pour un grand nombre des modèles les plus avancés et à code fermé (closed-source). Inversement, les scores de performance provenant d'un programme de mesure spécifique et largement cité, appelé METR, étaient disponibles pour de nombreux modèles fermés mais totalement absents des systèmes en code ouvert (open-source). Cela a créé une situation où les deux pièces de données nécessaires pour tracer une ligne — le « carburant » et la « vitesse » — n'existaient que rarement ensemble pour la même machine. Dans l'ensemble des soixante-deux systèmes, seuls sept possédaient à la fois l'estimation de la puissance de calcul et le score de performance enregistrés. Cela signifie que les courbes lisses souvent observées dans les prévisions sont en réalité tracées à travers seulement quelques points de données, tandis que le reste du paysage est un espace vide.

Le problème s'aggrave lorsque l'on considère que les tests eux-mêmes ne sont pas statiques. Tout comme une règle pourrait être remplacée par une nouvelle avec des graduations légèrement différentes, les benchmarks utilisés pour mesurer l'IA sont constamment mis à jour, révisés ou remplacés pour empêcher les modèles de simplement mémoriser les réponses. L'audit a examiné comment ces différentes versions de tests sont liées les unes aux autres. Il a révélé que lorsque l'on tente de comparer les scores d'une ancienne version d'un test à une nouvelle version, la relation n'est pas toujours un simple décalage linéaire. Parfois, le nouveau test mesure quelque chose de légèrement différent, ou la difficulté change de telle sorte que les scores bondissent ou chutent de manière inattendue. L'étude a testé cela en observant les performances de systèmes sur deux versions d'un test populaire et a constaté que la connexion entre les anciens scores et les nouveaux dépendait fortement de la méthode mathématique utilisée pour la comparaison. Dans certains cas, la nouvelle version semblait montrer une amélioration beaucoup plus forte que l'ancienne, tandis que dans d'autres, l'amélioration paraissait nulle. Cela suggère qu'une hausse de score ne signifie pas toujours que l'IA est devenue plus intelligente ; cela peut simplement signifier que le test a changé.

Un autre problème critique identifié est la concentration des preuves. La grande majorité des points de données spécifiques utilisés pour suivre le progrès de l'IA provient d'un seul programme de mesure. Sur les soixante et onze événements quantitatifs majeurs enregistrés lors de l'audit, cinquante-deux provenaient d'une seule source. C'est comme essayer de comprendre les modèles météorologiques d'un continent entier en se fiant aux relevés de température d'une seule ville. Bien que cette ville puisse être précise, elle ne vous dit pas si le reste du continent connaît les mêmes conditions. L'audit a également noté que beaucoup de ces mesures proviennent de publications de laboratoire plutôt que de tests en conditions réelles. En laboratoire, les conditions sont contrôlées, mais dans le monde réel, l'IA interagit avec des environnements imprévisibles, des utilisateurs variés et des niveaux de support divers. L'article soutient que le fait de s'appuyer sur une source unique et un type de test unique crée un faux sentiment de certitude, où la confiance dans une prévision est élevée simplement parce que les données semblent cohérentes, même si elles ne sont pas réellement indépendantes.

L'auteur a également examiné la puissance des tests statistiques utilisés pour lier ces différentes mesures. L'analyse a montré que les ensembles de données actuels sont souvent trop réduits pour détecter quoi que ce soit d'autre que des changements très importants. Si la relation entre la puissance de calcul et la performance changeait de façon minime, les registres actuels passeraient probablement totalement à côté. L'étude a calculé que pour détecter de manière fiable un léger changement dans la façon dont ces systèmes progressent, les chercheurs auraient besoin de tester beaucoup plus de systèmes simultanément sur les anciens et les nouveaux benchmarks. Sans cet ensemble de données plus large et plus diversifié, toute prévision affirmant savoir exactement quand un jalon spécifique sera atteint est essentiellement une supposition.

L'article ne suggère pas que nous devions cesser de tenter de mesurer le progrès de l'IA. Au contraire, il appelle à une approche plus honnête et complexe. Plutôt que d'essayer de faire entrer toutes les capacités de l'IA dans un seul chiffre ou une seule date, l'auteur propose un « portefeuille » de mesures. Cela impliquerait de suivre plusieurs éléments simultanément : la quantité d'énergie et d'argent nécessaire pour faire fonctionner un modèle, sa fiabilité sur de longues périodes, ses performances dans des tâches réelles et sa gestion des risques de sécurité. Cela nécessiterait également un système où différents groupes de recherche testent les mêmes modèles en utilisant des méthodes différentes pour garantir que les résultats ne sont pas simplement l'artéfact d'un laboratoire ou d'un test spécifique. L'objectif est de passer de l'idée d'une règle unique et parfaite à une collection d'outils capables de mesurer différents aspects de l'intelligence avec leurs propres incertitudes.

Enfin, l'étude conclut qu'une prévision défendable sur l'avenir de l'intelligence artificielle doit être transparente sur ce qu'elle mesure et sur la manière dont elle le mesure. Elle doit admettre là où les données manquent, là où les tests ont changé et d'où proviennent les preuves. Une prédiction qui donne simplement une date sans expliquer le système de mesure sous-jacent n'est pas une affirmation scientifique ; c'est une supposition. Le papier exhorte le domaine à traiter le système de mesure lui-même comme faisant partie de la prévision, en reconnaissant que la date n'est significative qu'à la hauteur de la règle utilisée pour la trouver. Tant que la communauté ne pourra pas construire un registre où la puissance de calcul, la performance et les résultats réels sont mesurés de manière cohérente et indépendante à travers de nombreux systèmes différents, la partie la plus précise de toute prévision sera la date sur le calendrier, tandis que la partie la moins précise sera ce qui est réellement mesuré en chemin.