From Checklists to Clusters: A Homeostatic Account of AGI Evaluation

Imaginez que vous essayiez de comprendre ce qui rend une personne « intelligente ». Pendant longtemps, les scientifiques ont tenté de mesurer cela en soumettant les gens à une liste géante de tâches différentes : résoudre des énigmes mathématiques, mémoriser des histoires, repérer des motifs dans des formes ou comprendre le langage. Ils appellent cela des « domaines ». L'idée est que si vous réussissez bien dans tous ces domaines, vous avez une intelligence élevée. Mais il y a un piège : lorsque nous administrons ces tests, nous traitons généralement chaque tâche comme si elle avait la même importance. C'est comme noter un élève en accordant le même poids à sa capacité à lacer ses chaussures qu'à sa capacité à écrire un poème. De plus, ces tests sont généralement des « instantanés ». Vous passez le test une fois, vous obtenez un score, et c'est tout. Vous ne savez pas si l'élève sera toujours capable de résoudre l'énigme la semaine suivante, ou s'il s'effondrera si vous rendez le test un peu plus difficile ou si vous attendez quelques jours avant qu'il ne le retente.

C'est le monde de l'évaluation de l'Intelligence Artificielle Générale (IAG). L'IAG est le rêve de construire un ordinateur aussi intelligent et flexible qu'un humain, capable d'apprendre et de résoudre des problèmes dans n'importe quelle situation, et pas seulement dans celle pour laquelle il a été programmé. Actuellement, les chercheurs testent ces systèmes d'IA en utilisant ces mêmes listes de contrôle par « instantanés ». Mais si nous voulons savoir si une IA est véritablement « généralement » intelligente, nous devons savoir si son intelligence est réelle et durable, ou s'il ne s'agit que d'un coup de chance qui se brise dès que les choses deviennent stressantes. Cet article pose une grande question : comment arrêter de simplement compter les points pour commencer à mesurer la stabilité d'un esprit de machine ?

Les auteurs de cet article suggèrent que la façon dont nous testons actuellement l'IA est un peu comme juger une voiture uniquement sur sa vitesse en ligne droite par une journée ensoleillée. Elle peut paraître rapide, mais cela ne nous dit pas si le moteur tiendra bon sur une route cahoteuse ou si les freins fonctionneront lorsqu'il pleuvra. Ils soutiennent que la véritable intelligence — qu'elle soit humaine ou artificielle — n'est pas seulement une liste de compétences. Au lieu de cela, elle ressemble davantage à un amas de propriétés homéostatiques. C'est une façon sophistiquée de dire qu'il s'agit d'un groupe de capacités qui restent liées parce qu'il existe des mécanismes internes qui les maintiennent connectées, même quand les choses deviennent désordonnées ou changent.

Pensez à l'intelligence comme à un feu de camp bien construit. Les « domaines » (mathématiques, langage, logique) sont les bûches. Mais le feu lui-même est la chaleur et la flamme qui maintiennent toutes les bûches en combustion. Si vous empilez simplement les bûches (les compétences) sans avoir le mécanisme pour les maintenir en feu (la partie homéostatique), un peu de vent (un facteur de stress ou un délai) éteindra le feu. L'article suggère que les tests actuels vérifient seulement si les bûches sont présentes, mais ignorent si le feu peut survivre à une rafale de vent.

Les auteurs proposent deux changements principaux pour corriger cela. Premièrement, ils affirment que nous ne devrions pas traiter chaque question de test comme étant d'égale importance. Tout comme certaines bûches sont plus denses et brûlent plus fort, certaines compétences sont plus « centrales » pour maintenir la stabilité de l'ensemble du feu. Ils suggèrent d'utiliser une nouvelle méthode de notation appelée score de centralité a priori (centrality-prior score). Cela reviendrait à pondérer les tests en fonction de la manière dont une compétence spécifique aide à maintenir la stabilité de l'ensemble du système, en empruntant des idées à la façon dont l'intelligence humaine est déjà étudiée. C'est comme noter un élève plus lourdement sur sa capacité à apprendre de nouvelles choses que sur sa capacité à mémoriser un fait isolé.

Deuxièmement, ils veulent cesser de compter sur des instantanés uniques. À la place, ils proposent un Indice de Stabilité de l'Amas (Cluster Stability Index). Il ne s'agit pas seulement d'obtenir un score élevé une fois ; il s'agit de prouver que l'IA peut maintenir ce score au fil du temps et sous la pression. Ils suggèrent de tester l'IA de trois manières spécifiques :

1. Persistance du profil : L'IA se souvient-elle de la façon de faire les choses des jours ou des semaines plus tard ?
2. Apprentissage durable : Si on lui enseigne quelque chose de nouveau, est-ce que cela reste, ou oublie-t-elle immédiatement ?
3. Correction d'erreurs : Si l'IA commet une erreur, peut-elle la corriger par elle-même sans planter ?

L'article ne prétend pas avoir construit un test parfait ni que nous avons déjà résolu le problème de la mesure de l'IAG. Au contraire, les auteurs suggèrent que ces nouvelles méthodes seraient meilleures. Ils offrent un plan directeur pour que les laboratoires puissent essayer ces idées. Ils proposent que ces tests puissent être réalisés même si les laboratoires ne savent pas exactement comment l'IA est construite à l'intérieur (une approche de « boîte noire »). Ils font également des prédictions sur ce qui se passerait si nous utilisions ces nouveaux tests, suggérant que de nombreux systèmes d'IA actuels pourraient paraître très différents — peut-être moins « généralement » intelligents et plus fragiles — une fois que nous commencerons à vérifier la stabilité et la résistance au stress.

En résumé, l'article soutient que nous devons passer de la simple case à cocher à la vérification que le feu reste allumé. En accordant plus de poids aux compétences importantes et en testant si l'IA peut gérer les délais et les erreurs, nous pourrons peut-être enfin obtenir une image plus claire de savoir si une machine est véritablement intelligente ou si elle ne fait que faire semblant.