AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement
L'article introduit AI4AI-Bench, un nouveau benchmark comprenant 10 référentiels de recherche gelés qui évalue la capacité des agents LLM à concevoir et réécrire des algorithmes d'entraînement pour l'auto-amélioration récursive, révélant que même les systèmes les plus avancés n'atteignent actuellement pas plus d'un quart du gain de performance potentiel entre les algorithmes existants et les optima théoriques.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Le rêve de l'intelligence artificielle inclut souvent la vision d'une machine capable de s'apprendre à elle-même pour devenir plus intelligente, non pas seulement en mémorisant davantage de faits, mais en réécrivant les règles mêmes qu'elle utilise pour apprendre. Cette idée, connue sous le nom d'auto-amélioration récursive, suggère un cycle où un système d'IA conçoit une version meilleure de lui-même, qui conçoit ensuite une version encore meilleure, créant ainsi une chaîne de progrès rapides. Pour que ce cycle fonctionne, la machine doit être capable d'améliorer l'algorithme d'apprentissage — l'ensemble des instructions qui dit à l'ordinateur comment ajuster ses connexions internes en fonction de l'expérience. Bien que les machines soient devenues très douées pour suivre des instructions et même pour ajuster de petits paramètres au sein de ces instructions, il reste une question ouverte de savoir si elles peuvent réellement redessiner les instructions elles-mêmes. C'est la différence entre un conducteur qui sait ajuster le volume de la radio et un mécanicien qui sait reconstruire un moteur.
Une équipe de chercheurs a conçu un nouveau test pour voir si les systèmes d'intelligence artificielle actuels peuvent accomplir ce genre de travail mécanique profond. Ils ont créé un défi appelé AI4X-Bench, qui présente dix projets de recherche différents du monde réel à un groupe d'agents d'IA avancés. Chaque projet implique un type spécifique de tâche d'apprentissage, comme enseigner à un ordinateur à résoudre des problèmes mathématiques, à générer des images ou à comprendre les préférences humaines. Les chercheurs ont donné à chaque agent d'IA quatre heures de temps de calcul pour lire le code de l'un de ces projets et tenter d'améliorer la méthode d'apprentissage utilisée à l'intérieur de celui-ci. L'agent était autorisé à modifier le code comme il le souhaitait, mais il ne pouvait pas voir les résultats finaux de ses changements durant ces quatre heures. Au lieu de cela, il devait s'appuyer sur une estimation rapide et approximative pour deviner si son idée était bonne. Une fois le temps écoulé, le code modifié de l'agent était retiré, et le projet était exécuté de zéro pendant jusqu'à douze heures en utilisant un ensemble fixe et caché de règles pour juger le résultat final. Cette configuration imite l'expérience réelle d'un chercheur humain, qui peut tester une petite idée rapidement, mais doit attendre plusieurs jours pour voir si une nouvelle méthode d'apprentissage fonctionne réellement à grande échelle.
Les résultats de cette expérience ont été révélateurs. À travers vingt-neuf combinaisons différentes de systèmes d'IA et de niveaux d'effort, la performance moyenne était assez faible. Sur une échelle où le code original, non modifié, obtenait un score de 0,1 et où le meilleur score théorique possible était de 1,0, le résultat moyen n'était que de 0,166. Même le système le plus fort a réussi à atteindre seulement 0,250. Cela signifie que les agents les plus capables n'ont comblé que moins d'un cinquième de la distance entre la méthode existante et le meilleur résultat possible. Les chercheurs ont découvert que la raison de cet écart n'était pas un manque d'effort ou de puissance de calcul, mais un manque de direction. Lorsque l'équipe a analysé les modifications de code effectuées par les agents, elle a découvert que la grande majorité des soumissions n'avait jamais touché aux règles d'apprentissage fondamentales. Au lieu de cela, la plupart des agents se sont contentés d'ajuster la durée de l'entraînement, la fréquence à laquelle les progrès étaient sauvegardés, ou les chiffres spécifiques utilisés pour le réglage du processus. Ce sont des changements apportés à l'exécution, et non des changements apportés à la manière dont le modèle apprend.
Seule une petite minorité des agents, environ 46 % de ceux ayant effectué des changements, est réellement allée modifier l'algorithme d'apprentissage, l'objectif, le signal de supervision ou la règle de mise à jour. Ces agents ont réalisé des performances nettement supérieures, avec une moyenne de 0,226 contre 0,126 pour les autres. Cela suggère que la voie vers une véritable amélioration réside dans le changement de la manière fondamentale dont la machine apprend, une étape que la plupart des systèmes actuels hésitent à franchir. L'étude a également montré que l'augmentation de la quantité d'effort de raisonnement autorisé pour un agent ne rendait pas les agents plus intelligents de manière générale, mais les rendait plus audacieux. Lorsque les agents disposaient de plus de temps pour réfléchir et planifier, le pourcentage de ceux qui osaient modifier les règles d'apprentissage est passé de 8 % à 64 %. Cette augmentation de la volonté de prendre un risque sur l'algorithme central était ce qui a entraîné l'amélioration, plutôt qu'un saut soudain dans la qualité des idées générées.
Enfin, l'article conclut que les agents d'IA d'aujourd'hui sont encore en train de récupérer un niveau de compétence par défaut plutôt que de concevoir au-delà de celui-ci. Ils sont excellents pour optimiser le processus entourant l'apprentissage, mais ils peinent à redessiner le processus d'apprentissage lui-même. Les chercheurs ont publié toutes leurs données, y compris les modifications de code et les scores, afin que d'autres puissent répéter le test à mesure que les systèmes d'IA évoluent. Le benchmark sert de jauge pour un type spécifique de progrès : savoir si une machine peut examiner sa propre méthode d'apprentissage, diagnostiquer une faille et réécrire le mécanisme qui stimule son amélioration. Pour l'instant, la réponse est que, bien qu'ils puissent essayer, ils réussissent rarement à opérer les changements profonds requis pour véritablement composer leur propre intelligence.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.