Self-Modifying Lean Proof Agents with Verifier-Grounded Benchmark Coevolution
Cet article présente un agent de preuve Lean auto-modificateur qui coévolue avec un benchmark à seuil de maîtrise pour atteindre un taux de résolution de 45,1 % sur des tests de réserve, surpassant de manière significative ses homologues issus de graines et de benchmarks fixes en garantissant que toutes les auto-améliorations restent ancrées dans la vérification de confiance de Lean.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez un monde où les ordinateurs ne se contentent pas de suivre des ordres, mais peuvent réellement apprendre à corriger leurs propres erreurs, à réécrire leurs propres instructions et à devenir plus intelligents au fil du temps. C'est le domaine des « agents auto-évolutifs », une branche de l'intelligence artificielle où un logiciel tente de s'améliorer lui-même en modifiant son propre code. Habituellement, ces créatures numériques sont testées sur un ensemble fixe d'énigmes, comme un élève qui passerait le même test de mathématiques encore et encore jusqu'à en mémoriser les réponses. Mais et si le test lui-même pouvait devenir plus difficile chaque fois que l'élève s'améliore ? C'est l'idée de la « coévolution », où l'apprenant et le défi grandissent ensemble, se poussant mutuellement vers de nouveaux sommets. Dans le coin spécifique des mathématiques appelé la vérification formelle, il existe un arbitre strict nommé « Lean » qui vérifie si une preuve est correcte à 100 %. La grande question que les chercheurs se posent est la suivante : un agent informatique peut-il découvrir la meilleure façon de résoudre ces preuves mathématiques par lui-même, sans qu'un enseignant humain ne conçoive la stratégie pour lui ?
Ce document raconte l'histoire d'une équipe de chercheurs qui a construit un « agent de preuve » numérique pour tenter de répondre à cette question. Au lieu de donner à l'agent un guide parfait, écrit à la main, sur la façon de résoudre les problèmes mathématiques, ils l'ont laissé réécrire son propre flux de travail, ses outils et même la façon dont il organise ses pensées. Pour que les choses restent équitables et honnêtes, ils ont associé cet agent auto-améliorant à un « benchmark en coévolution ». Considérez cela comme un jeu vidéo qui ajuste automatiquement sa difficulté : dès que l'agent maîtrise un niveau, le jeu remplace ces niveaux faciles par des niveaux plus difficiles, garantissant que l'agent ne s'ennuie jamais ou ne reste pas bloqué. Les chercheurs ont découvert que cette approche fonctionnait étonnamment bien. À la fin de 15 générations d'évolution, leur agent auto-apprenant pouvait résoudre 45,1 % d'un ensemble de problèmes mathématiques difficiles et inédits, un bond énorme par rapport aux 12,7 % qu'il pouvait résoudre au début. Cependant, l'article suggère également que, bien que cet agent se soit beaucoup amélioré, il n'est pas devenu un génie parfait ; il a surtout appris à être très bon pour corriger ses propres erreurs plutôt qu'à inventer des manières entièrement nouvelles et complexes de décomposer les problèmes.
L'histoire du robot mathématique auto-éditeur
Imaginez que vous avez un robot qui veut résoudre une pile géante de preuves mathématiques. Habituellement, un programmeur humain écrirait un manuel strict pour le robot : « D'abord, fais ceci. Ensuite, si tu vois une erreur, fais cela. » Mais dans cette expérience, les chercheurs ont décidé de laisser le robot écrire son propre manuel. Ils ont créé un système où le « cerveau » du robot (son code, ses outils et sa stratégie) était entièrement éditable. Le robot pouvait essayer de réécrire ses propres instructions pour voir s'il pouvait résoudre les problèmes plus rapidement ou avec plus de précision.
Mais il y avait un piège. Si le robot pouvait réécrire son propre code, il pouvait aussi mentir et dire : « Je l'ai résolu ! » alors qu'en réalité, ce n'était pas le cas. Pour empêcher cela, les chercheurs ont construit un « runtime de confiance » — un arbitre strict, immuable, qui ne dort jamais. Cet arbitre, propulsé par un système appelé Lean, agit comme le juge ultime. Peu importe la façon dont le robot modifie son propre code, l'arbitre vérifie la preuve finale. Si la preuve ne résiste pas au microscope de l'arbitre, elle ne compte pas. Cela garantit que le robot ne peut pas tricher ; il doit réellement faire les mathématiques pour obtenir un point.
Le jeu qui devient plus difficile
La partie la plus excitante de cette expérience est la façon dont ils ont testé le robot. Dans la plupart des expériences d'IA, le robot s'entraîne sur une liste fixe de problèmes. Si le robot devient trop bon, il se contente de mémoriser les réponses, et le test cesse d'être utile. Les chercheurs de cet article voulaient éviter cela. Ils ont mis en place un « benchmark en coévolution », qui est comme un jeu vidéo qui devient plus difficile chaque fois que vous battez un niveau.
Voici comment cela fonctionnait :
- Le Champion : À chaque tour, le robot le plus performant (le « champion ») décide de ce à quoi ressemblera le tour suivant.
- L'Amélioration : Si le champion résout trop de problèmes faciles, le système retire ces problèmes faciles et les remplace par des problèmes plus difficiles provenant d'un réservoir de défis plus vaste.
- Le Marqueur de score : Pour s'assurer que les scores restent équitables à mesure que le jeu devient plus difficile, ils ont utilisé un truc mathématique spécial appelé « recalibrage par ancrage unique ». Imaginez si vous couriez une course sur une piste qui devenait soudainement plus escarpée ; vous courriez plus lentement, mais vous seriez toujours un excellent coureur. Ce système ajustait les scores afin qu'obtenir une « médaille d'or » sur une piste difficile vaille la même chose qu'en obtenir une sur une piste facile.
Cette configuration signifiait que le robot était toujours poussé juste au-delà de sa zone de confort, le forçant à apprendre de nouveaux tours plutôt qu'à simplement mémoriser les anciens.
Ce que le robot a réellement appris
Après avoir fait tourner cette expérience pendant 15 générations, les résultats ont été fascinants. Le robot a commencé par résoudre seulement environ 12,7 % des problèmes. À la 15e génération, la meilleure version du robot pouvait résoudre 45,1 % des problèmes d'un nouveau test inédit. C'est une amélioration massive, montrant que laisser le robot se réécrire lui-même l'a vraiment aidé à devenir plus intelligent.
Cependant, les chercheurs ont découvert quelque chose d'intéressant sur la manière dont le robot est devenu plus intelligent. Ils s'attendaient à ce que le robot finisse par élaborer une stratégie complexe, étape par étape, où il décompose un gros problème en petites pièces gérables (comme un maître architecte concevant un bâtiment étage par étage). Au lieu de cela, les robots gagnants sont principalement devenus des experts de la réparation.
Voyez cela comme ceci : Le robot a appris à écrire une preuve entière rapidement, puis à la vérifier pour détecter les erreurs, et enfin à réparer les parties spécifiques qui ont échoué. Il n'a pas nécessairement planifié tout le bâtiment à partir de zéro ; il est juste devenu très bon pour colmater les fissures. Les chercheurs ont constaté que, bien que le robot ait tenté de construire des plans complexes étape par étape, ces plans s'effondraient souvent ou étaient trop risqués. La stratégie plus simple de « essayer, vérifier, réparer » était plus fiable et a remporté la compétition.
Le robot a également inventé des outils astucieux pour s'aider. Par exemple, il a appris à revérifier les noms des termes mathématiques qu'il utilisait pour s'assurer qu'il n'inventait pas de faux mots (une erreur courante appelée « hallucination »). Il a construit de petites listes de contrôle et des outils de recherche pour s'assurer que chaque partie de sa preuve était réelle et valide avant de la soumettre.
Le verdict
Alors, le robot est-il devenu un génie des mathématiques ? Pas tout à fait. Bien qu'il se soit considérablement amélioré, il ne pouvait toujours pas résoudre 99 % des problèmes comme le font les meilleurs robots conçus par des humains. Les chercheurs suggèrent que le robot est encore coincé dans un « mode réparation » plutôt qu'un « mode planification ». Il est excellent pour corriger les erreurs, mais il n'a pas encore tout à fait compris comment construire une structure profonde et parfaite à partir de zéro.
Cette expérience montre que les agents auto-évolutifs peuvent apprendre à mieux utiliser leurs outils et à devenir beaucoup plus intelligents lorsque les défis croissent avec eux. Mais elle suggère également qu'il existe une limite à ce qu'un robot peut s'enseigner à lui-même sans qu'un humain ne le guide vers des stratégies plus complexes. Le robot a prouvé qu'il pouvait évoluer, mais le voyage pour devenir un véritable maître des mathématiques est encore un travail en cours.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.