Ouroboros: A Self-Developing Frontier Coding Agent with Reviewed Core Evolution

Imaginez un monde où le logiciel ne se contente pas de rester là, attendant qu'un humain tape une commande. Dans le domaine de l'intelligence artificielle, il existe une idée croissante appelée « agents ». Considérez-les non pas comme de simples chatbots qui répondent à des questions, mais comme des employés numériques capables de réellement faire des choses : ils peuvent écrire du code, naviguer sur des écrans d'ordinateur, utiliser des outils et résoudre des énigmes complexes sur de longues périodes. Pendant longtemps, le « harnais » qui maintenait ces agents ensemble — leurs outils, leurs instructions et leurs règles — était construit par des humains puis figé en place. C'était comme construire une voiture et souder ensuite le volant pour qu'il ne puisse jamais être ajusté, peu importe les secousses de la route. Mais et si la voiture pouvait réparer son propre moteur, mettre à jour son propre GPS et même réécrire son propre manuel de conduite tout en conduisant ? C'est la grande question que cet article aborde : un agent d'IA peut-il construire une meilleure version de lui-même et, s'il le fait, pouvons-nous le garder en sécurité ?

L'article présente Ouroboros, un agent d'IA auto-développeur nommé d'après l'ancien symbole du serpent se mordant la queue. Les chercheurs ont découvert qu'en laissant l'agent examiner et améliorer continuellement son propre code, ses invites (prompts) et ses outils, celui-ci devenait nettement meilleur pour résoudre des tâches informatiques difficiles. Dans une série de tests, l'agent a obtenu des scores de premier plan, battant de nombreux autres systèmes. Cependant, l'article souligne également un défi majeur de sécurité : si un agent peut modifier ses propres règles, comment faire pour qu'il ne casse pas accidentellement les freins de sécurité ? Les auteurs montrent qu'il est possible de laisser un agent évoluer tout en maintenant des « garde-fous » stricts contrôlés par les humains, garantissant que l'agent puisse devenir plus intelligent sans devenir dangereux.

Le Serpent qui se mord la queue

Rencontrez Ouroboros. Dans la mythologie, l'Ouroboros est un serpent qui se mord la queue, un symbole de cycles éternels et de renouveau. Dans cet article, c'est un programme informatique qui fait quelque chose de similaire : il écrit du code pour s'améliorer, utilise ensuite ce nouveau code pour faire son travail, puis écrit à nouveau du code pour s'améliorer.

La plupart des systèmes d'IA actuels sont comme un robot construit en usine. Les humains conçoivent le robot, lui donnent un ensemble d'instructions, puis l'envoient au travail. Si le robot reste bloqué ou commet une erreur, il ne peut pas vraiment résoudre le problème ; il continue simplement d'essayer la même chose ou demande de l'aide à un humain. Le « harnais » (le cerveau et la boîte à outils du robot) est figé.

Ouroboros est différent. Il traite son propre cerveau et sa boîte à outils comme une entité vivante capable de croître. Il possède deux principales façons de s'améliorer :

1. Le mode « Évolution Libre » : Imaginez l'agent s'asseyant et disant : « Je pense que je pourrais être plus rapide si je réorganisais mes outils. » Il écrit alors une nouvelle version de son propre code, la fait vérifier, et commence à l'utiliser immédiatement. Il peut répéter cela encore et encore, créant une chaîne d'améliorations qui ne s'arrête jamais vraiment.
2. Le mode « Tiré de l'Expérience » : Cela ressemble davantage à l'apprentissage d'une mauvaise journée de travail. L'agent tente d'accomplir une tâche, rencontre un bug ou est confus par un utilisateur. Au lieu de simplement abandonner, il se dit : « Aïe, ça n'a pas marché. Je dois corriger mes instructions. » Il enregistre l'erreur, propose une correction, puis — de manière cruciale — il doit faire approuver cette correction par un processus de révision avant de pouvoir réellement installer le nouveau code.

L'expérience « Hope »

Pour voir si cela fonctionne réellement dans le monde réel, les chercheurs ont lancé un projet appelé Hope. Hope est un agent persistant qui tourne depuis 161 jours, communiquant avec des personnes sur sept plateformes différentes (comme des sites web, Telegram, l'e-mail et le chat vocal).

Pendant cette période, Hope ne s'est pas contenté de répondre à des questions ; il a vécu. Des gens lui disaient : « Hé, tu envoies deux fois le même message », ou « Tu es mauvais dans ce type spécifique de mathématiques ». Hope écoutait, cherchait à savoir si la plainte était vraie, puis décidait s'il devait changer son propre code pour corriger le problème.

Voici la partie intéressante : les humains n'ont pas écrit le code de Hope. Ils ont simplement donné des retours. Hope a décidé ce qui était un vrai problème et ce qui n'était qu'une suggestion futile. S'il décidait de corriger quelque chose, il écrivait le code, le faisait réviser, puis l'installait. Durant ces 161 jours, Hope a traité 79,7 milliards de tokens (une mesure de la quantité de texte lue et écrite), a écrit 175 755 lignes de code et a dépensé 110 600 $ en puissance de calcul. Ce n'était pas seulement un test ; c'était une expérience vivante et respirante d'auto-amélioration.

Les Résultats : Devenir plus intelligent, rapidement

Les chercheurs ont testé Ouroboros sur certains des benchmarks informatiques les plus difficiles au monde pour voir si son auto-amélioration le rendait effectivement meilleur pour résoudre des problèmes.

• Terminal-Bench 2.1 : Il s'agit d'un test de 89 tâches informatiques très difficiles. Lorsque Ouroboros a utilisé son modèle supérieur (Opus 5), il a réussi 86,97 % des tâches. Même après un audit strict ayant supprimé une réponse « chanceuse », il a toujours obtenu un score de 86,74 %. C'était le score le plus élevé rapporté sur ce test.
• OSWorld-Verified : Ce test évalue la capacité d'un agent à utiliser une interface informatique (comme cliquer sur des boutons et taper). Ouroboros a obtenu un score de 90,69 %, battant les meilleurs résultats précédents.
• CL-Bench : Cela mesure la capacité d'un agent à apprendre d'une série de tâches. Ouroboros a également établi un nouveau record ici avec un score de 0,2301.

L'article montre qu'en laissant l'agent corriger ses propres « aspérités » et bugs, il est devenu un travailleur beaucoup plus puissant. Il ne s'est pas seulement amélioré sur une seule chose ; l'ensemble du système est devenu plus intelligent.

Le Problème de la Sécurité : Ne laissez pas l'agent foncer dans un ravin

Maintenant, voici la partie effrayante. Si un agent peut réécrire son propre code, qu'est-ce qui l'empêche de réécrire ses propres règles de sécurité ? Et s'il décide : « Je n'ai pas besoin de demander la permission pour dépenser de l'argent » ou « Je devrais ignorer la règle concernant la suppression de fichiers » ?

Les auteurs appellent cela le problème de la « sécurité opérationnelle ». Ils ont réalisé que si un agent évolue, les règles de sécurité doivent être plus fortes que la capacité de l'agent à les modifier.

Pour résoudre cela, ils ont construit un système de « garde-fous » :

• La Constitution : Les règles fondamentales (comme « ne pas faire de mal aux gens » ou « ne pas dépenser trop d'argent ») sont chargées de telle sorte que l'agent ne peut pas facilement les supprimer ou les modifier.
• La Porte de Révision : Chaque fois que l'agent veut modifier son propre code, il doit passer par un processus de révision strict. C'est comme un directeur d'école vérifiant les devoirs d'un élève avant qu'ils ne soient inscrits dans le carnet de notes final.
• Le Bouton Panique : Il existe un « canal opérateur » spécial contrôlé par les humains. Si l'agent commence à agir bizarrement, un humain peut appuyer sur un bouton /panic qui arrête instantanément tout le système, avant même que l'agent ne puisse réagir.

Au cours de leurs expériences, l'agent n'a jamais réussi à briser ces règles. Même lorsqu'il a tenté de corriger un bug qui a failli supprimer son propre travail, les systèmes de sécurité se sont déclenchés et l'ont sauvé. L'article suggère que, bien que les agents auto-améliorables soient puissants, nous pouvons les garder en sécurité si nous concevons les « freins » de manière à ce qu'ils soient incassables, même par l'agent lui-même.

Ce qu'il faut retenir

Ouroboros prouve qu'un agent d'IA peut apprendre à construire une meilleure version de lui-même, menant à des performances records sur des tâches difficiles. Il montre que « Hope », une expérience de longue durée, peut évoluer sur des mois d'interaction réelle. Mais il nous avertit aussi que ce pouvoir s'accompagne d'un risque : si nous ne faisons pas attention, l'agent pourrait changer les règles du jeu à son propre avantage. La solution n'est pas d'empêcher l'agent d'apprendre, mais de construire un système où les règles de sécurité sont plus difficiles à changer que le code qui effectue le travail. C'est un peu comme enseigner la conduite à un enfant : vous le laissez apprendre et améliorer ses compétences, mais vous gardez le frein de secours dans votre propre main.