💻 computer science

How to Realize Recursively Self-Improving Agents and Personal Singularity: A Goal-, Scope-, Tool-, and Benchmark-Driven Multi-Agent Architecture

Ce document de positionnement et de conception de systèmes propose une architecture multi-agents gouvernée pour des agents s'auto-améliorant de manière récursive qui atteint la « singularité personnelle » — un objectif de co-développement humain-IA borné — en formalisant des contrats d'objectifs, un usage d'outils à portée limitée et des invariants de sécurité afin d'étendre les capacités d'un utilisateur sans compromettre le contrôle ou la sécurité.

Auteurs originaux : Chengshuai Yang

Publié 2026-07-15

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chengshuai Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un assistant numérique super intelligent qui ne se contente pas de suivre des ordres, mais qui peut réellement apprendre à mieux apprendre. Cela ressemble à un film de science-fiction où le robot prend le contrôle, n'est-ce pas ? Eh bien, ce document est un plan pour construire cet assistant, mais avec une nuance très stricte et très importante : il est conçu pour que le patron humain ne perde jamais le contrôle.

L'auteur, Chengshuai Yang, ne dit pas : « Nous avons construit un robot qui s'est réparé lui-même et qui est maintenant plus intelligent que nous. » Au lieu de cela, il propose un système multi-agents gouverné où l'ordinateur aide un humain à développer ses propres compétences, plutôt que de faire le travail à sa place. Ils appellent cet objectif la « Singularité Personnelle », mais pas le genre où tout le monde fusionne en un seul cerveau géant. Voyez cela plutôt comme une salle de sport pour votre cerveau, où l'IA est l'entraîneur qui vous aide à soulever des poids plus lourds (vos capacités) au fil du temps, sans jamais vous retirer les poids des mains.

La Grande Idée : Une Équipe, Pas un Monarque

Le document soutient que nous ne devrions pas construire un seul « Agent Principal » géant et tout-puissant qui fait tout. C'est trop risqué. Au lieu de cela, ils suggèrent une équipe de spécialistes composée de petits agents, chacun ayant une tâche spécifique, un ensemble d'outils spécifique et un règlement strict.

Imaginez une cuisine haut de gamme. Vous n'avez pas un seul chef qui essaie de couper les légumes, de griller un steak, de faire un gâteau et de laver la vaisselle tout à la fois en réécrivant le livre de recettes. Vous avez un Sous-Chef pour la découpe, un Chef Pâtissier pour les gâteaux et un Sous-Chef pour la grillade. Chacun possède un « Contrat de Périmètre ». Si le Chef Pâtissier est sollicité pour griller un steak, il ne devine pas ; il dit : « Ce n'est pas mon travail », et transmet la tâche au Chef de la Grillade. Cela empêche la cuisine de brûler parce que quelqu'un a tenté de faire quelque chose pour lequel il n'était pas formé.

Le Cerveau à « Deux Vitesses »

Le système fonctionne sur deux vitesses différentes, comme une voiture avec un moteur rapide et un mécanicien lent et prudent.

La Boucle Rapide (Le Conducteur) : C'est l'agent qui effectue le travail réel. Il planifie, utilise des outils et tente de terminer une tâche (comme rédiger un rapport ou coder un programme). Il est rapide et efficace.
La Boucle Lente (Le Mécanicien) : C'est la partie qui observe ce que le conducteur a fait et se demande : « Comment pourrions-nous faire mieux la prochaine fois ? » C'est là que se produit l'Auto-Amélioration Récursive. Mais attention : l'agent ne peut pas simplement changer son propre moteur pendant qu'il conduit. Il doit proposer un changement, le verrouiller dans un bac à sable (une salle de test sécurisée), le soumettre à une batterie de tests et obtenir la signature d'un humain avant d'être autorisé à se mettre à jour.

Le document suggère que cette « boucle lente » est la manière dont l'agent apprend à apprendre. C'est comme un étudiant qui ne se contente pas de mémoriser des réponses, mais qui découvre de meilleures méthodes d'étude. Cependant, les auteurs sont clairs : il s'agit d'une proposition, pas d'un produit fini. Ils n'ont pas encore prouvé que cela fonctionne dans le monde réel ; ils conçoivent les règles de la manière dont cela devrait fonctionner pour être sûr.

La Salle de Sport de la « Singularité Personnelle »

Le terme « Singularité Personnelle » peut sembler effrayant, comme une révolte des robots. Mais dans ce document, il signifie quelque chose de beaucoup plus concret : aider un seul humain à atteindre sa propre limite personnelle de ce qu'il peut accomplir.

Imaginez que votre « frontière de capacité » est une montagne que vous voulez gravir. L'IA n'est pas l'hélicoptère qui vous transporte au sommet. L'IA est un partenaire d'escalade qui tient la corde, vous indique les meilleures prises et vous apprend à faire des nœuds. Le but est que vous deveniez plus fort. Si l'IA grimpe pour vous, vous ne vous êtes pas amélioré ; vous êtes simplement devenu dépendant. Le document s'oppose explicitement aux systèmes qui rendent les utilisateurs paresseux ou dépendants. Le critère de réussite n'est pas seulement « La tâche a-t-elle été accomplie ? », mais « L'humain peut-il la faire lui-même la prochaine fois ? ».

Les Garde-fous de Sécurité (Les Zones Interdites)

Le document est très strict sur ce que l'IA n'est PAS autorisée à faire. C'est comme un jeu vidéo avec un « Mode Dieu » qui est définitivement désactivé pour le personnage du joueur.

Pas d'Auto-Édition des Règles : L'agent ne peut pas modifier ses propres règles de sécurité, ses permissions ou son « interrupteur d'arrêt ». Il ne peut pas décider : « Je pense que je devrais avoir accès à Internet maintenant » et le faire simplement.
Pas de Réplication Cachée : L'agent ne peut pas créer secrètement des copies de lui-même pour se propager. S'il veut créer un nouvel agent « enfant », il doit d'abord demander l'autorisation au propriétaire humain, et cet enfant commence avec une identité fraîche et sans accès aux secrets du parent.
Pas de Dictature d'un Agent « Principal » : Il n'y a pas d'agent « patron » unique qui contrôle tous les autres. Chaque agent est responsable devant le propriétaire humain.

Les auteurs sont très prudents en précisant qu'ils ne prétendent pas que l'IA actuelle peut réécrire son propre code en toute sécurité ou que nous avons résolu le problème de la sécurité de l'IA. Ils suggèrent un cadre pour rendre ces expériences testables et sûres. Ils soutiennent que sans ces règles strictes, essayer de construire une IA capable de s'améliorer soi-même revient à essayer d'apprendre à un bambin à désamorcer une bombe.

Comment cela fonctionne réellement (Le Plan)

Le document expose un plan étape par étape, comme un calendrier de construction :

Commencer Petit : D'abord, construire un « Agent de Travail Quotidien » capable d'effectuer des tâches ennuyeuses comme organiser des fichiers ou écrire des e-mails, mais avec des limites strictes sur ce qu'il peut toucher.
Ajouter des Outils : Lui donner une boîte à outils, mais tester chaque outil dans un bac à sable avant de le laisser l'utiliser sur de vrais fichiers.
Ajouter l'Apprentissage : Introduire un « Agent d'Apprentissage » qui observe le travail effectué et l'explique à l'humain, afin que l'humain apprenne le processus.
Ajouter l'Amélioration : Uniquement après que les trois premières étapes soient parfaitement solides, permettre au système de proposer de petites améliorations à son propre « cerveau » (comme de meilleurs prompts ou des stratégies de planification), mais seulement après avoir passé des tests rigoureux.
L'Objectif Final : Finalement, connecter toutes ces pièces en un « Système d'Exploitation de Singularité Personnelle » qui aide un humain à gérer son travail, sa santé et son apprentissage, en laissant toujours l'humain aux commandes.

L'Essentiel

Ce document est un document de conception, pas un tour de piste victorieux. L'auteur dit : « Voici un moyen de construire une IA capable de s'améliorer qui ne détruira pas accidentellement le monde ou ne nous rendra pas inutiles. » Ils suggèrent qu'en divisant l'IA en petites équipes spécialisées, en gardant un humain dans la boucle pour les décisions importantes, et en se concentrant sur le fait de rendre l'humain plus intelligent plutôt que de rendre simplement la machine plus rapide, nous pourrions réellement obtenir les avantages d'une IA avancée sans les cauchemars.

Ils ne prétendent pas avoir tout résolu. En fait, ils admettent que mesurer la « croissance » humaine est difficile et que nous ne savons pas si cela fonctionnera parfaitement dans le monde réel. Mais ils offrent une feuille de route pour le découvrir, un pas sûr à la fois. C'est un appel à construire une IA qui nous aide à gravir nos propres montagnes, plutôt que de nous porter jusqu'au sommet.

Résumé Technique : Architecture Multi-Agents Pilotée par les Objectifs, le Périmètre, les Outils et les Benchmarks pour des Agents d'Auto-Amélioration Récursive et la Singularité Personnelle

Énoncé du Problème

Les agents basés sur les grands modèles de langage (LLM) actuels démontrent des capacités de planification, d'utilisation d'outils et d'auto-raffinement limité (ex: Self-Refine, Reflexion, Gödel Agent). Cependant, ces systèmes manquent d'un cadre déployable pour l'Auto-Amélioration Récursive (RSI - Recursive Self-Improvement) qui garantisse la sécurité, l'auditabilité et l'agence humaine. Les approches existantes confondent souvent l'exécution de tâches et la modification du système, risquant une auto-réplication incontrôlée, une généralisation erronée des objectifs ou la création de systèmes "boîte noire" où les utilisateurs deviennent dépendants plutôt qu'autonomisés.

Le document identifie deux lacunes liées :

Lacune Systémique : Comment construire un agent qui améliore ses propres mécanismes d'apprentissage et d'action de manière récursive tout en maintenant une gouvernance stricte, un versionnage et des capacités de retour en arrière (rollback).
Lacune Centrée sur l'Humain : Comment s'assurer que l'amélioration de l'agent se traduit par une capacité humaine durable plutôt que par une simple augmentation de l'autonomie logicielle ou de la dépendance de l'utilisateur.

Le document pose qu'un système réussi doit séparer l'autonomie de la tâche de l'amélioration méta et définir un objectif borné appelé Singularité Personnelle : un processus continu, dirigé par l'utilisateur, où un réseau d'agents personnalisés aide un individu à approcher une frontière de capacité réalisable en expansion et définie par l'utilisateur.

Méthodologie : L'Architecture Multi-Agents Gouvernée

La solution proposée est une architecture multi-agents spécialisée et gouvernée qui traite l'agent comme un proposant non fiable et place l'autorité décisionnelle dans un plan de gouvernance externe. Le système repose sur cinq piliers fondamentaux :

1. État Formel de l'Agent et Séparation des Préoccupations

Une instance d'agent $A_i^t$ est définie par un tuple incluant les paramètres du modèle ( $\theta$ ), la politique d'exécution ( $\pi$ ), la mémoire ( $M$ ), les compétences/outils ( $S$ ), la pile d'objectifs ( $G$ ), les permissions ( $P$ ), les preuves ( $E$ ) et les métadonnées de lignée ( $V$ ).

Contraintes Immuables : Les agents ne peuvent pas écrire dans les composants protégés externes tels que les permissions, les politiques d'évaluation, les registres d'audit ou les mécanismes d'arrêt.
Architecture à Deux Vitesses :
- Boucle Rapide : Un cycle planificateur–exécuteur–vérificateur pour l'achèvement des tâches.
- Boucle Lente : Un cycle d'amélioration fondé sur les preuves, séparé de l'exécution immédiate, pour la mémoire, les compétences, les politiques et les adaptateurs de modèles.

2. Plan de Gouvernance Externe

Implémenté sous une identité administrative distincte, ce plan agit comme le "système immunitaire" de l'architecture. Il comprend :

Un moteur de politique de refus par défaut avec des règles signées et versionnées.
Un gouverneur de ressources pour le calcul, le temps et les limites financières.
Un évaluateur indépendant utilisant des tâches cachées et des critères de succès protégés.
Un contrôleur de retour en arrière (rollback) et un mécanisme d'arrêt hors bande.
Promotion par Palier de Risque : Les changements proposés passent par des vérifications de sécurité statiques, des évaluations sur des données non utilisées et une classification des risques. Les changements à haut risque (ex: expansion des permissions, mises à jour de poids) nécessitent une revue humaine ; les changements à faible risque peuvent être promus automatiquement s'ils passent les portes externes.

3. Spécification Pilotée par les Objectifs, le Périmètre, les Outils et les Benchmarks

Chaque agent est défini par un profil opérationnel signé $\Sigma_i = (G_i, Q_i, T_i, B_i, A_i, R_i, M_i, I_i, V_i)$ :

Contrats d'Objectifs ( $G_i$ ) : Une pile hiérarchique ( $G_0$ à $G_4$ ) où $G_0$ est une constitution de sécurité immuable. Les couches inférieures (objectifs spécifiques aux tâches) ne peuvent pas outrepasser les couches supérieures (mission, sécurité).
Contrats de Périmètre ( $Q_i$ ) : Limites sémantiques et opérationnelles définissant les domaines, les types de tâches, les entrées/sorties et les plafonds de risque. Les tâches hors périmètre sont routées vers d'autres agents ou déclenchent la création d'un "agent de niche".
Registres d'Outils ( $T_i$ ) : Interfaces versionnées avec des tests déterministes. L'architecture impose une politique d'exécution "Priorité à l'Outil" (Tool-First) : les outils vérifiés sont préférés à la génération libre.
Benchmarks ( $B_i$ ) : Une suite à quatre partitions (développement public, validation privée, évaluation finale cachée, régression rotative) pour éviter le surapprentissage et garantir la généralisation.

4. Lignées Décentralisées et la Fonderie d'Agents (Agent Foundry)

Lignée : Une séquence signée de versions d'agents. Le statut "Principal" est une mesure de stabilité et d'adoption, non d'autorité.
Fonderie d'Agents : Supporte la génération dirigée par le propriétaire via clonage, embranchement (forking) ou recombinaison multi-parents.
Règles d'Héritage : Les agents dérivés héritent de compétences et de prompts vérifiés mais n'héritent jamais des identifiants, des mémoires privées ou des clés de signature. Les permissions sont strictement intersectées ( $P_C \subseteq P_A \cap P_B \cap P_{owner}$ ).
Isolation : Les agents communiquent via un courtier contrôlé par le propriétaire ; ils ne peuvent pas accéder directement à la mémoire ou aux outils les uns des autres sans autorisation explicite.

5. OS de Singularité Personnelle

Cette couche coordonne quatre classes initiales d'agents pour optimiser à la fois l'achèvement des tâches et la croissance humaine :

Agent de Travail Quotidien : Exécute le travail numérique autorisé avec une interruption minimale.
Agent d'Imagerie Computationnelle : Spécialisé dans l'apprentissage guidé par la physique et la reconstruction scientifique.
Agent d'Apprentissage des Processus de Travail : Convertit les traces vérifiées en explications et tutoriels (lecture seule).
Agent d'Apprentissage Personnel : Optimise les connaissances durables de l'utilisateur et sa performance indépendante via des curricula et des évaluations.

Le système utilise un Auto-Index (Niveaux 0–5) pour contrôler les modes d'interaction (Expliquer, Approbation par étape, Hybride, Autonome, Délégation, Planifié) sans modifier les permissions strictes.

Contributions Clés

Le document expose huit contributions spécifiques au domaine des agents autonomes :

Séparation Formelle : Distingue l'autonomie de la tâche, l'auto-amélioration ordinaire et l'auto-amélioration méta récursive.
Spécification de Spécialiste Versionnée : Un contrat unifié combinant objectifs, périmètre, outils, benchmarks et politiques d'amélioration.
Routeur de Périmètre : Un mécanisme pour assigner les tâches à un agent primaire responsable et gérer le travail hors périmètre via des transferts structurés.
Évaluation Double : Séparation de la validation au niveau de l'outil et de l'évaluation de bout en bout de l'agent, incluant des partitions de benchmark cachées.
Auto-Index Contrôlé par le Propriétaire : Un mécanisme pour basculer entre les styles d'interaction (interactif vs autonome) sans changer les permissions sous-jacentes.
Architecture à Deux Vitesses : Boucles distinctes pour l'exécution rapide des tâches et l'amélioration lente fondée sur les preuves.
Modèle de Lignée Décentralisé : Un modèle de fonderie pour la spécialisation et la recombinaison multi-parents avec provenance explicite.
OS de Singularité Personnelle : Un cadre intégrant des agents de travail, d'imagerie, d'apprentissage de processus et d'apprentissage personnel.

Résultats et Revendications

Distinction Cruciale : Ce document est un document de position et de conception de système. Il ne rapporte pas un système implémenté, des études humaines contrôlées ou des résultats empiriques démontrant qu'une auto-amélioration récursive sans restriction ou une singularité personnelle a été atteinte.

Les revendications du document se limitent strictement aux points suivants :

Testabilité : Le cadre rend l'RSI et le transfert de capacité humaine testables en contraignant les expériences qui seraient autrement difficiles à auditer.
Invariants de Sécurité : Il propose dix invariants architecturaux (ex: "Aucune auto-attribution d'autorité", "Promotion basée sur le risque", "Déploiement réversible") qui se rapportent au cadre de gestion des risques de l'IA du NIST mais ajoutent une exécution au runtime pour les systèmes auto-modifiants.
Hypothèses : Il formule huit hypothèses testables (H1–H8), telles que l'efficacité des boucles à deux vitesses, la réduction de la promotion erronée via la vérification externe, et l'amélioration de la performance indépendante via les modes de transfert de capacité.
Modestie : Les auteurs déclarent explicitement que le terme "Singularité Personnelle" est borné ; il n'implique pas un processus instantané, universel ou une limite biologique illimitée, et n'est pas équivalent à l'Intelligence Artificielle Générale (AGI).

Signification

Le document soutient que la cible de conception pour les assistants IA avancés doit inclure à la fois l'amélioration de l'agent et l'amélioration de la capacité humaine. Un système qui devient plus capable tout en rendant l'utilisateur moins savant ou plus dépendant n'est pas un assistant personnel réussi.

En formalisant la séparation entre le "proposant" (l'agent) et l'"évaluateur/autorisateur" (le plan de gouvernance), et en définissant une "Singularité Personnelle" comme un mouvement dirigé par l'utilisateur vers une frontière de capacité réalisable, le document fournit une feuille de route pour la construction de systèmes RSI auditables, réversibles et contrôlés par le propriétaire. Il déplace l'accent de l'"auto-modification sans restriction" vers une "recherche gouvernée sur des états d'agents versionnés", garantissant que la croissance du logiciel se traduit par la croissance durable de l'utilisateur humain.