L'échelle de sécurité : Construire des robots capables de s'auto-réparer

Imaginez que vous construisez un robot qui ne se contente pas de suivre des ordres, mais qui peut apprendre, réfléchir et même réécrire ses propres instructions pour s'améliorer dans son travail. C'est le monde passionnant des agents d'IA auto-améliorables. Par le passé, nous traitions les robots comme des outils statiques : vous les programmiez, ils accomplissaient la tâche, et si vous vouliez qu'ils changent, un humain devait intervenir pour les reprogrammer. Mais la prochaine génération d'IA est différente ; elle est conçue pour être un système « vivant » qui s'adapte à la volée.

Le gros problème de cette idée est la sécurité. Si un robot peut changer ses propres règles, que se passe-t-il s'il décide de les enfreindre ? S'il devient plus intelligent, devient-il aussi plus dangereux ? La question fondamentale n'est pas seulement « Ce robot est-il sûr en ce moment ? », mais « Si ce robot se modifie mille fois, restera-t-il sûr ? ». Traditionnellement, nous avons essayé de répondre à cela en faisant confiance aux personnes qui ont construit le robot pour qu'elles disent : « Oui, nous avons mis en place des garde-fous ». Mais faire confiance à une promesse est risqué. Ce document s'attaque à ce risque en posant la question suivante : Comment construire un système où la sécurité n'est pas une promesse, mais un fait mathématiquement prouvé qui est vérifié chaque fois que le robot tente de s'améliorer ?

Le document : Construire une échelle de sécurité « falsifiable »

Ce document, intitulé « Falsifiable Release Gates for Self-Improving Systems » (Portes de déploiement falsifiables pour les systèmes auto-améliorables), introduit une nouvelle façon de construire ces robots intelligents et auto-modifiables. Les auteurs, dirigés par Deepak Soni, soutiennent que nous devons cesser de traiter la sécurité comme un audit ponctuel pour commencer à la traiter comme un processus strict, étape par étape. Ils appellent leur méthode les « Falsifiable Release Gates » (Portes de déploiement falsifiables).

Voyez cela comme un jeu vidéo doté d'une échelle très stricte. Pour débloquer le niveau suivant, vous ne pouvez pas simplement dire : « Je suis prêt ». Vous devez réussir un test spécifique et inviolable qui a été conçu avant même que vous ne commenciez à jouer à ce niveau. Si vous échouez au test, vous ne pouvez pas progresser. Le document construit un système de robot appelé Antah.karan.a (nommé d'après un ancien concept sanskrit pour l'« instrument intérieur » de l'esprit) et grimpe cette échelle de sept portes, prouvant à chaque étape que le robot est sûr avant de lui accorder de nouveaux pouvoirs.

Les règles du jeu : Les « Invariants »

Avant que le robot puisse grimper l'échelle, il doit accepter quelques règles non négociables, appelées invariants. Ce sont les « lois de la physique » de ce robot :

1. La Porte Unique : Il n'y a qu'une seule porte entre les pensées du robot et les actions dans le monde réel. Un « Cercle de Contrôle » (Control Ring) doit approuver chaque mouvement et délivrer un « jeton » numérique (comme un ticket) avant que le robot ne puisse faire quoi que ce soit. Pas de jeton, pas d'action.
2. Le Resserrement Monotone : Le robot est autorisé à rendre ses propres règles plus strictes (plus sûres) de lui-même, mais il n'est jamais autorisé à les rendre plus souples (plus risquées) sans qu'un humain ne dise « oui ». Il peut devenir plus prudent, mais jamais plus imprudent.
3. Tout est Audité : Chaque décision, qu'elle soit prise par le robot ou par un humain, est inscrite dans un journal permanent et immuable.
4. Les Portes avant le Code : C'est le tournant le plus important. Vous devez écrire le test de sécurité avant d'écrire la fonctionnalité. Vous ne pouvez pas construire une nouvelle capacité géniale puis essayer de trouver un moyen de la tester plus tard. Le test doit exister en premier, et la fonctionnalité n'« existe » que si elle réussit le test.

L'échelle en sept étapes

Les auteurs ont construit leur système de robot en grimpant sept échelons spécifiques, ou « portes », sur une échelle. Chaque échelon prouve que le robot est prêt pour l'étape suivante, plus dangereuse.

• Porte 7 (Durcissement) : Le robot doit être capable de rejouer l'intégralité de son historique parfaitement. S'il a pris une décision hier, nous devons être capables de reconstruire exactement pourquoi il l'a faite à partir des journaux.
• Porte 8 (Intégration Adversaire) : Le robot est testé contre les hackers. Le document rapporte qu'ils ont tenté de tromper le robot pour qu'il fasse de mauvaises choses 432 fois, et le robot a bloqué les 432 attaques. Il pouvait suggérer de mauvaises idées, mais il ne pouvait pas les exécuter car le Cercle de Contrôle détenait les clés.
• Porte 9 (Apprentissage sans Dérive) : Le robot est autorisé à apprendre du feedback. Le test a montré que lorsqu'il apprenait, il devenait meilleur pour détecter les erreurs (faisant passer les détections manquées de 0,50 à 0,00) sans jamais devenir plus permissif ou « lâche ».
• Porte 10 (Gouvernance de Flotte) : Imaginez une armée entière de ces robots. Le système a prouvé qu'un superviseur peut arrêter n'importe quel robot de la flotte en « un tick » (un instant de temps) s'il devient incontrôlable.
• Porte 11 (Isolation de Plateforme) : Si vous avez de nombreux utilisateurs différents (locataires) utilisant le système, le système a prouvé qu'ils sont complètement isolés. Un utilisateur ne peut ni voir ni toucher les données d'un autre utilisateur, même si le système est mal configuré.
• Porte 12 (Boucle d'Auto-Gouvernance) : Enfin, le système inclut une boucle qui suggère des changements à sa propre politique. Le piège réside dans la manière dont ces changements sont gérés : le système peut proposer n'importe quel changement, mais si le changement rend les règles plus strictes, il peut être appliqué automatiquement. Si le changement rend les règles plus souples, il nécessite toujours l'intervention d'un humain pour être fusionné. Si le système propose un changement dont il ne peut prédire le résultat, le système le rejette automatiquement.

Les « Dents » du système

La partie la plus excitante du document est la façon dont ils prouvent que la sécurité n'est pas un mensonge. Ils n'ont pas seulement dit : « Nous avons vérifié ». Ils ont construit un vérificateur automatique qui parcourt tous les états possibles de la logique du robot (291 états dans leur modèle) pour prouver qu'aucune action ne peut contourner le Cercle de Contrôle.

Mais comment savoir si le vérificateur n'est pas défectueux ? Les auteurs ont utilisé une « Discipline des Dents » (Teeth Discipline). Ils ont délibérément cassé leur propre modèle — créant une version où le robot pourrait contourner le cercle — puis ont lancé le vérificateur. Le vérificateur a réussi à détecter la brèche et a trouvé le chemin le plus court vers l'erreur en seulement quelques étapes. Cela prouve que le vérificateur a des « dents » ; il fonctionne réellement et n'est pas juste un faux rapport de sécurité.

Ce que le Robot peut et ne peut pas faire

Le document est très clair sur ce que ce système accomplit et ce qu'il ne fait pas.

• Ce qu'il fait : Il crée un système où l'auto-amélioration est sûre par construction. Le système peut proposer des changements à sa propre politique, et tout changement est vérifié par machine par rapport à une suite de tests pré-écrits. Les auteurs ont mesuré que 1 000 000 de traces d'exécution simulées ont réussi sans un seul rejet.
• Ce qu'il exclut : Il exclut explicitement l'idée que l'on puisse simplement « faire confiance » à un garde-fou de sécurité ou à une promesse dans un document. Il exclut également l'idée qu'un robot puisse en toute sécurité rendre ses propres règles plus souples sans intervention humaine.
• Ce qu'il admet : Les auteurs admettent honnêtement que leur preuve est « bornée ». Ils ont vérifié 291 états dans un modèle simplifié, et non chaque état possible dans le monde réel. Ils admettent que la partie « apprentissage » du robot (la partie qui détermine ce qui est risqué) n'est pas encore totalement prouvée par les mathématiques, mais qu'ils ont construit des moniteurs pour la surveiller en temps réel.

La conclusion

Ce document ne prétend pas avoir résolu le problème de la sécurité de l'IA pour toujours. Au lieu de cela, il propose une méthode. Il montre que si vous construisez des systèmes auto-améliorables avec des « portes » qui doivent être franchies avant l'écriture de tout code, et si vous utilisez une machine pour vérifier que les portes ne peuvent pas être contournées, vous pouvez construire un robot qui devient plus intelligent sans devenir dangereux.

Les auteurs ont rendu leur robot, leurs outils et leur suite de tests publics. Ils invitent quiconque à lancer les tests et à tenter de les briser. Le résultat central — que le robot ne peut pas contourner son propre cercle de sécurité — peut être reproduit par n'importe qui avec une seule commande. C'est un passage du « faites-nous confiance » au « vérifiez-nous », transformant la sécurité d'une promesse en un processus.