Le monde de l'intelligence artificielle se trouve à un carrefour discret mais critique. Pendant des années, ces systèmes ont été célébrés pour leur capacité à générer du texte, à écrire du code ou à résumer des actualités, agissant comme de puissants assistants qui pensent et parlent. Mais une nouvelle phase commence où ces systèmes ne se contentent plus de parler ; ils agissent. On leur demande d'exécuter des tâches complexes, telles que l'achat de fournitures, la gestion de comptes numériques ou la coordination de flux de travail à travers différentes plateformes logicielles. Ce passage de la génération de mots à l'exécution d'actions introduit un problème fondamental : comment faire confiance à une machine lorsqu'elle commence à effectuer des mouvements dans le monde réel ? Si un employé humain commet une erreur, nous pouvons examiner son travail et le corriger. Mais si un agent autonome prend une mauvaise décision lors de l'exécution d'un flux de travail, il pourrait instantanément transférer de l'argent, supprimer un fichier ou verrouiller un système hors d'existence. Le défi n'est pas seulement de rendre l'IA plus intelligente, mais de construire un système de sécurité qui surveille les actions de l'IA en temps réel, en veillant à ce qu'elle respecte les règles sans la ralentir ou coûter une fortune en exploitation.

Dans ce contexte, un chercheur nommé DaeJung Byun a proposé un nouveau cadre appelé Execution Governance AI, ou EGA V9. Ce système est conçu pour agir comme un superviseur automatisé strict pour ces agents autonomes. Au lieu d'essayer de deviner si la décision d'une IA est bonne ou mauvaise sur la base de probabilités, l'EGA V9 adopte une approche différente : il traite l'exécution d'une tâche comme un film enregistré qui peut être rejoué instantanément. L'idée centrale est que si vous savez exactement ce que l'IA était censée faire et que vous possédez un enregistrement parfait de ce qu'elle a réellement fait, vous pouvez identifier la différence immédiatement. Le système fonctionne en capturant chaque étape franchie par l'IA, du moment où elle commence une tâche jusqu'au moment où elle la termine. Il lance ensuite une « relecture » de ces étapes en une fraction de seconde pour voir si le résultat correspond au plan. Si l'IA tente de dévier, par exemple en utilisant un outil qu'elle n'était pas autorisée à toucher ou en modifiant un chiffre dans une transaction, le système détecte l'écart et interrompt l'action avant qu'elle ne cause des dommages.

Les chercheurs ont testé ce cadre rigoureusement pour voir s'il pouvait gérer le chaos des scénarios du monde réel. Ils ont créé des milliers de situations de test, allant de tâches simples comme l'achat d'un article à des tentatives malveillantes complexes où un attaquant tentait de tromper le système pour effectuer des achats non autorisés ou contourner les règles de sécurité. Lors de ces tests, le système a été chargé de traiter jusqu'à 10 000 flux de travail différents. Les résultats ont été d'une cohérence frappante dans les scénarios évalués. Le cadre a réussi à détecter chaque instance où l'IA a tenté de transgresser les règles dans ces tests spécifiques, interceptant 100 % des erreurs sans jamais signaler par erreur une action sûre comme étant dangereuse. Il l'a fait avec une précision parfaite, ce qui signifie qu'il n'y a eu aucune fausse alerte ni aucune menace manquée à travers toute la gamme de tests, y compris les cas les plus difficiles conçus pour ressembler exactement à un travail légitime. Cependant, les chercheurs précisent que ces résultats caractérisent la détection de divergence d'exécution dans les scénarios évalués et ne doivent pas être interprétés comme des garanties de toutes les propriétés de sécurité au moment de l'exécution.

Ce qui rend cette approche particulièrement notable est l'efficacité de son fonctionnement. Habituellement, l'ajout d'une couche de sécurité à un système informatique le ralentit ou nécessite une puissance de calcul supplémentaire coûteuse. Cependant, l'EGA V9 a été conçu pour s'exécuter localement sur la même machine que l'IA, sans avoir besoin de solliciter un ordinateur séparé et puissant pour obtenir de l'aide. Les tests ont montré que le système n'ajoutait presque aucun délai au processus. Le temps nécessaire pour vérifier une seule étape a été mesuré en millièmes de seconde, précisément autour de 0,003 milliseconde pour les vérifications les plus rapides. De plus, le système n'a nécessité aucun appel supplémentaire aux grands modèles de langage qui alimentent l'IA, et n'a pas eu besoin d'envoyer des requêtes supplémentaires à des services externes. Cela signifie que la vérification de sécurité se produit instantanément et gratuitement, tant en termes de temps que d'argent, permettant à l'IA de travailler à pleine vitesse tout en restant sous surveillance constante.

Le cadre est construit sur cinq couches distinctes qui travaillent ensemble pour créer un environnement sécurisé. La première couche, le Trinity Core, agit comme la mémoire, enregistrant chaque changement d'état et chaque action afin qu'ils puissent être rejoués plus tard. La deuxième couche, la Provenance Layer, construit une carte de cause à effet, traçant exactement quelle décision a conduit à quelle action. Si la carte montre un lien brisé ou une étape manquante, le système sait que quelque chose ne va pas. La troisième couche, la Containment Layer, est le garde qui intervient lorsqu'un problème est détecté. Si le système détecte que l'IA agit en dehors de ses règles, cette couche bloque immédiatement l'action et isole le flux de travail, empêchant tout dommage de se propager. La quatrième couche offre une fenêtre aux opérateurs humains pour voir ce qui se passe, et la cinquième couche permet aux chercheurs de tester le système contre de nouveaux types d'attaques dans un environnement sûr et contrôlé. Ensemble, ces couches créent un système « fail-closed » (à échec fermé), ce qui signifie que si le système est incertain ou détecte une menace, il choisit par défaut d'arrêter l'action plutôt que de la laisser procéder.

Malgré ces résultats impressionnants, les chercheurs sont prudents quant à la définition des limites de ce que leur système peut faire. L'étude confirme que le cadre fonctionne exceptionnellement bien pour les types spécifiques de tâches et d'attaques testés, mais il ne prétend pas être une solution universelle pour tous les dangers possibles. Par exemple, bien que le système supprime efficacement l'exécution lorsqu'un décalage actif est présent, il n'a pas encore la capacité d'empêcher définitivement une IA de tenter de reproduire la même mauvaise action une fois la menace immédiate écartée. Il ne peut pas non plus garantir qu'une série complexe d'actions se produira exactement une seule fois sans doublons, une caractéristique importante pour les transactions financières. De plus, bien que le système puisse suivre ce que l'IA fait en interne, il ne peut pas vérifier pleinement l'intégrité de chaque pièce de preuve si les données elles-mêmes sont manquantes ou falsifiées avant d'atteindre le système. Ce ne sont pas des échecs des tests actuels, mais plutôt des limites claires de la technologie telle qu'elle existe aujourd'hui.

La portée de ce travail réside dans sa démonstration que nous pouvons construire un filet de sécurité pour l'IA autonome qui soit rapide, peu coûteux et fiable sans avoir besoin de modifier l'IA elle-même. En traitant l'exécution comme un processus déterministe — un processus qui peut être rejoué et vérifié avec une certitude absolue — les chercheurs ont montré que nous n'avons pas besoin de nous appuyer sur des conjectures pour garder ces systèmes en sécurité. Le système a prouvé qu'il est possible d'avoir un superviseur qui surveille chaque mouvement, attrape chaque erreur dans le périmètre évalué et arrête chaque menace détectée pendant la requête gouvernée active, tout en n'ajoutant pratiquement aucune charge aux performances de l'ordinateur. Cela offre une voie pratique pour les organisations qui souhaitent utiliser des agents d'IA puissants pour accomplir des tâches réelles, en sachant qu'il existe un mécanisme pour garantir que ces tâches sont accomplies de manière sûre et correcte. Le travail reste ouvert à d'autres pour tester, contester et améliorer, invitant la communauté scientifique élargie à vérifier ces conclusions et à repousser les limites de ce qui est possible en matière de sécurité autonome.