Dans le monde numérique moderne, les grandes organisations s'appuient sur des programmes logiciels qui agissent en leur nom. Pendant des décennies, ces programmes étaient prévisibles : un ingénieur humain écrivait le code, installait le programme et lui donnait un ensemble d'instructions spécifiques. Si le programme devait envoyer un e-mail ou déplacer de l'argent, il faisait exactement ce qu'on lui disait de faire, rien de plus et rien de moins. Pour garder ces programmes en sécurité, les entreprises ont construit des systèmes pour vérifier leur identité et enregistrer leurs actions, un peu comme un agent de sécurité vérifiant un badge à une porte. Cependant, un nouveau type de logiciel est arrivé et change les règles. Ce sont les agents autonomes, des programmes qui ne se contentent pas de suivre un script fixe mais utilisent l'intelligence artificielle pour décider eux-mêmes de ce qu'ils feront ensuite. Ils peuvent apparaître et disparaître en quelques secondes, ils peuvent choisir parmi un vaste éventail d'actions possibles qu'aucun humain n'a prévues à l'avance, et n'importe qui possédant une connexion Internet peut en créer un. Parce que ces agents sont si différents des anciens programmes prévisibles, les systèmes de sécurité conçus pour le passé échouent à les protéger.

Une équipe de chercheurs chez Aurite AI a passé du temps à construire une nouvelle façon de gérer ces agents imprévisibles pendant qu'ils sont en cours d'exécution. Ils soutiennent que tenter de contrôler ces agents en fixant leur code avant qu'ils ne démarrent est impossible, car l'agent décide de ses propres actions au dernier moment. Au lieu de cela, ils proposent un système qui surveille chaque action que l'agent tente d'entreprendre et l'arrête s'il n'est pas autorisé. Pour que cela fonctionne, ils ont identifié cinq questions essentielles auxquelles il faut répondre pour chaque action. Premièrement, le système doit savoir que l'agent existe. Deuxièmement, il doit prouver qui est l'agent. Troisièmement, il doit décider si l'agent est autorisé à faire ce qu'il demande. Quatrièmement, il doit créer un enregistrement permanent et immuable de ce qui s'est passé que quiconque puisse vérifier plus tard. Cinquièmement, il doit vérifier de quoi l'agent est composé pour s'assurer qu'il n'a pas été secrètement altéré. Les chercheurs ont construit un système qui répond aux quatre premières questions en temps réel et développe actuellement la cinquième en tant qu'outil séparé. Ils ont constaté que, bien que cette approche soit nécessaire, elle comporte un coût : elle ralentit légèrement le système et nécessite un petit programme auxiliaire pour fonctionner aux côtés de chaque agent.

Le problème central auquel les chercheurs ont été confrontés est que la sécurité traditionnelle repose sur la connaissance exacte de ce qu'un programme fera avant qu'il ne démarre. Si un employé humain est embauché, on lui donne un badge et une liste de règles. Si un service est installé, on lui donne une description de poste spécifique. Mais un agent autonome est différent. C'est comme un voyageur qui arrive sans visa, prétend être un citoyen, puis décide sur le champ quel pays visiter et ce qu'il y fera. Les chercheurs ont constaté que les anciens outils de sécurité, qui ont été construits pour des personnes et des services fixes, ne peuvent pas gérer cela. Un contrôle de sécurité standard peut vérifier que l'agent est bien celui qu'il prétend être, mais il ne peut pas empêcher l'agent de choisir une action dangereuse que personne n'avait anticipée. De même, un agent de sécurité qui ne vérifie que la liste des actions approuvées ne peut pas empêcher un agent d'inventer une nouvelle action nuisible à la volée. Les chercheurs ont conclu que la seule façon de gouverner ces agents est d'intervenir au moment exact où ils tentent d'agir, en vérifiant leur requête par rapport à un ensemble de règles avant de les laisser procéder.

Pour résoudre cela, l'équipe a conçu un système construit autour de cinq parties distinctes, ou primitives, qui travaillent ensemble. La première partie est la découverte. Parce que les agents peuvent apparaître n'importe où et à tout moment, le système doit être capable de les trouver. Les chercheurs ont réalisé que simplement lister les agents connus ne suffit pas, car les agents les plus dangereux sont ceux qui ne sont pas encore enregistrés. Leur système est conçu pour remarquer lorsqu'un agent tente de faire quelque chose que le système ne reconnaît pas. Au lieu de simplement le bloquer, le système enregistre la tentative et alerte un opérateur humain, qui peut ensuite décider si cette nouvelle action devrait être autorisée à l'avenir. Cela transforme un échec potentiel en un moyen d'apprendre et de mettre à jour les règles.

La deuxième partie est l'identité. Par le passé, un programme pouvait prétendre être un service spécifique, mais les chercheurs ont découvert que les agents peuvent mentir sur leur identité. Leur système exige que l'agent prouve son identité à l'aide d'une preuve numérique générée automatiquement en fonction de l'endroit où l'agent s'exécute et de ce dont il est composé. Cette preuve est vérifiée au moment précis où l'agent tente de se connecter, garantissant que le système parle au véritable agent et non à un imposteur. Cette preuve est de courte durée et change constamment, de sorte que même si un pirate vole une preuve, celle-ci expirera rapidement.

La troisième partie est la gouvernance, qui est le processus de décision proprement dit. Avant qu'un agent puisse envoyer un e-mail ou transférer des fonds, il doit demander la permission. Le système vérifie la requête par rapport à un ensemble de règles qui sont spécifiques à cette organisation. Si l'action est autorisée, l'agent procède. Si elle ne l'est pas, la requête est immédiatement bloquée. Cela se produit avant que l'action ne prenne place, ce qui est le seul moyen de réellement contrôler l'agent. Les chercheurs ont également inclus un « bouton d'arrêt d'urgence » (kill switch) qui peut arrêter un agent instantanément s'il commence à se comporter mal, sans attendre l'expiration de ses preuves numériques.

La quatrième partie est l'attestation, qui consiste à créer un enregistrement fiable. Par le passé, les entreprises gardaient des journaux de ce que faisaient leurs programmes, mais ces journaux étaient écrits par les mêmes programmes qui étaient surveillés. Si un programme devenait incontrôlable, il pouvait aussi modifier les journaux pour effacer ses traces. Les chercheurs ont construit un système qui écrit chaque décision dans une chaîne de registres spéciale et immuable. Cette chaîne est signée avec une clé secrète que seule l'organisation détient, et elle est conçue de telle sorte que quiconque, même en dehors de l'entreprise, puisse vérifier que l'enregistrement est réel et n'a pas été falsifié. Cela fournit un moyen de prouver ce qui s'est passé devant un tribunal ou lors d'une enquête.

La cinquième partie est la vérification de la chaîne d'approvisionnement, qui demande de quoi l'agent est réellement composé. Même si un agent est identifié et que ses actions sont approuvées, il pourrait être exécuté sur une version compromise de son logiciel. Les chercheurs ont construit des outils pour vérifier les ingrédients de l'agent — son code, ses données et ses dépendances — mais ces outils fonctionnent actuellement séparément des contrôles de sécurité en temps réel. Bien que les chercheurs soutiennent que cette vérification est essentielle car un agent parfaitement identifié construit sur des pièces défectueuses reste dangereux, ce contrôle spécifique ne bloque pas encore les actions au moment où elles se produisent ; il demeure une étape de développement distincte plutôt qu'une partie intégrée du processus d'autorisation immédiat.

Les chercheurs ont testé leur système lors d'essais privés avec quelques organisations. Ils ont constaté que quatre des cinq parties sont entièrement construites et opérationnelles, tandis que la cinquième est encore en cours de développement en tant qu'outil séparé. Ils ont été honnêtes concernant les coûts de cette nouvelle approche. Parce que le système vérifie chaque requête avant qu'elle ne se produise, cela ajoute un léger délai au processus. Cela nécessite également un petit programme auxiliaire, appelé « sidecar », pour s'exécuter aux côtés de chaque agent afin de gérer son identité. Plus important encore, si le système de sécurité tombe en panne, les agents doivent cesser de fonctionner pour rester en sécurité. Cela signifie qu'une défaillance du système de sécurité entraîne un arrêt de l'activité commerciale, un compromis que les chercheurs jugent nécessaire pour prévenir les dommages.

L'une des découvertes les plus surprenantes fut que le système doit également se gouverner lui-même. Les chercheurs ont réalisé que les outils qu'ils ont construits pour gérer les agents sont eux-mêmes des programmes automatisés. Ils ont décidé de soumettre leurs propres outils de gestion aux mêmes contrôles de sécurité que les agents clients. Cela signifie que le système vérifie sa propre identité, décide si ses propres actions sont autorisées et enregistre ses propres décisions dans la même chaîne immuable. Cela garantit que les personnes qui ont construit le système de sécurité ne peuvent pas contourner les règles qu'elles ont créées pour les autres.

Les chercheurs soulignent que leur travail ne consiste pas à changer la façon dont les modèles d'intelligence artificielle pensent ou se comportent. Ils supposent que les modèles fonctionnent comme prévu et se concentrent plutôt sur les règles qui régissent ce que les modèles sont autorisés à faire. Ils soutiennent que tenter de résoudre le problème en améliant seulement les modèles ne suffit pas, car même un modèle bien élevé a besoin de limites sur ce qu'il peut accéder et modifier. Leur solution est un cadre pratique que les organisations peuvent utiliser pour gérer ces nouveaux agents imprévisibles dès aujourd'hui. En décomposant le problème en cinq questions claires, ils fournissent une feuille de route pour toute personne cherchant à apporter ces outils puissants dans un environnement sûr et contrôlé. Le travail n'est pas terminé, et la cinquième partie du système est encore en cours d'intégration, mais l'idée centrale — que ces agents doivent être surveillés et vérifiés en temps réel — a été proposée comme une approche architecturale nécessaire, avec un raisonnement de conception validé par l'implémentation plutôt que par des résultats mesurés sur une large population de déploiement.