Dans le monde du travail numérique moderne, un nouveau type de travailleur a émergé : l'agent logiciel. Il s'agit de programmes alimentés par des modèles de langage de grande taille qui peuvent lire des documents, envoyer des e-mails, déplacer des données entre des systèmes et même appeler d'autres programmes pour accomplir des tâches. Ils agissent au nom des employés humains, prenant des instructions et les transformant en une série d'actions. La promesse est une efficacité immense, mais le risque est tout aussi élevé. Si un employé humain est trompé et envoie un fichier secret à la mauvaise personne, le dommage est limité au jugement de cette seule personne. Mais lorsqu'un agent logiciel est trompé, il peut exécuter cette erreur avec une vitesse parfaite et sur tous les systèmes qu'il est autorisé à toucher. Le défi central pour les experts en sécurité n'est pas seulement de rendre ces agents plus intelligents pour qu'ils ne se laissent pas tromper, mais de construire un système où il n'a pas d'importance qu'ils soient trompés, parce que le dommage est physiquement impossible à réaliser.

C'est le problème central abordé dans une nouvelle étude du chercheur indépendant Xabier Muruaga, qui propose une façon de sécuriser ces travailleurs numériques non pas en essayant de rendre le cerveau de l'agent plus robuste, mais en resserrant les règles de ce que l'agent est autorisé à faire. La recherche soutient que le danger de voir un agent logiciel être manipulé est principalement un problème d'architecture de permissions, et non un problème du modèle d'intelligence artificielle lui-même. Même si un agent est parfaitement protégé contre la ruse, il peut toujours causer des dommages s'il dispose de trop de liberté pour combiner des actions inoffensives en un résultat dangereux. Par exemple, un agent peut être autorisé à lire un document confidentiel et autorisé à envoyer un e-mail. Individuellement, ces deux actions sont sûres. Mais si l'agent est trompé pour lire le document puis l'envoyer immédiatement par e-mail à une adresse externe, la combinaison crée une violation de données que ni la permission de lecture ni la permission d'envoi n'avaient intentionnellement autorisée.

Pour résoudre cela, Muruaga a développé un système appelé l'Agentic Principal Chain (Chaîne de Commandement de l'Agent). Imaginez une chaîne de commandement où un patron humain délègue une tâche à un manager, qui transmet ensuite une partie de cette tâche à un assistant junior. Dans les systèmes de sécurité traditionnels, une fois que le patron donne une permission, celle-ci descend la chaîne sans changer. L'assistant junior peut se retrouver avec les mêmes pouvoirs étendus que le patron, créant un risque énorme si cet assistant est compromis. L'Agentic Principal Chain change cela en garantissant qu'à chaque étape de la chaîne, la permission devient plus petite et plus spécifique. Cela agit comme un gardien strict qui se tient en dehors du processus de pensée de l'agent. Avant qu'un agent ne puisse effectuer une action, ce gardien vérifie non seulement si l'agent a le droit de faire cette chose spécifique, mais aussi ce que l'agent a fait par le passé au cours de cette même session.

Le système fonctionne en suivant un « état de session », qui est un journal continu de chaque action entreprise par l'agent. Si un agent est autorisé à lire un fichier et autorisé à envoyer un e-mail, le système examine l'historique. Si l'agent vient de lire un fichier secret, le système bloquera la tentative suivante d'envoi d'un e-mail, même si l'envoi d'e-mails est généralement autorisé. Cela empêche l'agent de combiner deux actions sûres en une action dangereuse. Les chercheurs appellent cela la « clôture de composition » (composition closure). C'est une règle qui stipule que certaines combinaisons d'actions sont interdites, indépendamment du fait que les étapes individuelles soient autorisées. Le système limite également le « rayon d'action » (blast radius) de n'importe quel agent. Si un sous-agent est compromis, les dommages qu'il peut causer sont mathématiquement limités par les permissions qu'il a héritées, lesquelles sont strictement plus petites que les permissions de l'agent qui l'a créé. Cela garantit qu'une brèche dans une partie du système ne peut pas se propager de manière incontrôlée pour détruire l'ensemble de l'organisation.

Pour tester l'efficacité de cette approche, les chercheurs ont construit une version fonctionnelle du système et l'ont soumise à une série d'essais rigoureux. Ils l'ont testé contre des milliers d'attaques simulées en utilisant des références de sécurité établies. Dans un ensemble de tests impliquant plus de 1 000 scénarios conçus pour voler des données, le système a bloqué chaque tentative. Dans un autre ensemble de tests où les chercheurs ont simulé une situation où le modèle d'intelligence artificielle lui-même était complètement compromis et entièrement sous le contrôle d'un attaquant, le système a tout de même stoppé les attaques. Lorsque le modèle tentait d'envoyer des données volées, le gardien refusait la requête car la combinaison d'actions violait les règles de session. Le système a également réussi à empêcher l'agent de détruire des fichiers ou de manipuler des données d'une manière qui ne faisait pas partie de la tâche originale, réduisant le taux de réussite de telles attaques de plus de 90 % à seulement 12 %.

L'étude a également mesuré à quel point cette couche de sécurité supplémentaire ralentissait les agents. Les résultats ont montré que le système est incroyablement rapide, ajoutant moins d'un quart de milliseconde au temps nécessaire pour prendre une décision. Cela signifie que les vérifications de sécurité se font presque instantanément, sans délai perceptible pour l'utilisateur. Cependant, les chercheurs ont constaté qu'il existe un compromis. Dans certains cas, les règles strictes ont empêché l'agent d'accomplir une tâche légitime car le système était trop prudent quant à la combinaison d'actions. Dans leurs tests, le taux de réussite des tâches légitimes a chuté d'environ 8,6 points de pourcentage lorsque les règles les plus strictes étaient appliquées. Cela suggère que, bien que le système soit très efficace pour arrêter les attaques, il nécessite un réglage minutieux pour ne pas devenir si restrictif qu'il entrave le travail normal.

Les chercheurs ont pris soin de définir ce que leur système fait et ne fait pas. Ils ont prouvé mathématiquement que si les règles sont correctement configurées, il est impossible pour un agent d'effectuer une combinaison d'actions interdite. Ils ont également prouvé que le dommage potentiel d'un agent compromis ne peut pas croître à mesure que la tâche est transmise le long de la chaîne de commandement. Cependant, ils ont noté que leur système ne résout pas tous les problèmes possibles. Il ne peut pas empêcher un agent de faire quelque chose de préjudiciable si cette action unique est déjà autorisée par les règles, comme supprimer un fichier si l'agent a la permission de supprimer des fichiers. Il ne peut pas non plus empêcher un agent d'être trompé pour faire un mauvais choix dans le cadre de son domaine autorisé. Ces problèmes nécessitent des solutions différentes, telles qu'un meilleur entraînement de l'intelligence artificielle ou des contrôles plus détaillés sur les données spécifiques traitées.

En fin de compte, l'article présente un changement dans notre façon de concevoir la sécurisation de l'intelligence artificielle. Au lieu d'essayer de construire un esprit incassable, l'accent est mis sur la construction d'une cage incassable. En imposant des règles strictes sur les combinaisons d'actions possibles et en garantissant que les permissions diminuent lors de la délégation des tâches, le système crée un filet de sécurité qui tient bon même lorsque le jugement de l'agent fait défaut. La recherche démontre qu'avec les bons contrôles architecturaux, nous pouvons permettre à ces puissants travailleurs numériques d'opérer dans des environnements complexes sans craindre qu'un seul moment de confusion ne mène à une catastrophe. Les conclusions suggèrent que la voie vers une intelligence artificielle sûre ne réside pas seulement dans des modèles plus intelligents, mais dans des systèmes plus intelligents qui savent dire non, même quand le modèle dit oui.