Runtime Risk Detection and Control for AI Agents and LLM Applications

Imaginez un monde où les programmes informatiques ne se contentent pas de répondre à des questions, mais vont activement chercher des informations dans le monde numérique, prennent des décisions et agissent de manière autonome. On les appelle des agents d'IA. Ils sont comme des employés numériques capables de réserver des vols, d'analyser des données ou de contrôler des appareils intelligents en enchaînant de nombreuses petites étapes. Cependant, cette nouvelle capacité apporte un danger spécifique. Parce que ces agents peuvent lire des informations sur Internet et agir en conséquence, une ruse habile cachée dans un site web d'apparence inoffensive pourrait tromper l'agent pour lui faire commettre un acte préjudiciable, comme voler des données ou supprimer des fichiers. Le problème est qu'au moment où un humain remarque l'erreur, l'agent pourrait déjà avoir causé des dommages. Pour empêcher cela, nous avons besoin d'un moyen de surveiller ces agents pendant leur travail, de détecter lorsqu'ils s'apprêtent à faire un mouvement risqué et de les interrompre pour qu'un humain puisse vérifier avant qu'ils n'agissent.

C'est le défi relevé par un projet de recherche appelé AgentGuard AI. Les chercheurs, travaillant depuis une université en Inde, ont construit un prototype de système conçu pour agir comme un chien de garde pour ces programmes autonomes. Leur objectif n'était pas de construire un produit de sécurité parfait pour le monde réel, mais de créer un modèle fonctionnel qui pourrait montrer comment connecter trois idées critiques : la détection de comportements risqués, l'évaluation du danger de ce comportement et la décision de ce qu'il faut faire ensuite. Ils voulaient voir s'ils pouvaient construire un système qui non seulement repère les problèmes, mais conserve également un registre clair et immuable de chaque décision, afin que les humains puissent plus tard examiner exactement ce qui s'est passé et pourquoi. Le résultat est un examen détaillé d'un outil logiciel qui tente d'apporter de l'ordre et une supervision humaine au monde chaotique des agents d'IA.

Le système qu'ils ont construit, nommé AgentGuard AI, fonctionne comme une tour de contrôle pour les agents numériques. Il commence par surveiller le flux d'événements pendant que l'agent travaille. Il recherche des schémas spécifiques suggérant un danger, comme un agent tentant d'accéder à un fichier secret ou suivant une instruction confuse qui pourrait être un piège. Lorsqu'il repère quelque chose de suspect, il ne se contente pas de lever un signal d'alarme ; il calcule un score de risque. Ce score n'est pas un chiffre unique tiré du néant. Au contraire, il s'agit d'une combinaison de six facteurs différents, incluant la dangerosité des outils de l'agent, la sécurité du système et le comportement de l'utilisateur. Ces facteurs sont pondérés ensemble pour produire un score final qui indique la gravité de la situation.

Une fois le score de risque calculé, le système passe à la phase de décision. Il peut recommander quatre états possibles : laisser l'agent continuer, garder une surveillance étroite, restreindre ce que l'agent peut faire ou bloquer l'action entièrement. Crucialement, ce système est conçu pour être transparent. Il conserve un journal détaillé de chaque étape, de l'alerte initiale à la recommandation finale. Il permet à différentes personnes d'avoir des rôles distincts : un gestionnaire peut modifier les règles, un chercheur peut effectuer des tests, et un réviseur peut consulter les journaux pour approuner ou refuser des actions. Le système inclut également des fonctionnalités de confidentialité, telles que l'occultation de parties sensibles de la conversation dans les journaux, et il crée une « chaîne » numérique de registres qui rend très difficile toute falsification de l'historique de ce qui s'est passé.

Pour tester si cette idée fonctionnait réellement, les chercheurs ont mené une expérience spécifique. Ils n'ont pas utilisé de vrais agents ni de vrais pirates. À la place, ils ont utilisé un simulateur intégré pour générer vingt-cinq faux événements. Certains de ces événements étaient sûrs, tandis que d'autres étaient conçus pour ressembler à des attaques. Le système a traité ces événements et a produit un ensemble complet de preuves, incluant les données brutes, les scores de risque, les alertes et les décisions finales. Les chercheurs ont ensuite inspecté cet ensemble avec soin, comparant ce que le système affichait sur son écran avec ce qui était sauvegardé dans les fichiers numériques.

L'inspection a révélé que le système pouvait effectivement relier tous les points. Il a réussi à prendre un événement, à évaluer le risque, à faire une recommandation et à sauvegarder les preuves de manière à ce qu'elles puissent être examinées ultérieurement. Cela a prouvé que le flux de travail de base était possible. Cependant, le test a également mis en évidence des failles importantes qui empêchent ce système d'être un outil de sécurité prêt à l'emploi. Les chercheurs ont constaté que le système n'était pas parfaitement cohérent. Par exemple, l'écran affichait une version des règles de notation des risques, mais le fichier sauvegardé en montrait une autre. Dans un autre cas, le système a déclaré qu'il bloquerait une action à haut risque, mais le registre sauvegardé indiquait qu'il demanderait simplement une révision humaine. Ces décalages signifient que si vous tentiez de rejouer l'expérience plus tard, vous pourriez ne pas obtenir exactement le même résultat, ce qui est un problème majeur pour tout système prétendant être fiable.

De plus, le système manquait de certains détails essentiels nécessaires à une véritable preuve. Il n'a pas enregistré la graine aléatoire (random seed) spécifique utilisée pour générer les événements de test, ni la version exacte du code informatique qui était en cours d'exécution. Sans ces détails, il est impossible pour un autre chercheur de recréer l'expérience exactement pour vérifier les résultats. L'étude a également noté que le système fonctionnait comme une simple simulation sur un seul ordinateur, et non comme un service complexe à haute vitesse capable de gérer le trafic du monde réel. C'était un prototype de recherche, pas un produit fini.

Les chercheurs ont été très clairs sur ce que leur travail accomplissait et ce qu'il n'accomplissait pas. Ils n'ont pas prouvé que leur système pouvait arrêter de vrais pirates ou qu'il était meilleur que d'autres outils de sécurité. Ils n'ont pas testé le système avec de vraies personnes examinant les alertes pour voir si le système réduisait leur charge de travail ou améliorait leurs décisions. Ce qu'ils ont prouvé, c'est qu'ils pouvaient construire un cadre qui lie la détection, la notation et la révision humaine en un processus inspectable unique. Ils ont montré qu'il est possible de créer une trace numérique qui connecte un événement risqué à une décision humaine, mais ils ont aussi montré que construire un système qui soit cohérent, reproductible et prêt pour le monde réel nécessite beaucoup plus de travail.

La valeur de cette étude réside dans son honnêteté. Au lieu de présenter une solution polie et parfaite, les chercheurs ont présenté un modèle fonctionnel qu'ils ont ensuite démonté pour montrer ses points forts et ses points faibles. Ils ont démontré que, bien que l'idée d'un chien de garde d'IA sensible à la gouvernance soit saine, les détails comptent énormément. Un système qui prétend protéger les agents d'IA doit être capable de tenir ses propres registres corrects, de garantir que ses règles sont appliquées de manière cohérente et de fournir suffisamment d'informations pour que les humains puissent faire confiance à ses décisions. Tant que ces pièces ne sont pas corrigées, le système reste un outil puissant pour la recherche et un schéma directeur pour l'avenir, mais pas encore un bouclier pour le présent.