Mastyf Guard 1.5B: Cognitive Harvard Architectures for Sub-Millisecond AI Agent Perimeter Defense and Capability-Based Access Control

Imaginez un monde où les ordinateurs ont la capacité d'agir par eux-mêmes, non pas seulement pour répondre à des questions, mais pour accomplir des tâches comme envoyer des e-mails, gérer des bases de données ou contrôler des appareils domestiques intelligents. Ces agents autonomes sont puissants, mais ils font face à un problème de sécurité fondamental ancré dans leur conception. Depuis des décennies, les systèmes informatiques fonctionnent sur un modèle de conception où les instructions indiquant à la machine ce qu'elle doit faire et les données que la machine traite se trouvent ensemble dans le même espace mémoire. Cet agencement, bien que flexible, crée une vulnérabilité : si un acteur malveillant parvient à glisser une instruction cachée dans le flux de données, l'ordinateur pourrait confondre cette donnée avec une commande et lui obéir. Dans le domaine de l'intelligence artificielle, cette faille est revenue sous une nouvelle forme. Parce que ces agents d'IA lisent leurs propres instructions et les informations non fiables qu'ils recueillent sur Internet en même temps, ils peuvent être trompés. Un attaquant peut cacher une commande à l'intérieur d'un avis de produit apparemment inoffensif ou d'un e-mail, et l'IA, incapable de distinguer les données sûres de l'ordre caché, pourrait suivre cet ordre et effectuer des actions qu'elle n'était pas censée faire, comme supprimer des fichiers ou voler des mots de passe.

Un chercheur du laboratoire de recherche Mastyf AI à Kolkata, en Inde, a proposé une solution à ce problème spécifique, qu'il appelle l'« Architecture Harvard Cognitive ». Ses travaux, détaillés dans une étude intitulée « Mastyf Guard 1.5B », introduisent une nouvelle façon de protéger ces agents autonomes. Au lieu de laisser l'IA mélanger librement ses instructions et ses données, le chercheur a conçu un système qui sépare physiment les deux. Dans cette nouvelle configuration, l'IA est autorisée à lire des informations non fiables et à réfléchir à ce qu'elle doit faire, mais elle ne peut pas réellement exécuter d'action par elle-même. Avant qu'une IA puisse accomplir une tâche, comme ouvrir un fichier ou envoyer un message, sa requête doit passer par un point de contrôle de sécurité strict. Ce point de contrôle agit comme un gardien qui vérifie les permissions de l'agent par rapport à une liste spécifique d'actions autorisées. Si la requête provient d'une source de confiance et correspond aux permissions, elle passe. Si la requête tente de faire quelque chose en dehors de son champ d'application, ou s'il s'agit d'une commande cachée déguisée en donnée, le gardien l'arrête immédiatement. Cette approche est basée sur un concept plus ancien issu du matériel informatique, où la mémoire d'instruction et la mémoire de données sont conservées dans des emplacements physiques séparés pour prévenir précisément ce genre de confusion.

Le chercheur a construit un outil logiciel appelé Mastyf Guard pour tester cette idée. Il a entraîné un modèle d'IA spécialisé, relativement petit et efficace, pour agir comme ce gardien de sécurité. Pour vérifier son efficacité, il l'a soumis à un test rigoureux impliquant cinquante mille scénarios différents. La moitié de ces scénarios étaient des exemples réels de commandes de développeurs sûres, telles que la mise à jour d'une base de données ou la fusion de code. L'autre moitié consistait en des attaques soigneusement élaborées pour tromper une IA afin qu'elle fasse quelque chose de préjudiciable. Ces attaques comprenaient des instructions cachées enfouies dans du texte, des tentatives de contournement des filtres de sécurité et des requêtes visant à voler des informations sensibles. Les résultats ont été frappants. Le système Mastyf Guard a réussi à identifier et à bloquer 99,33 % des tentatives malveillantes. En revanche, d'autres outils de sécurité de pointe disponibles à l'époque n'ont pas réussi à détecter plus de la moitié de ces attaques. Le nouveau système était non seulement plus précis, mais aussi incroyablement rapide. Il pouvait prendre une décision de sécurité en moins de cinq microsecondes, une vitesse qui lui permettait de fonctionner sur des processeurs informatiques standards sans nécessiter de matériel graphique coûteux et spécialisé.

L'étude a également souligné pourquoi les méthodes précédentes de protection de l'IA avaient échoué. De nombreux outils de sécurité existants étaient conçus pour repérer les menaces évidentes comme les discours de haine ou la violence dans les conversations de chat. Ils n'étaient pas conçus pour reconnaître quand une phrase à l'apparence polie contenait une commande cachée pour supprimer un serveur ou déverrouiller une porte. Parce que ces outils plus anciens cherchaient des mots mauvais plutôt que des actions dangereuses, ils laissaient passer des attaques sophistiquées. Le système Mastyf Guard, cependant, ne se contente pas de chercher des mots mauvais ; il vérifie le contexte et les permissions. Il comprend qu'une phrase parfaitement polie peut être dangereuse si elle tente d'utiliser un outil auquel l'agent n'est pas autorisé à toucher. En imposant une règle stricte selon laquelle un agent ne peut utiliser que les outils pour lesquels il a une permission explicite, le système empêche l'IA d'être trompée et d'agir comme un « délégué confus » (un terme utilisé pour décrire un programme de confiance qui est trompé pour accomplir une action préjudiciable par un attaquant).

Malgré son succès, le chercheur a pris soin de noter les limites de ses travaux. Le système est très efficace pour arrêter les attaques qui tentent d'amener l'agent à utiliser des outils auxquels il n'est pas censé avoir accès. Cependant, si un attaquant parvient à tromper l'agent pour qu'il modifie les détails d'un outil qu'il est déjà autorisé à utiliser, le système repose sur la capacité de l'IA à détecter la subtile différence de sens. Dans ces cas spécifiques, le système a intercepté environ 78,5 % des menaces, ce qui reste fort mais n'est pas parfait. Le chercheur a également souligné que sa solution est conçue pour être légère et abordable. Parce qu'elle fonctionne efficacement sur la mémoire informatique standard, elle ne nécessite pas les quantités massives d'électricité et le matériel coûteux dont les grands modèles d'IA ont besoin. Cela permet aux entreprises de sécuriser leurs agents autonomes sans supporter un fardeau financier énorme.

Les conclusions suggèrent que la manière dont nous construisons les systèmes d'IA sécurisés doit changer. Plutôt que de compter sur l'intelligence de l'IA pour savoir ce qui est sûr, l'architecture elle-même doit imposer la sécurité. En séparant la partie de réflexion de l'IA de la partie action, et en plaçant un garde-fou strict basé sur les permissions entre les deux, le chercheur a créé un système qui est à la fois plus rapide et plus sûr que les alternatives actuelles. L'étude offre une voie claire pour construire des agents autonomes capables d'opérer dans le monde réel sans risquer constamment de catastrophe. Elle démontre qu'en appliquant les principes fondamentaux de l'architecture informatique aux nouveaux défis de l'intelligence artificielle, il est possible de créer une défense qui soit à la fois mathématiquement solide et pratiquement efficace. Ce travail constitue une étape significative vers la création d'agents autonomes qui peuvent être une partie sûre et fiable de notre infrastructure numérique, prouvant que la sécurité n'a pas à se faire au détriment de la vitesse ou de l'efficacité.