Dans le monde de l'informatique moderne, une règle fondamentale a longtemps assuré la sécurité des systèmes : les instructions ordonnant à une machine ce qu'elle doit faire doivent être tenues séparées des données que la machine traite. Cette séparation garantit qu'un utilisateur ne peut pas accidentellement ou malicieusement tromper un ordinateur pour lui faire exécuter des commandes qu'il n'était pas censé suivre. Cependant, l'essor des agents d'intelligence artificielle autonomes a brouillé cette ligne. Ces agents, conçus pour accomplir des tâches complexes comme la gestion de bases de données ou le contrôle d'appareils intelligents, lisent souvent des instructions et des données non fiables provenant d'Internet en même temps, dans un flux unique de texte. Parce que l'ordinateur traite les données et les instructions comme faisant partie du même mélange, un attaquant astucieux peut cacher une commande cachée dans un e-mail ou une page Web apparemment inoffensif. Lorsque l'agent lit ce contenu, il peut obéir sans le savoir à la commande cachée, effectuant des actions telles que la suppression de fichiers ou le vol de mots de passe. Cette vulnérabilité, connue sous le nom d'injection de prompt indirecte, transforme l'agent en un délégué confus qui suit des ordres qu'il n'avait pas l'intention de recevoir.

Les chercheurs du Mastyf AI Research Laboratories ont proposé une nouvelle façon de protéger ces agents, s'éloignant de l'idée que l'intelligence artificielle elle-même puisse être le juge ultime de la sécurité. Au lieu de compter sur l'IA pour reconnaître chaque ruse possible, l'équipe a construit un système de sécurité qui agit comme un gardien strict avant que toute action ne soit entreprise. Ils appellent ce système Mastyf Guard. Il fonctionne selon un principe simple mais puissant : l'IA est autorisée à penser et à raisonner, mais elle est dépouillée du pouvoir d'agir par elle-même. Chaque fois que l'IA suggère un outil à utiliser, comme l'envoi d'un e-mail ou l'accès à un serveur, un moniteur de sécurité séparé et indépendant vérifie la requête. Ce moniteur ne cherche pas à deviner l'intention de l'IA ; au lieu de cela, il vérifie une liste numérique de permissions, un peu comme un videur vérifiant une liste d'invités à l'entrée d'un club. Si l'action demandée n'est pas explicitement autorisée pour cette session spécifique, la requête est immédiatement bloquée, quelle que soit la force de conviction du raisonnement de l'IA.

Les chercheurs ont testé cette approche contre une vaste collection de cinquante mille scénarios, dont la moitié étaient des attaques réalistes conçues pour tromper les agents, et l'autre moitié des opérations normales et sûres effectuées par des développeurs. Les résultats ont montré que leur système pouvait arrêter la grande majorité des attaques presque instantanément. Dans les cas les plus rapides, la vérification de sécurité ne prenait que cinq millièmes de seconde, une vitesse si rapide qu'elle est presque imperceptible pour un utilisateur humain. Le système a identifié et bloqué avec succès 99,33 % des attaques, une amélioration significative par rapport aux outils de sécurité existants qui ratent souvent plus de la moitié de ces ruses subtiles. Crucialement, le système a fait cela sans avoir besoin de puces informatiques coûteuses et puissantes, fonctionnant efficacement sur des processeurs informatiques standards avec une empreinte mémoire de seulement 1,1 gigaoctet. Cela signifie que la protection peut être déployée dans des environnements de bureau quotidiens sans nécessiter de matériel spécialisé.

Pour comprendre comment cela fonctionne, imaginez l'agent d'IA comme un employé hautement qualifié mais facilement distrait qui a reçu une clé maîtresse de tout le bâtiment. Si un étranger murmure une fausse instruction à l'oreille de l'employé, l'employé pourrait utiliser cette clé maîtresse pour ouvrir une porte qu'il ne devrait pas ouvrir. Le système Mastyf Guard retire entièrement la clé maîtresse de la poche de l'employé. Au lieu de cela, l'employé doit demander la permission à un garde de sécurité chaque fois qu'il veut ouvrir une porte. Le garde n'écoute pas l'histoire de l'employé et ne cherche pas à interpréter son ton ; le garde vérifie simplement une liste stricte des portes que l'employé est autorisé à ouvrir à ce moment précis. Si la requête ne figure pas sur la liste, la porte reste verrouillée. Cette approche résout le problème du « délégué confus » en garantissant que même si l'IA est trompée pour demander la mauvaise chose, le système ne peut tout simplement pas le faire car il manque d'autorité.

Les chercheurs ont également abordé un problème plus subtil : que se passe-t-il lorsque l'IA est autorisée à utiliser un outil, mais tente de modifier les détails de la requête pour causer un préjudice ? Par exemple, une IA pourrait être autorisée à envoyer un e-mail, mais un attaquant pourrait la tromper pour qu'elle envoie cet e-mail à une adresse différente ou avec un objet différent. Pour gérer cela, l'équipe a ajouté une deuxième couche de défense qui agit comme un correcteur attentif. Cette couche vérifie les détails spécifiques de la requête par rapport à la permission originale. Si l'IA tente d'envoyer de l'argent à un nouveau compte ou d'accéder à un fichier qu'elle n'était pas censée toucher, le système détecte le changement. Dans des tests impliquant trois mille scénarios commerciaux complexes, cette combinaison de vérifications de permissions strictes et de relecture détaillée a intercepté 97,5 % des attaques tout en maintenant un taux de faux positifs de zéro pour cent, avec une limite supérieure statistique de 0,19 % sur 2 000 opérations d'entreprise bénignes. Le système était si précis que, lors de deux mille opérations commerciales normales, il n'a déclenché aucune fausse alerte.

L'une des découvertes les plus significatives de l'étude est que le système n'a pas besoin d'être une IA super-intelligente pour être efficace. Les chercheurs ont constaté qu'un petit programme informatique spécialisé pouvait gérer la grande majorité des vérifications de sécurité en microsecondes, ne faisant appel à un modèle d'IA plus large et plus complexe que lorsqu'une requête était ambiguë ou suspecte. Cette approche hybride permet de garder le système rapide et peu coûteux à exploiter. Dans le trafic commercial de routine, le modèle d'IA complexe n'était jamais nécessaire, permettant au système de fonctionner à la vitesse des vérifications simples et rapides. Lorsque le système devait effectivement faire appel au modèle plus large pour enquêter sur une requête délicate, cela prenait environ dix-huit millisecondes, ce qui est toujours assez rapide pour la plupart des applications en temps réel. Cette conception garantit que la sécurité ne se fait pas au détriment de la vitesse ou de l'utilisabilité, permettant aux entreprises d'utiliser des agents d'IA puissants sans ralentir leur travail quotidien.

L'étude a également exploré comment empêcher les données de fuiter hors du système via une chaîne d'outils autorisés. Même si un attaquant ne peut pas forcer l'IA à utiliser un outil interdit, il pourrait tenter de déplacer des informations sensibles d'un outil autorisé vers un autre, effectuant ainsi une sortie de données par contrebande. Sous les seules vérifications de capacité standard, les chercheurs ont constaté que les attaquants pouvaient réussir à exfiltrer des données dans une partie significative des cas de test en déplaçant des informations entre des outils autorisés. Pour arrêter cela, les chercheurs ont mis en œuvre un système de suivi qui suit le flux d'informations, de la même manière qu'une banque suit le mouvement de l'argent pour s'assurer qu'il ne disparaisse pas. Ce système marque les données sensibles, telles que les mots de passe ou les dossiers financiers, et garantit que ces données ne peuvent se déplacer que vers des destinations explicitement autorisées à les recevoir. Dans des tests impliquant plus de mille tentatives de vol de données utilisant cette méthode de suivi spécifique, le système a bloqué toutes les tentatives, garantissant que les informations sensibles ne puissent pas se déplacer vers un emplacement non autorisé.

Bien que le système ait montré un succès remarquable, les chercheurs ont pris soin de noter ses limites. Les garanties de sécurité reposent sur l'hypothologie que le moniteur de sécurité lui-même fonctionne sur un ordinateur de confiance et n'a pas été piraté. Si le moniteur est compromis, l'ensemble du système échoue. De plus, bien que le système soit excellent pour arrêter les attaques qui tentent d'utiliser des outils de manière non autorisée, il n'est pas parfait pour détecter toutes les variations possibles d'une ruse, particulièrement celles qui impliquent des manœuvres complexes à plusieurs étapes conçues pour confondre le système. Les chercheurs ont identifié un petit nombre de cas où leur système a été contourné, impliquant principalement des ruses financières très spécifiques ou des déguisements de noms de domaine, et ils ont déjà proposé des mises à jour pour combler ces lacunes. Ils décrivent leur travail comme une architecture de pré-production, ce qui signifie qu'elle est prête pour des tests dans des environnements réels mais nécessite encore une validation supplémentaire par des experts indépendants avant de pouvoir être considérée comme un produit commercial final.

Les implications de ce travail s'étendent au-delà de la simple sécurisation de l'IA ; elles changent notre façon de concevoir les systèmes intelligents. En traitant l'IA comme un composant potentiellement non fiable qui doit être constamment supervisé, plutôt que comme un partenaire fiable capable de se surveiller lui-même, les chercheurs ont créé un cadre beaucoup plus difficile à briser. Ce changement de perspective permet l'utilisation d'agents autonomes puissants dans des environnements sensibles comme les hôpitaux, les banques et les bureaux gouvernementaux, où le coût d'une erreur est élevé. Le système prouve que la haute sécurité ne nécessite pas de sacrifier la vitesse ou d'exiger du matériel coûteux, ce qui en fait une solution pratique pour l'avenir de l'intelligence artificielle. À mesure que ces agents deviendront plus courants dans notre vie quotidienne, la capacité de séparer la pensée de l'action, et d'imposer des règles strictes sur les actions autorisées, sera essentielle pour maintenir la sécurité de notre monde numérique.

Les chercheurs ont mis leurs outils et leurs données à la disposition du public, permettant à d'autres scientifiques de tester et d'améliorer leur travail. Ils ont publié le code du moniteur de sécurité et les modèles d'IA entraînés, invitant la communauté mondiale à trouver des faiblesses et à suggérer des améliorations. Cette ouverture est une partie critique du processus scientifique, garantissant que le système n'est pas seulement une idée théorique, mais un outil pratique qui peut être scruté et affiné. L'étude conclut qu'en combinant des règles déterministes strictes avec des vérifications intelligentes et flexibles, il est possible de construire un environnement sécurisé pour les agents autonomes. La voie à suivre consiste à continuer de tester ces systèmes dans des scénarios réels, à affiner les règles pour attraper de nouveaux types de ruses, et à s'assurer que la technologie reste robuste à mesure que les menaces évoluent. Ce travail représente une étape importante vers la transformation de la promesse de l'IA autonome en une réalité sûre et fiable pour tous.