Teleoneutrosophic Logic for Three-Way Authorisation of Institutional AI Agents
Ce document propose la Logique Téléoneutrosophique, un cadre sensible à la provenance qui associe des triplets neutrosophiques distincts pour l'effet et le but afin de permettre une autorisation tripartite des agents d'IA institutionnels, réduisant efficacement le passage de préjudices directs en distinguant les requêtes externes légitimes des incitations malveillantes.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde numérique moderne, les agences gouvernementales et les grandes institutions commencent à utiliser l'intelligence artificielle pour gérer des tâches complexes, telles que la synthèse de pétitions de citoyens ou la gestion de registres fiscaux. Ces agents d'IA sont des outils puissants, mais ils sont confrontés à un problème unique et dangereux : ils peuvent être trompés. Imaginez qu'un citoyen soumette une pétition concernant un problème fiscal, mais qu'à l'intérieur de ce document se cache une instruction secrète ordonnant à l'IA de transférer de l'argent vers le compte d'un inconnu. Pour l'IA, l'instruction ressemble simplement à une commande de plus à exécuter. Le défi pour les experts en sécurité est de distinguer un ordre légitime provenant d'un fonctionnaire autorisé d'une commande cachée enfouie dans un document que l'IA est simplement en train de lire. Les systèmes de sécurité traditionnels examinent souvent uniquement ce qu'une action fait — comme un transfert d'argent — et peinent à comprendre qui l'a réellement demandée ou pourquoi. Cette lacune rend les institutions vulnérables à l'« injection de prompt », où des attaquants cachent des instructions malveillantes à l'intérieur des données que l'IA traite.
Pour résoudre ce problème, les chercheurs Selçuk Topal et Buğra Ayan ont développé une nouvelle méthode pour décider si un agent d'IA doit exécuter une requête. Leur approche, appelée logique téléoneutrosophique, traite la décision d'autoriser une action comme un choix tripartite : le système peut approuver l'action, la refuser, ou faire une pause pour demander une révision humaine. Le cœur de leur innovation est la séparation du « quoi » et du « pourquoi ». Le système évalue l'action elle-même (l'effet) et la source de l'instruction (le but) comme deux preuves distinctes. Crucialement, il attribue un score de confiance à chaque source. Un ordre direct d'un fonctionnaire gouvernemental vérifié possède un score de confiance élevé, tandis qu'un document téléchargé par un citoyen ou un e-mail provenant d'un expéditeur inconnu possède un score faible. Le système pèse ensuite ces scores par rapport au préjudice potentiel de l'action. Si une source de faible confiance tente d'influencer une décision à enjeux élevés, le système ne se contente pas d'ignorer l'instruction ; il traite plutôt l'absence d'un but clair et fiable comme une raison de faire une pause et de transmettre la décision à un humain.
Les chercheurs ont testé ce système en utilisant une vaste collection d'attaques simulées et de scénarios gouvernementaux réalistes. Ils ont créé plus de mille scénarios où des attaquants tentaient de tromper les agents d'IA pour voler des données ou émettre des remboursements non autorisés. Lors de ces tests, le nouveau système s'est révélé très efficace pour stopper les attaques provenant de sources non fiables. Lorsque le système identifiait correctement qu'une requête provenait d'un canal de faible confiance, il empêchait l'IA d'agir, même si l'instruction cachée paraissait très convaincante. L'étude a révélé qu'en gardant le « but » d'une requête séparé de son « effet », le système pouvait réduire le taux d'attaques réussies d'un niveau dangereux à une fraction très faible. Par exemple, dans un ensemble de tests impliquant un préjudice direct, le système a réduit le nombre d'attaques réussies de plus de 36 % à moins de 2 % lorsque les étiquettes étaient correctes. Même lorsque le système était trompé par un étiquetage erroné d'une source dangereuse comme étant fiable, il parvenait tout de même à bloquer la majorité des attaques, faisant passer le taux de réussite de plus de 80 % à environ 35 %.
Cependant, les chercheurs ont également découvert les limites de cette approche. Le système repose fortement sur l'exactitude des étiquettes de confiance attribuées aux différents canaux. Si un attaquant parvient à tromper le système pour qu'il croie qu'une source malveillante est digne de confiance, la protection s'affaiblit. De plus, l'étude a montré que le système n'est pas un bouclier magique qui fonctionne parfaitement dans toutes les situations. Dans certains cas, particulièrement lorsque l'IA était sollicitée pour traiter des requêtes génériques de citoyens sans instructions spécifiques, le système se montrait prudent et provoquait souvent une pause pour révision humaine. Cette prudence est une caractéristique, et non un défaut ; elle garantit que l'IA n'approuve pas accidentellement des actions nuisibles. Les chercheurs ont constaté que, bien que le système soit excellent pour arrêter les attaques évidentes, il nécessite toujours une supervision humaine pour les situations complexes ou ambiguës. Ils ont également noté que pour que le système apprenne et s'améliore, il doit voir des exemples de requêtes légitimes provenant de canaux non fiables, ce qui est actuellement rare dans les données d'entraînement. Sans ces exemples, le système pourrait bloquer par erreur des requêtes valides de citoyens.
L'étude conclut que, bien que cette nouvelle logique constitue une avancée significative pour la sécurisation des agents d'IA, elle n'est pas une solution autonome. Elle fonctionne mieux lorsqu'elle est combinée à des règles strictes sur la manière dont les données sont étiquetées et suivies. Les chercheurs ont démontré qu'une règle simple et rigide traitant toute entrée non fiable comme suspecte peut être tout aussi sûre que leur système complexe, à condition que les étiquettes soient correctes. La véritable valeur de leur travail réside dans la démonstration de la manière de gérer l'incertitude. En permettant au système d'exprimer une « ambivalence » — un état où il est incertain si une requête est sûre ou non — il peut prendre des décisions plus intelligentes qu'un simple filtre oui-ou-non. Cette approche garantit que lorsqu'un agent d'IA est sollicité pour effectuer une tâche sensible, il vérifie non seulement si la tâche est possible, mais aussi si la personne qui la demande en a le droit. Les conclusions suggèrent que pour que l'IA soit utilisée en toute sécurité dans le gouvernement et les infrastructures critiques, nous devons construire des systèmes qui comprennent la différence entre une commande et une suggestion, et qui savent quand s'effacer pour laisser l'humain prendre les commandes.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.