Verifiable Delegated Authority for LLM Agents in Banking: A Formal Architecture, Capability Protocol, and Audit Guarantees
Cet article propose une architecture formelle pour des agents LLM sécurisés dans le secteur bancaire qui découple l'autorisation du modèle en utilisant des jetons de capacité atténués et des moteurs de politique déterministes, fournissant des garanties prouvables de confinement de l'autorité, de limitation des pertes financières et d'intégrité de l'audit face à des acteurs adverses.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Dans le monde de la haute finance, la confiance s'est traditionnellement construite sur des règles rigides et des acteurs prévisibles. Pendant des décennies, les banques ont sécurisé leurs portes numériques en s'assurant que chaque action provient d'un humain connu ou d'un service informatique fiable et préprogrammé. Ces systèmes fonctionnent sur un principe simple : si une requête est signée par la bonne personne et suit les bonnes étapes, elle est sûre à exécuter. Cependant, un nouveau type de travailleur vient de faire son entrée : l'agent d'intelligence artificielle. Contra-irement à un humain ou à un programme informatique standard, ces agents sont alimentés par des modèles de langage de grande taille capables de raisonner à travers des informations complexes et non structurées comme des courriels ou des rapports. Ils peuvent décider d'eux-mêmes des prochaines étapes à suivre. Cette flexibilité les rend incroyablement utiles pour gérer les tâches administratives désordonnées, mais elle introduit aussi une incertitude profonde. Parce que ces agents ne prennent pas toujours la même décision deux fois, même face à la même information, les anciens modèles de sécurité qui supposent un acteur prévisible ne tiennent plus la route. Si un agent d'IA reçoit les clés pour déplacer de l'argent, comment une banque peut-elle être sûre qu'il ne transférera pas accidentellement ou malicieusement des fonds qu'il ne devrait pas ?
Neeraj Aggarwal, chercheur chez Infosys, aborde ce problème exact avec un nouveau cadre conçu spécifiquement pour le secteur bancaire. L'idée centrale est de ne pas chercher à rendre l'IA elle-même parfaitement sûre, mais plutôt de construire une cage sécurisée autour d'elle. Dans cette nouvelle architecture, l'IA est traitée non pas comme un décideur de confiance, mais comme un proposant non fiable. Elle est autorisée à suggérer des actions, mais n'est jamais autorisée à les exécuter directement. Au lieu de cela, chaque suggestion doit passer par un moteur de politique déterministe distinct qui agit comme un gardien strict. Ce moteur vérifie la suggestion par rapport à un ensemble de règles et à un « jeton de capacité » spécifique qui limite précisément ce que l'agent peut faire, la quantité d'argent qu'il peut déplacer et sa durée de validité. Le système est conçu de telle sorte que même si l'IA est trompée par une instruction malveillante (prompt) ou confuse par des données erronées, elle ne peut pas sortir de ses limites assignées. Les chercheurs prouvent mathématiquement que, sous ce design, l'agent ne peut jamais augmenter ses propres privilèges pour faire quelque chose pour lequel il n'est pas autorisé, et ils calculent une limite supérieure précise sur le montant d'argent qui pourrait être perdu si le système était attaqué sans intervention humaine.
Pour s'assurer que tout s'est déroulé correctement, les chercheurs ont également construit un système de preuves vérifiables. Chaque étape franchie par l'agent, de l'idée initiale à l'exécution finale, est enregistrée dans un journal sécurisé et immuable, signé et lié les uns aux autres comme une chaîne. Cela permet à un auditeur, ou même à un autre ordinateur, de consulter le registre des mois plus tard et de vérifier que l'agent est resté dans ses règles, sans avoir besoin de voir le processus de pensée interne de l'IA ou de relancer l'IA elle-même. Le système introduit également une méthode permettant à plusieurs agents d'IA de réviser le travail des autres. Les chercheurs ont découvert que le simple fait d'ajouter plus de réviseurs ne garantit pas la sécurité ; au contraire, la clé est d'avoir des réviseurs diversifiés, c'est-à-dire construits sur des modèles différents ou entraînés différemment. Si tous les réviseurs partagent le même angle mort, ils commettront la même erreur. En quantifiant ce risque, le système peut décider quand un deuxième avis vaut réellement la peine d'être sollicité et quand il est nécessaire de s'arrêter et de demander l'aide d'un humain.
L'équipe a testé ces idées en construisant un prototype fonctionnel et en le soumettant à des milliers d'attaques simulées. Lors de ces tests, un ordinateur adverse — agissant comme un substitut d'agent malveillant, sans véritable modèle de langage en jeu — a tenté de tromper le système pour effectuer des actions non autorisées, telles que la falsification de jetons, le rejeu de commandes anciennes ou la manipulation des journaux. Sur 700 000 tentatives, le système a bloqué avec succès chaque exécution non autorisée. Les simulations, qui reposaient sur des données synthétiques et utilisaient l'HMAC-SHA256 pour remplacer les véritables signatures numériques, ont confirmé que les limites mathématiques des pertes financières étaient exactes ; lorsque les attaquants ont tenté de pousser le système à sa limite absolue, les pertes correspondaient exactement au maximum prédit, prouvant que le filet de sécurité était serré. Les tests ont également révélé deux faiblesses spécifiques dans la conception initiale : l'une liée à la durée de validité des jetons et l'autre concernant la capacité de revenir en arrière dans les journaux. La conception finale a comblé ces lacunes, garantissant que même si un attaquant parvenait à voler un jeton, celui-ci ne pourrait être utilisé qu'une seule fois et dans une fenêtre de temps très courte.
Cette approche représente un changement dans notre façon de concevoir la sécurisation des systèmes intelligents dans les infrastructures critiques. Plutôt que d'espérer que l'IA se comportera toujours bien, le système suppose qu'elle pourrait ne pas l'être et construit une couche d'application qui est séparée du raisonnement de l'IA. Le résultat est un flux de travail où l'IA peut accomplir sa tâche de tri d'informations complexes et de proposition de solutions, tandis que la banque conserve un contrôle absolu sur l'action finale. Les chercheurs ont démontré qu'il est possible d'avoir des agents puissants et automatisés dans un environnement bancaire sans créer un risque inauditable. En traitant l'IA comme un proposant et la couche d'exécution comme l'exécuteur, et en conservant un enregistrement infalsifiable de chaque décision, les banques peuvent commencer à utiliser ces outils avec un niveau de sécurité et de responsabilité qui était auparavant impossible. Ce travail reste un modèle formel et une simulation, mais il offre une voie claire et prouvée pour faire passer les agents d'IA de l'état d'outils expérimentaux au cœur des opérations financières réglementées.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.