Agentic AI Systems and Financial Stability, From Model Risk to Systemic Risk

La stabilité financière repose sur une hypothèse réconfortante : lorsqu'une partie du système se brise, le reste peut absorber le choc. Si une banque fait faillite, les autres survivent ; si un trader commet une erreur, le marché se corrige de lui-même. Cela fonctionne parce que les défaillances sont généralement propres à cette institution spécifique, éparpillées et sans lien entre elles. Mais un nouveau type de risque émerge, qui brise ce filet de sécurité. Il provient de l'intelligence artificielle « agentique » — des systèmes qui ne se contentent pas de prédire l'avenir, mais qui accomplissent des actions dans le monde réel, comme déplacer de l'argent, écrire du code ou gérer les soins aux patients. Lorsque de nombreux agents sont construits sur la même base logicielle sous-jacente, une erreur unique ou un piratage unique ne reste pas localisé. Au lieu de cela, il frappe chaque agent à la fois, transformant un simple bug en un effondrement systémique.

Des chercheurs de la Réserve fédérale ont passé des années à étudier comment gérer le risque dans la banque traditionnelle, où ils mesurent la probabilité qu'un prêt soit en défaut de paiement et mettent de côté de l'argent pour couvrir la perte. Ils ont maintenant appliqué ce même raisonnement rigoureux à ces nouveaux systèmes d'IA, mais ils ont découvert que les anciennes règles ne fonctionnent pas. Le problème fondamental est que ces agents d'IA sont différents des travailleurs humains ou des logiciels traditionnels. Ils agissent avec rapidité et autonomie, et lorsqu'ils commettent une erreur, les dommages sont souvent irréversibles. On ne peut pas « annuler » un virement bancaire frauduleux ou « annuler la suppression » d'une base de données critique. Parce que le préjudice est permanent et survient instantanément, les filets de sécurité habituels — comme avoir un plan de secours ou attendre de voir ce qui se passe avant de réagir — sont inutiles. Les chercheurs ont découvert que la seule façon d'empêcher une catastrophe est de l'empêcher d'être possible dès le départ, en supprimant les capacités dangereuses avant même que le système ne soit lancé.

L'étude, qui s'appuie sur six investigations mathématiques distinctes, commence par examiner un agent d'IA unique. Dans la finance traditionnelle, le risque est calculé en multipliant la probabilité d'un événement par l'ampleur de la perte. Les chercheurs ont adapté cela pour l'IA, en décomposant le dommage en trois parties : la probabilité que l'agent accomplisse une action nuisible, la gravité de cette action et l'étendue de sa portée. Ils ont constaté que lorsque l'agent est attaqué, ces trois facteurs n'agissent pas indépendamment. Un événement malveillant unique peut simultanément rendre l'agent plus susceptible d'agir, aggraver les dommages et étendre la portée des dommages. Cela crée un risque de « sens inverse » où le danger se multiplie rapidement. Plus important encore, ils ont prouvé que pour les dommages irréversibles, aucune quantité de surveillance ou de capacité à inverser les erreurs ne peut régler le problème. Si une action ne peut être annulée, la seule solution est de s'assurer que l'agent n'ait jamais la capacité de poser cette action du tout.

Les chercheurs ont ensuite élargi leur vision, passant d'un agent unique à une flotte de milliers d'agents, tous fonctionnant sur le même modèle de base. C'est là que le risque devient véritablement systémique. Dans un portefeuille normal, si vous avez de nombreux investissements différents, la défaillance de l'un ne nuit pas aux autres. Mais si chaque agent d'une flotte partage le même cerveau, une faille dans ce cerveau les affecte tous simultanément. Les chercheurs ont montré que peu importe le nombre d'agents ajoutés à la flotte, le risque ne diminue pas. Au contraire, il atteint un « plancher » qui ne peut être éliminé par la diversification. Même si les agents se trouvent dans des entreprises ou des pays différents, s'ils reposent sur le même logiciel sous-jacent, une défaillance unique peut faire tomber l'ensemble du groupe. C'est ce qu'ils appellent une « monoculture » : un système où tout le monde est vulnérable à la même menace exacte.

L'étude a également examiné comment ces agents interagissent entre eux. Dans le monde réel, les agents communiquent souvent entre eux, partageant des informations ou coordonnant des tâches. Les chercheurs ont découvert que cette interaction crée un nouveau danger caché. Même si les agents sont construits sur des logiciels différents, s'ils sont programmés pour s'écouter les uns les autres, ils peuvent commencer à agir de concert lors d'une crise. Si un agent panique et change de comportement, les autres suivent, créant une réaction en chaîne qui propage le risque. Cela se produit même sans faille logicielle partagée. De plus, un agent compromis peut utiliser le langage pour persuader ses pairs de faire quelque chose de préjudiciable, créant une contagion qui se propage par la conversation plutôt que par le code. Cela signifie que séparer simplement les réseaux techniques ne suffit pas ; la manière dont les agents communiquent doit également être contrôlée.

Pour comprendre comment ces risques se manifestent au fil du temps, les chercheurs ont modélisé le système comme un flux continu d'événements, de la même manière que les tremblements de terre ou les krachs financiers sont étudiés. Ils ont découvert que le risque se comporte comme un saut massif et rare plutôt que comme une dérive lente. Le système peut paraître stable pendant longtemps, puis s'effondrer soudainement. Ils ont également examiné comment contrôler ces systèmes pendant qu'ils fonctionnent, en utilisant des « garde-fous » pour arrêter les mauvaises actions. Ils ont prouvé que pour les événements irréversibles, ces contrôles d'exécution sont fondamentalement limités. Si une action est déjà irréversible, attendre de la détecter et de l'arrêter est trop tard. La probabilité d'une catastrophe dépend entièrement de la conception initiale du système, et non de la qualité de la surveillance pendant son fonctionnement. Aucune quantité de surveillance ne peut réparer une faille qui a été intégrée dès le départ.

Le dernier chapitre de l'étude introduit un adversaire — un pirate ou un attaquant qui utilise lui aussi une IA avancée. Les chercheurs ont traité cela comme un jeu où l'attaquant tente de trouver le point faible et le défenseur tente de le bloquer. Ils ont découvert que lorsque les attaquants utilisent l'IA, le système devient une cible beaucoup plus attrayante. Une base logicielle partagée est comme une clé unique qui ouvre toutes les portes d'un bâtiment ; si un voleur trouve cette clé, il peut entrer partout à la fois. L'étude a montré que dans un marché décentralisé, où chaque entreprise tente de se protéger individuellement, tout le monde sous-investira dans la mesure de sécurité la plus importante : la prévention structurelle. Ils dépenseront de l'argent dans la détection et la réaction car celles-ci sont plus faciles à observer et à mesurer, mais ils ignoreront le travail difficile consistant à supprimer entièrement les capacités dangereuses. Cela laisse l'ensemble du système vulnérable.

Les chercheurs ont conclu que la seule façon efficace de gérer ce risque est la « prévention structurelle ». Cela signifie concevoir le système de telle sorte que les actions catastrophiques soient physiquement impossibles à accomplir, plutôt que d'espérer les attraper après qu'elles se soient produites. Cela implique de supprimer les outils dangereux, de limiter les permissions et de s'assurer que les agents ne puissent pas accéder aux parties du système qui pourraient causer des dommages irréversibles. L'étude a prouvé que cette approche est la seule qui fonctionne face à un adversaire intelligent et croissant. À mesure que la technologie de l'IA progresse et que les attaquants deviennent plus capables, le coût de la tentative de détection et de réaction à chaque nouvelle menace devient infini. En revanche, le coût de la suppression d'une capacité dangereuse est un investissement unique qui protège le système pour toujours, quel que soit le niveau d'intelligence de l'attaquant.

Le document se termine par un message clair destiné aux régulateurs et aux concepteurs de systèmes. La stabilité financière à l'ère de l'IA ne peut être obtenue en surveillant chaque institution de plus près ou en espérant qu'une défaillance isolée ne se propagera pas. Le risque est trop profond et trop interconnecté. La seule façon de sécuriser le système est de faire des choix structurels avant même que le système ne soit lancé. Cela signifie limiter la dépendance à une seule base logicielle, s'assurer que les agents ne peuvent pas accomplir d'actions irréversibles et concevoir le système de sorte qu'un point de défaillance unique ne puisse pas faire tomber l'ensemble du réseau. Les mathématiques sont claires : vous ne pouvez pas diversifier un défaut partagé, vous ne pouvez pas vous sortir d'une erreur irréversible par la détection, et vous ne pouvez pas réagir assez vite pour arrêter une attaque coordonnée. La seule solution est de construire le système de manière à ce que la catastrophe n'ait jamais la moindre chance de se produire.