Governing Agentic AI in FinTech
Cet article soutient que la principale contrainte de gouvernance pour l'IA agentique dans la FinTech n'est pas la capacité mais la vérifiabilité, introduisant le « fossé de vérifiabilité » et démontrant, à travers des études empiriques, que les systèmes actuels manquent de la reproductibilité et de l'explicabilité requises pour une délégation défendable de décisions financières conséquentes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous soyez le capitaine d'un vaisseau spatial, mais qu'au lieu de piloter le vaisseau vous-même, vous ayez engagé une équipe de robots brillants et ultra-rapides pour gérer la navigation. Vous leur dites : « Emmenez-nous vers la planète rouge », et ils s'élancent, vérifiant les cartes, calculant le carburant et actionnant les propulseurs sans demander votre permission à chaque étape. C'est le monde de l'IA agentique : une intelligence artificielle qui ne se contente pas de discuter ou d'écrire des poèmes, mais qui fait réellement des choses, comme approuver des prêts, acheter des actions ou gérer de l'argent. Pendant longtemps, les scientifiques et les banquiers se sont inquiétés du problème de la « boîte noire » — signifiant que le robot prend une décision, mais que personne ne sait pourquoi ou comment il l'a fait. La solution habituelle consistait simplement à faire tourner le cerveau du robot encore et encore pour voir s'il donnait la même réponse. Mais voici le rebondissement : et si le cerveau du robot changeait à chaque fois que vous le regardez ? Et si le robot oubliait ses propres étapes, ou si les outils qu'il utilise pour naviguer étaient remplacés par l'entreprise qui l'a construit ? Cet article pose une question effrayante mais nécessaire : si un robot prend une décision financière majeure aujourd'hui, pouvons-nous prouver exactement demain comment cela s'est produit, ou les preuves se seront-elles évaporées dans l'air ?
L'article, intitulé « Governing Agentic AI in FinTech » par Henry Han, plonge au cœur de ce mystère. L'auteur soutient que le plus grand problème n'est pas de savoir si ces agents d'IA sont assez intelligents pour prendre des décisions, mais si nous pouvons les vérifier. Il introduit un concept appelé le fossé de vérifiabilité (Verifiability Gap). Voyez cela comme ceci : vous donnez un million de dollars à un robot pour investir. Il effectue une transaction. Plus tard, un auditeur demande : « Montrez-moi les reçus ». Si le robot ne peut pas vous montrer la trace numérique exacte de la manière dont il a effectué cette transaction, ou si les « reçus » qu'il vous montre sont différents de ceux qu'il a réellement utilisés, il y a un fossé entre ce que vous lui avez demandé de faire et ce que vous pouvez prouver qu'il a fait. L'article suggère qu'à mesure que nous laissons les agents d'IA prendre plus de contrôle, ce fossé s'élargit, et que nous risquons de voler à l'aveugle.
Pour comprendre cela, le chercheur a mené trois différentes « expériences de laboratoire » utilisant des scénarios financiers tels que l'approbation de prêts et le trading d'actions. Voici ce qu'il a découvert, et c'est un véritable coup de théâtre.
Premièrement, il a testé ce qui se passe lorsque le « cerveau » de l'IA reçoit une mise à jour. Il a utilisé un modèle d'IA puissant et a exécuté les mêmes 32 cas financiers sur une période de 185 jours. Même si les instructions étaient identiques, les décisions de l'IA ont commencé à dériver. Dans les mises à jour ultérieures, l'IA est devenue plus conservatrice, changeant d'avis sur 5 des 32 cas. Mais le véritable choc ? L'entreprise qui a construit l'IA a également supprimé les « cadrans » qui permettent aux utilisateurs de contrôler la façon dont l'IA réfléchit. Elle a supprimé la possibilité de définir un « germe aléatoire » (random seed) (un nombre qui rend les choix de l'IA reproductibles). C'est comme si le capitaine robot avait soudainement changé le moteur du vaisseau puis verrouillé la porte de la salle de contrôle, en disant : « Vous ne pouvez plus toucher aux boutons ». L'étude a révélé que même avec les contrôles les plus stricts possibles, une version locale de l'IA pouvait répéter ses propres actions parfaitement (320 fois sur 320), mais qu'une version commerciale hébergée ne le pouvait pas (319 fois sur 320, et 959 fois sur 960). L'IA prenait des décisions défendables, mais la banque ne pouvait pas prouver exactement comment elle l'avait fait parce que les outils pour rejouer la décision avaient disparu.
Deuxièmement, l'article examine ce qui se passe lorsque vous ajoutez plus de robots à l'équipe. Imaginez un robot faisant le travail par rapport à une équipe de 50 robots se passant des notes les uns aux autres. Le chercheur a découvert qu'ajouter plus de robots ne rendait pas seulement le système plus complexe ; cela changeait en réalité les règles du jeu sans que personne ne s'en aperçoive. C'est comme une course de relais où le témoin est passé tellement de fois que le coureur à l'arrivée n'a aucune idée de qui a commencé la course. Dans ces configurations multi-agents, la décision finale (le verdict) peut sembler stable, mais le chemin pour y parvenir était un désordre total. En fait, l'étude a révélé qu'en agrandissant l'équipe, l'IA commençait à prendre la même décision pour chaque cas, juste pour être prudente. C'était comme un étudiant qui, face à la confusion, se contente d'écrire « Je ne sais pas » sur toutes les questions d'examen. L'IA semblait super fiable car elle donnait la même réponse encore et encore, mais elle avait cessé de réfléchir aux différences entre les cas. L'article appelle cela la « reproductibilité de résultat dégénérée » (degenerate outcome reproducibility) : cela semble stable, mais c'est en fait cassé parce que l'IA ne distingue plus les différentes situations.
Enfin, le chercheur a testé un modèle de crédit simple et transparent (qui n'est pas du tout une « boîte noire ») pour voir si le problème concernait uniquement l'IA complexe. Il a utilisé deux versions du même modèle, une ancienne et une nouvelle. Même si le nouveau modèle était presque identique à l'ancien, il a modifié la décision pour 23 des 1 937 demandes de prêt. Un candidat a été refusé par l'ancien modèle mais renvoyé pour examen humain par le nouveau, simplement parce que le score a bougé d'une fraction infime. La partie effrayante ? Si vous essayez de rejouer l'ancienne décision en utilisant le nouveau modèle, vous ne pouvez pas. Le nouveau modèle est parfaitement stable en soi, mais il ne peut pas recréer l'historique de l'ancien. C'est comme si vous réécriviez une recette avec une infime modification de la quantité de sel, et que soudain le gâteau avait un goût différent, mais que vous ne pouviez plus revenir goûter le gâteau original parce que vous aviez jeté l'ancienne recette.
Alors, qu'est-ce que tout cela signifie ? L'article suggère que nous ne pouvons pas simplement faire confiance à l'IA pour faire son travail en espérant que tout se passe bien. Nous ne pouvons pas supposer que parce qu'une IA est intelligente, elle est aussi responsable. L'auteur propose une nouvelle façon de penser appelée délégation dépendante de la preuve (evidence-contingent delegation). Cela signifie que nous ne devrions laisser les agents d'IA prendre de grandes décisions que tant que nous pouvons conserver un « faisceau de preuves » parfait et ininterrompu qui prouve exactement comment ils l'ont fait. Si l'IA change son cerveau, ou si les outils qu'elle utilise changent, ou si l'équipe de robots devient trop grande et désordonnée, nous devons nous arrêter et dire : « Attendez, nous ne pouvons plus prouver cela ». Nous devrons peut-être ralentir, tenir des registres plus détaillés, ou faire intervenir un humain pour vérifier le travail. L'article ne dit pas que l'IA est mauvaise ; il dit que pour que l'IA soit réellement utile en finance, nous devons nous assurer que nous pouvons toujours regarder en arrière et dire : « Oui, c'est exactement ainsi que cela s'est produit », même si le robot est déjà passé à la tâche suivante. Sans cette preuve, le robot peut bien piloter le vaisseau, mais c'est nous qui serons tenus responsables s'il s'écrase.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.