FinSkillBench: Evaluating AI Agents and Domain Skills for Investment Management

Dans le monde de la gestion d'investissements à enjeux élevés, le succès dépend de bien plus que la simple possession d'une bonne idée sur les actions à acheter. Cela exige un processus rigoureux, étape par étape, consistant à recueillir des données précises, à effectuer des calculs complexes et à respecter des règles strictes qui régissent la manière dont l'argent peut être déplacé. Imaginez un analyste financier qui doit examiner un portefeuille de trente entreprises différentes, calculer la manière dont elles pourraient réagir à un krach boursier soudain, puis réorganiser les positions pour rester dans les limites légales, le tout en utilisant uniquement les informations disponibles à une date précise dans le passé. C'est la réalité quotidienne des professionnels humains, mais c'est une nouvelle frontière pour l'intelligence artificielle. Bien que les systèmes d'IA modernes soient excellents pour rédiger du texte et répondre à des questions générales, ils éprouvent souvent des difficultés lorsqu'on leur demande d'accomplir ces tâches exactes et disciplinées. Ils peuvent comprendre le concept de risque, mais ils échouent fréquemment à exécuter les étapes mathématiques spécifiques requises pour le mesurer avec précision ou à suivre les instructions détaillées nécessaires pour rééquilibrer un portefeuille sans erreur.

Une équipe de chercheurs a créé une nouvelle façon de tester si les agents d'IA peuvent réellement gérer ce genre de travail. Ils ont construit un terrain d'essai spécialisé appelé FinSkillBench, qui présente aux systèmes d'IA 2 603 scénarios d'investissement distincts. Ces scénarios couvrent trois domaines principaux : la construction d'un portefeuille d'actions, la gestion des risques associés à ces actions et l'analyse de la santé financière d'entreprises individuelles. Les chercheurs ne se sont pas contentés de demander à l'IA de deviner la réponse ; ils lui ont donné une date spécifique, un ensemble de données brutes et un objectif clair, puis ont vérifié le résultat par rapport à une solution correcte connue, générée par un logiciel financier standard. L'objectif était de voir si l'IA pouvait agir comme un analyste professionnel, en récupérant les bonnes données au bon moment et en utilisant les bons outils pour accomplir la tâche.

L'étude a testé trois manières différentes d'aider l'IA. Dans le premier scénario, l'IA devait résoudre les problèmes entièrement seule, sans aide. Dans le deuxième, les chercheurs ont fourni à l'IA un ensemble de outils « curatés » (sélectionnés et préparés) et de guides écrits. Il ne s'agissait pas de documents aléatoires ; c'étaient des instructions et des scripts informatiques soigneusement préparés qui montraient à l'IA exactement comment effectuer les calculs nécessaires et comment utiliser correctement les outils disponibles. Dans le troisième scénario, on a demandé à l'IA de rédiger ses propres instructions et outils pour elle-même avant d'entreprendre la tâche, essayant essentiellement de s'enseigner à elle-même comment faire le travail à la volée.

Les résultats ont été clairs et décisifs. Lorsque l'IA a reçu les guides et les outils préétablis et écrits par des humains, ses performances se sont considérablement améliorées. Dans l'ensemble des tests, le score moyen de ces agents d'IA est passé d'environ 37 % à 53 %. L'amélioration a été la plus significative dans les tâches exigeant de lourds calculs numériques, comme la construction d'un portefeuille optimal ou l'identification de risques cachés. Dans ces domaines, l'IA dotée d'outils curatés a été capable de résoudre des problèmes qu'elle ne pouvait pas résoudre du tout auparavant. Les chercheurs ont constaté que le fait d'avoir accès à ces procédures fiables et étape par étape était aussi important que le choix du modèle d'IA lui-même. Un modèle d'IA puissant sans les bons outils échouait souvent, tandis qu'un modèle capable avec les bons outils réussissait.

En revanche, l'idée que l'IA puisse s'enseigner à elle-même sur le moment n'a pas fonctionné. Lorsque les agents ont été contraints de rédiger leurs propres guides et outils avant de résoudre les problèmes, leurs performances ont à peine évolué. Ils ont passé beaucoup de temps et de puissance de calcul à rédiger ces instructions, mais les instructions qu'ils ont créées étaient souvent erronées ou incomplètes. L'étude a montré qu'en une seule tentative, une IA ne peut pas inventer de manière fiable les procédures complexes et précises nécessaires à l'analyse financière. Il ne suffit pas que l'IA sache écrire du code ; il faut qu'on lui donne un code qui a déjà été testé et vérifié. Les chercheurs ont également effectué les mêmes tests en utilisant un système d'IA différent pour s'assurer que leurs conclusions n'étaient pas un coup de chance lié à une configuration spécifique. Le second système a produit le même schéma : les outils préétablis ont aidé, et les outils auto-générés n'ont pas fonctionné.

Ce travail suggère que pour que l'IA soit utile dans des domaines sérieux comme la finance, nous ne pouvons pas compter sur les modèles pour qu'ils comprennent les règles du jeu au fur et à mesure qu'ils progressent. Au lieu de cela, nous devons construire des systèmes où l'IA a accès à des méthodes fiables et vérifiées par l'humain pour effectuer le travail difficile. L'étude conclut que l'avenir de l'IA dans la gestion d'investissements ne réside pas seulement dans des modèles plus intelligents, mais dans des systèmes mieux conçés qui combinent ces modèles avec des compétences réutilisables et fiables. Les chercheurs ont mis leurs tests et outils à la disposition d'autrui, espérant faire progresser le domaine en se concentrant sur la manière dont les agents d'IA peuvent être équipés des ressources appropriées pour résoudre des problèmes du monde réel.