FinDeepIndicator: Benchmarking Deep Research Agents in End-to-End Financial Indicator Construction
Ce document présente FinDeepIndicator, le premier benchmark conçu pour évaluer les agents de recherche approfondie (Deep Research) à travers les quatre étapes de bout en bout de la construction d'indicateurs financiers, révélant que bien que ces agents surpassent les LLM standards équipés de fonctions de recherche, ils éprouvent encore des difficultés de fiabilité dans la récupération de données et l'exécution numérique au sein de scénarios d'analyse financière réalistes.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous soyez un détective tentant de résoudre un mystère, mais qu'au lieu de simplement demander à un témoin « Qu'avez-vous vu ? », vous deviez faire tout le travail vous-même. Vous devez déterminer quelle question poser, retrouver le témoin dans une ville bondée, écouter son récit, le noter, faire les calculs pour voir si son histoire tient la route, et enfin, donner le verdict au juge. C'est le monde des agents de « Recherche Approfondie » (Deep Research). Ce sont des programmes informatiques super intelligents conçus pour agir comme des chercheurs humains : ils ne se contentent pas de répondre à des questions ; ils partent en chasse pour trouver l'information, l'assemblent et résolvent des problèmes complexes en partant de zéro. Mais voici le piège : ce n'est pas parce qu'un ordinateur peut parler comme un humain qu'il peut agir comme un humain. Il peut connaître parfaitement la définition d'un mot, mais échouer à trouver le bon livre dans la bibliothèque ou se tromper dans l'addition en comptant les pages.
Dans le monde de la finance, c'est un sujet majeur. Les indicateurs financiers sont comme les feuilles de score de l'économie — des chiffres qui nous disent si une entreprise est en bonne santé, si le marché boursier est nerveux ou si le pays est en croissance. Pour obtenir ces chiffres, on ne peut pas se contenter de deviner ; il faut fouiller dans des années de rapports financiers, trouver les chiffres exacts pour des entreprises spécifiques et traiter les données. Des scientifiques ont construit ces agents de « Recherche Approfondie » pour accomplir ce travail, espérant qu'ils puissent remplacer ou aider les analystes humains. Mais jusqu'à présent, personne n'avait vraiment testé si ces agents pouvaient réellement gérer l'ensemble du processus, de bout en bout, ou s'ils étaient simplement doués pour paraître intelligents tout en commettant des erreurs stupides au milieu du chemin.
Entrez dans l'ère de FinDeepIndicator, un nouvel « examen » créé par une équipe de chercheurs pour tester ces détectives numériques. Voyez ce benchmark comme un immense parcours d'obstacles conçu spéciflement pour les agents financiers. Au lieu de simplement demander : « Quel est le profit de l'entreprise X ? », l'examen force l'agent à accomplir quatre tâches distinctes : d'abord, déterminer la formule mathématique exacte nécessaire (comme savoir que la « Marge de Profit » signifie diviser le profit par les ventes) ; ensuite, sortir chercher les chiffres bruts sur Internet ; effectuer réellement les calculs pour obtenir les résultats intermédiaires ; et enfin, donner la réponse finale correcte. Les chercheurs ont construit ce parcours en utilisant 3 350 questions différentes couvrant 234 types différents de scores financiers, en extrayant des données de 800 entreprises réelles, tant aux États-Unis qu'en Chine, sur une période de 10 ans.
Lorsqu'ils ont fait passer les agents à travers ce parcours d'obstacles, les résultats étaient un mélange de « pas mal » et de « oh non ». Les agents étaient étonnamment bons lors de la première étape : comprendre les règles. Ils pouvaient identifier correctement les formules plus de 70 % du temps, prouvant qu'ils comprennent réellement ce que signifient les termes financiers. Cependant, dès qu'ils devaient sortir pour trouver les données, tout s'effondrait. La précision chutait brutalement. Les agents avaient du mal à trouver les bons chiffres, saisissant souvent la mauvaise année, la mauvaise entreprise ou manquant entièrement une information cruciale. Cette étape de « collecte de données » s'est avérée être le principal goulot d'étranglement, provoquant la plus forte baisse de performance.
Même les agents les plus intelligents, capables de planifier leur recherche et d'utiliser des outils mieux qu'un simple moteur de recherche, n'obtenaient la réponse finale correcte qu'environ 40 % du temps. Les chercheurs ont constaté que les agents étaient particulièrement mauvais sur les indicateurs « macroéconomiques » (comme l'inflation ou les taux de main-d'œuvre), où les données sont désordonnées et proviennent de sources diverses, et ils peinaient encore plus avec les indicateurs « techniques » qui nécessitent des calculs glissants complexes. Curieusement, les agents ont légèrement mieux performé sur les données du marché américain que sur celles du marché chinois, suggérant que la manière dont les données sont organisées et rapportées dans différents pays fait une énorme différence.
Le fond de l'histoire est que, bien que ces agents d'IA soient excellents pour connaître la théorie de la finance, ils restent maladroits dans la pratique consistant à déterrer les faits et à faire les calculs. L'article suggère que si nous voulons que ces agents soient réellement utiles dans le monde réel, nous devons cesser de nous concentrer uniquement sur leur capacité à discuter et commencer à améliorer leur aptitude à trouver des données fiables et à les traiter sans commettre d'erreurs. D'ici là, ils sont comme un détective brillant qui connaît parfaitement la loi, mais qui se perd systématiquement sur le chemin de la scène de crime.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.