FinRetrieval: A Benchmark for Financial Data Retrieval by AI Agents

Le papier présente FinRetrieval, un benchmark de 500 questions financières évaluant la capacité des agents IA à extraire des données structurées, révélant que la disponibilité des outils d'accès aux bases de données est le facteur déterminant de la performance, bien plus que les capacités de raisonnement ou les fournisseurs de modèles.

L'essentiel

Voici une explication simple et imagée de l'article "FinRetrieval", traduite en français pour un public général.

Imaginez que vous embauchez un super-intendant (une intelligence artificielle) pour gérer les finances d'une grande entreprise. Votre but est simple : lui poser des questions précises comme "Combien d'argent a gagné Apple au 3ème trimestre 2024 ?" et obtenir la réponse exacte, sans erreur.

Cet article présente un examen de passage (un "benchmark") créé pour tester ces robots. Les chercheurs ont créé 500 questions pièges et ont regardé comment différents robots (de Google, OpenAI et Anthropic) s'en sortent.

Voici les 4 grandes leçons de l'examen, expliquées avec des analogies :

1. La clé du succès : Avoir les bons outils, pas le cerveau le plus brillant

C'est la découverte la plus importante.

• L'analogie : Imaginez deux détectives. L'un est un génie (Claude Opus), l'autre est très intelligent mais moyen (Google).
  • Si vous donnez au génie un clé USB avec toutes les réponses (une base de données structurée), il trouve la réponse parfaitement (91 % de réussite).
  • Si vous lui enlevez la clé USB et lui dites juste de chercher sur Internet (comme nous le faisons), il panique et abandonne souvent. Il tombe à 20 % de réussite !
  • Pendant ce temps, le détective moyen, même sans la clé USB, s'en sort beaucoup mieux (70 %) parce qu'il sait mieux fouiller les pages web.
• La leçon : Ce n'est pas la "puissance" du modèle qui compte le plus, c'est l'accès aux bons outils. Sans accès direct aux bases de données financières, même le meilleur robot perd son temps à chercher des aiguilles dans des bottes de foin sur Internet.

2. Le "Mode Réflexion" : Plus on est fort, moins on en a besoin

Les robots ont un bouton spécial "Réfléchir longuement" (comme un mode de concentration intense).

• L'analogie :
  • Le robot d'OpenAI (GPT) est un peu comme un étudiant qui lit mal les consignes au début. Quand on lui dit "réfléchis bien", il corrige ses erreurs et progresse énormément (+9 points).
  • Le robot d'Anthropic (Claude) est déjà un expert qui lit très bien les consignes. Lui demander de "réfléchir plus" ne l'aide presque pas (+2,8 points), car il avait déjà trouvé la bonne méthode dès le premier coup.
• La leçon : Le mode "réflexion" aide surtout ceux qui sont un peu moins performants par défaut. Pour les experts, cela ne change pas grand-chose, mais cela prend plus de temps.

3. La première tentative est cruciale

• L'analogie : C'est comme jouer à un jeu vidéo de plateforme. Si vous sautez bien dès le premier saut, vous arrivez au niveau suivant en 3 secondes. Si vous ratez le premier saut, vous tombez, vous devez recommencer, chercher un autre chemin, et cela prend 10 fois plus de temps.
• La leçon : Les robots qui trouvent la bonne réponse du premier coup utilisent beaucoup moins de "clics" (outils) et font moins d'erreurs. Si le robot se trompe dès la première recherche, il s'embourbe dans des boucles de recherche interminables et finit souvent par se tromper.

4. Le problème n'est pas le robot, c'est le calendrier !

On a remarqué que les robots étaient meilleurs pour les entreprises américaines que pour les entreprises étrangères (Japon, Inde, etc.).

• L'analogie : Imaginez que vous demandez à quelqu'un "Quand est l'année fiscale ?".
  • Pour les USA, tout le monde dit "Janvier à Décembre".
  • Au Japon, l'année fiscale va d'avril à mars.
  • Le robot, en pensant que tout le monde suit le calendrier américain, cherche les chiffres pour "2023" alors que le Japon parle de "l'année fiscale 2022" (qui finit en 2023). C'est un malentendu de vocabulaire, pas une bêtise du robot.
• La leçon : Les erreurs viennent souvent de la façon dont les pays comptent leur temps (début d'année vs fin d'année), et non d'une incapacité du robot à comprendre.

En résumé

Pour créer un bon assistant financier en IA, il ne faut pas seulement chercher le modèle le plus "intelligent" ou le plus "réfléchi". Il faut surtout :

1. Lui donner un accès direct aux bases de données (comme une clé USB), pas juste un accès à Google.
2. S'assurer que les outils sont bien expliqués (surtout pour les différences de calendriers entre les pays).
3. Accepter que parfois, la simplicité (trouver la réponse du premier coup) vaut mieux que la complexité.

Les chercheurs ont rendu public tout leur travail (les questions, les réponses et les traces des robots) pour aider tout le monde à construire de meilleurs systèmes financiers à l'avenir.

Résumé technique

Titre : FinRetrieval : Un Benchmark pour la Récupération de Données Financières par des Agents IA

1. Problématique

Les agents d'intelligence artificielle sont de plus en plus déployés pour la recherche financière (analyse de performances, extraction de métriques, synthèse de données). Cependant, les benchmarks existants (comme FinQA, TAT-QA, FinanceBench) se concentrent principalement sur le raisonnement numérique à partir de documents fournis ou sur la récupération de documents non structurés (comme les dépôts SEC).

Il existe un vide critique : aucun benchmark n'évalue spécifiquement la capacité des agents à récupérer des valeurs numériques précises à partir de bases de données financières structurées via des API. De plus, les évaluations actuelles ne fournissent généralement pas de traces d'exécution complètes (appels d'outils, entrées/sorties), ce qui empêche une analyse fine des mécanismes de décision des agents.

2. Méthodologie et Conception du Benchmark

A. Le Dataset (FinRetrieval)

• Composition : 500 questions financières générées de manière procédurale, couvrant six catégories (Bilan, Compte de résultat, Flux de trésorerie, KPI opérationnels, Guidance, Segments).
• Source des données : Les questions et les réponses de vérité terrain (ground truth) sont extraites de la plateforme Daloopa, qui agrège des données structurées issues de plus de 4 000 sociétés cotées (dépôts SEC, communiqués de résultats, présentations investisseurs).
• Qualité des données : Seules les données vérifiées par des analystes et liées à des documents sources (avec captures d'écran pour la désambiguïsation des périodes) sont incluses. Les valeurs calculées ou générées automatiquement sont exclues.
• Génération des questions : Un pipeline en trois phases assure l'ambiguïté nulle :
  1. Échantillonnage stratifié (US vs Non-US, catégories financières).
  2. Enrichissement contextuel (données hiérarchiques et captures d'écran des documents sources).
  3. Génération par un LLM frontal (GPT-5.1) utilisant le contexte visuel et structuré.

B. Configuration Expérimentale

• Fournisseurs évalués : 3 fournisseurs de pointe (Anthropic, OpenAI, Google).
• Modèles : Claude Opus 4.5, Claude Sonnet 4.5, GPT-5.2, Gemini 3 Pro.
• Configurations (14 au total) :
  • Mode Outils :
    • MCP (Model Context Protocol) : Accès à une API structurée de données financières (3 outils : découverte d'entreprise, découverte de séries, récupération de fondamentaux) + Recherche Web.
    • WebOnly : Recherche Web uniquement (simulant l'absence d'API structurée).
  • Mode Raisonnement : Comparaison entre le mode de base et le mode de raisonnement étendu (Extended Thinking/Reasoning).
• Évaluation : Un juge LLM (GPT-5.2) évalue la justesse binaire des réponses, avec des règles de normalisation strictes (unités, signes, arrondis).
• Innovation clé : Publication des traces d'exécution complètes (chaque appel d'outil, ses entrées, sorties et durée), permettant une analyse causale des échecs.

3. Contributions Principales

1. Premier benchmark centré sur les API structurées : FinRetrieval évalue la récupération de données via des API financières plutôt que la lecture de documents PDF ou la recherche web générale.
2. Comparaison multi-fournisseurs contrôlée : Évaluation de 14 configurations sur les mêmes 500 questions avec des outils identiques.
3. Transparence totale : Publication du dataset, du code d'évaluation et des traces d'outils pour une recherche reproductible sur le comportement des agents.

4. Résultats Clés et Découvertes

A. L'impact dominant de la disponibilité des outils (Finding A)

• La présence d'outils structurés (MCP) est le facteur déterminant de la performance, surpassant le choix du modèle.
• Exemple frappant : Claude Opus passe de 90,8 % de précision avec les outils MCP à seulement 19,8 % avec la recherche Web seule (écart de 71 points).
• Cet écart est 3 à 4 fois plus grand pour Claude que pour OpenAI ou Google, suggérant que l'intégration des outils, et non la capacité brute du modèle, est le goulot d'étranglement.
• Analyse comportementale : En mode WebOnly, Claude abandonne (gave-up rate) dans 55 % des cas alors qu'il a trouvé l'information, contrairement à Google (<1 %). De plus, les outils Web de Claude ne donnent pas accès aux PDF complets, limitant l'extraction de tableaux financiers.

B. Le bénéfice du mode de raisonnement varie inversement à la capacité de base (Finding B)

• OpenAI gagne +9,0 points de précision avec le mode raisonnement, tandis que Claude Opus ne gagne que +2,8 points.
• Cause racine : Ce n'est pas que le raisonnement est meilleur chez OpenAI, mais que son mode de base utilise moins efficacement les outils (moins d'appels d'exploration discover_company_series). Le mode raisonnement compense cette faiblesse initiale. Avec le raisonnement, tous les modèles convergent vers un plafond de 86-91 %.

C. L'efficacité dépend du succès de la première requête (Finding C)

• Il existe une corrélation forte entre le nombre d'appels d'outils et la justesse, mais elle n'est pas causale : c'est la difficulté de la question qui dicte le nombre d'appels.
• Si le premier appel discover_company_series réussit (87 % des cas pour Claude), l'agent suit un chemin optimal de 3 appels avec 93 % de précision.
• Si ce premier appel échoue, l'agent entre dans des boucles de recherche étendues (4 à 18 appels supplémentaires) et la précision chute à 77 %.

D. Les écarts géographiques sont dus aux conventions de données (Finding D)

• Un écart de 5,6 points en faveur des entreprises US est observé pour Claude.
• Cause racine : Ce n'est pas une limitation du modèle, mais un problème de conventions de périodes fiscales. Les entreprises non-US (ex: Japon, Inde) ont souvent des années fiscales non calendaire (ex: fin en mars). Les agents confondent souvent l'année de début vs l'année de fin de l'exercice (ex: "2022FY" vs "2023FY"), ce qui entraîne des erreurs systématiques.

5. Analyse des Erreurs

L'analyse des erreurs (63 % des échecs pour le meilleur modèle) révèle que le problème majeur n'est pas le raisonnement, mais la confusion sur les périodes (conventions de nommage des années fiscales, granularité trimestrielle vs annuelle, stockage des guidance par date d'annonce vs période cible). Une meilleure documentation des outils pourrait résoudre la majorité de ces erreurs sans changer les modèles.

6. Signification et Implications

• Pour les praticiens : L'intégration d'API de données structurées est bien plus critique que le choix du modèle ou l'activation du mode de raisonnement. Sans ces outils, les performances s'effondrent.
• ROI du raisonnement : Le mode de raisonnement offre un gain marginal limité pour les modèles déjà performants dans l'utilisation des outils, mais augmente significativement la latence (jusqu'à 3,2x pour OpenAI).
• Amélioration future : Pour dépasser le seuil de 90 % de précision, il faut se concentrer sur la documentation complète des conventions des outils (naming des périodes fiscales) plutôt que sur l'entraînement de modèles plus grands.

Conclusion : FinRetrieval démontre que pour les tâches de récupération de données financières structurées, l'architecture du système d'outils (API, documentation, gestion des conventions) est le levier de performance principal, bien avant les capacités intrinsèques du modèle de langage.