FinToolBench: Evaluating LLM Agents for Real-World Financial Tool Use

Ce papier présente FinToolBench, le premier benchmark réaliste et exécutable évaluant les agents d'IA dans l'utilisation d'outils financiers réels via un écosystème de 760 outils et 295 requêtes, tout en introduisant un cadre d'évaluation multidimensionnel et une méthode de récupération d'outils (FATR) pour garantir la conformité réglementaire et la fiabilité.

L'essentiel

Imaginez que vous avez un assistant personnel très intelligent, capable de lire n'importe quel livre et de répondre à presque n'importe quelle question. C'est ce qu'on appelle un LLM (un grand modèle de langage).

Maintenant, imaginez que cet assistant travaille dans une banque ou sur un marché boursier. C'est là que les choses deviennent dangereuses. Si l'assistant vous dit "Le prix de l'action Apple est de 100 $" alors qu'il est en réalité de 150 $, ou s'il achète des actions pour vous alors que vous vouliez juste des informations, les conséquences peuvent être désastreuses.

Voici l'histoire de FinToolBench, le nouveau "terrain de jeu" créé par les chercheurs pour tester ces assistants financiers.

1. Le Problème : L'Assistant qui rêve

Jusqu'à présent, on testait ces intelligences artificielles avec des exercices scolaires (des quiz sur des documents fixes). C'est comme si on testait un pilote d'avion uniquement en lui demandant de réciter la théorie de l'aérodynamisme, sans jamais le faire décoller.

Dans la vraie vie, un assistant financier doit :

• Aller chercher les données en temps réel (comme regarder le prix de l'essence maintenant, pas hier).
• Ne pas faire d'erreurs d'intention (ne pas acheter d'actions si vous demandiez juste un conseil).
• Respecter les règles du jeu (ne pas utiliser des outils pour les actions américaines si vous parlez de crypto-monnaies).

Les anciens tests ne vérifiaient pas ces choses. Ils regardaient juste si la réponse finale était "sympa", pas si l'assistant avait utilisé les bons outils pour l'obtenir.

2. La Solution : FinToolBench, le Grand Parc d'Attractions Financier

Les chercheurs ont construit FinToolBench, qui est un immense simulateur de réalité.

• La Boîte à Outils Géante : Ils ont rassemblé 760 outils financiers réels (comme des APIs pour les actions, les devises, les obligations). Imaginez une boîte à outils de 760 clés différentes, toutes fonctionnelles.
• Les Missions : Ils ont créé 295 questions complexes qui obligent l'assistant à utiliser ces outils. Par exemple : "Quel est le cours actuel de l'euro par rapport au dollar, et est-ce que cela a changé depuis ce matin ?"
• La Règle d'Or : L'assistant ne peut pas inventer la réponse. Il doit physiquement "appuyer sur le bouton" de l'outil, attendre la réponse, et l'analyser.

3. Les Trois Règles du Jeu (Le "Triptyque de la Confiance")

Pour réussir dans FinToolBench, l'assistant ne doit pas seulement être rapide. Il doit respecter trois règles invisibles, comme un bon conducteur :

1. La Fraîcheur (Timeliness) : Si vous demandez le prix "actuel", l'assistant ne peut pas vous donner le prix d'il y a une semaine. C'est comme si un livreur de pizza vous donnait le menu de 2010.
2. La Prudence (Intent) : Si vous demandez "Quel est le prix de l'or ?", l'assistant ne doit pas acheter de l'or. Il doit juste regarder. C'est la différence entre un spectateur et un joueur qui parie.
3. Le Bon Quartier (Domain) : Si vous parlez de crypto, l'assistant ne doit pas utiliser les outils de la bourse traditionnelle. C'est comme essayer de payer avec un chèque dans une épicerie qui n'accepte que du cash.

4. Le Test : FATR, le "Guide de Sécurité"

Pour voir si les assistants peuvent réussir ce test, les chercheurs ont créé un petit aide-mémoire appelé FATR.
Imaginez que vous donnez à l'assistant une carte de visite pour chaque outil. Sur cette carte, il est écrit en gros :

• ⚠️ Attention : Cet outil est lent (données d'hier).
• ⚠️ Attention : Cet outil peut acheter des actions (danger !).
• ✅ OK : Cet outil est pour les actions américaines uniquement.

Grâce à ces étiquettes, l'assistant devient plus sage. Il évite les pièges et choisit le bon outil au bon moment.

5. Les Résultats : Qui est le meilleur ?

Les chercheurs ont testé plusieurs "cerveaux" (différentes IA) sur ce terrain de jeu :

• Certains étaient trop zélés : Ils appuyaient sur tous les boutons, mais souvent sur les mauvais, ou avec les mauvaises données.
• D'autres étaient trop timides : Ils avaient peur de se tromper, donc ils ne touchaient à rien et ne répondaient pas.
• Le gagnant idéal est celui qui trouve l'équilibre : assez courageux pour utiliser les outils, mais assez prudent pour respecter les règles de sécurité.

En Résumé

FinToolBench est comme un permis de conduire spécial pour les IA financières. Avant, on leur donnait juste un examen théorique. Aujourd'hui, on les met au volant, sur une route réelle avec du trafic, de la pluie et des panneaux de signalisation, pour voir si elles savent vraiment conduire sans accident.

C'est une étape cruciale pour que, dans le futur, nous puissions faire confiance à nos robots pour gérer notre argent, car ils auront prouvé qu'ils savent non seulement répondre, mais aussi agir correctement.

Résumé technique

1. Problématique et Contexte

L'intégration des Modèles de Langage (LLM) dans le secteur financier évolue d'une simple récupération d'informations passives vers des interactions dynamiques et autonomes via des agents capables d'utiliser des outils (API, bases de données). Cependant, l'évaluation actuelle de ces agents présente des lacunes critiques :

• Défaut des benchmarks existants : Les benchmarks généraux d'utilisation d'outils (comme StableToolBench) se concentrent sur la syntaxe et l'exécution, mais ignorent les contraintes spécifiques à la finance (volatilité des données, conformité réglementaire, risques élevés). Inversement, les benchmarks financiers existants (comme FinQA) se limitent souvent à l'analyse de documents statiques ou à des Q&R, sans impliquer d'exécution réelle d'outils.
• Risques spécifiques : Une erreur d'appel d'outil en finance peut être plus dommageable qu'une réponse erronée libre, car elle peut sembler fondée sur des données obsolètes, des endpoints dérivés ou des domaines de marché inappropriés.
• Absence de métriques de conformité : Les métriques actuelles ne mesurent pas la "conformité" de l'agent par rapport à trois dimensions cruciales :
  1. Actualité (Timeliness) : L'outil fournit-il des données à jour (ex: temps réel vs quotidien) ?
  2. Restriction d'intention (Intent Restraint) : L'agent évite-t-il les actions transactionnelles non autorisées ?
  3. Alignement de domaine (Domain Alignment) : L'outil choisi correspond-il au domaine réglementaire (ex: ne pas utiliser d'outils actions pour une requête crypto) ?

2. Méthodologie : FinToolBench

Les auteurs proposent FinToolBench, le premier benchmark exécutable et réel dédié à l'évaluation des agents financiers.

A. Construction du Dataset

Le benchmark est construit via un pipeline en 8 étapes (Figure 2) :

1. Sources d'outils : Collecte de 760 outils exécutables à partir de deux sources gratuites et reproductibles :
   • RapidAPI : Pour une couverture large et diversifiée d'APIs en temps réel.
   • AkShare : Une bibliothèque Python open-source pour des données financières stables et documentées.
2. Filtrage et Normalisation : Les outils sont filtrés pour garantir leur exécutabilité (limites de taux, authentification gratuite, pas d'erreurs d'exécution) et normalisés dans un manifeste unifié (signatures, arguments canoniques).
3. Annotation des Attributs Financiers : Chaque outil est annoté avec trois métadonnées critiques via un pipeline LLM (avec validation humaine) :
   • Update Frequency (Temps réel, quotidien, périodique, statique).
   • Intent Type (Informationnel, consultatif, transactionnel).
   • Regulatory Domain (Actions, obligations, crypto, macroéconomie, etc.).
4. Sélection des Questions : 295 questions sont extraites de datasets existants (FinanceBench, OpenFinData) et filtrées pour ne retenir que celles nécessitant impérativement l'appel d'outils (excluant les réponses par mémorisation statique). Le dataset comprend 166 questions à outil unique et 129 questions multi-outils.

B. Protocole d'Évaluation

L'évaluation sépare deux catégories de métriques basées sur les traces d'exécution auditable :

1. Capacité (Capability) : Mesure la réussite technique.
   • TIR (Tool Invocation Rate) : Taux d'appel d'outils.
   • TESR (Tool Execution Success Rate) : Taux de succès d'exécution.
   • CER (Conditional Execution Rate) : Succès conditionnel à l'appel.
2. Conformité (Compliance) : Mesure l'adéquation aux contraintes financières via des taux de mismatch (TMR, IMR, DMR) :
   • TMR (Timeliness Mismatch Rate) : Fréquence d'utilisation d'outils obsolètes pour des requêtes temporelles.
   • IMR (Intent Mismatch Rate) : Fréquence d'escalade vers des actions transactionnelles non autorisées.
   • DMR (Domain Mismatch Rate) : Fréquence d'utilisation d'outils hors du domaine réglementaire.

C. Baseline : FATR (Finance-Aware Tool Retrieval)

Les auteurs introduisent FATR, une baseline légère qui injecte les attributs financiers directement dans les "cartes d'outils" (Tool Cards) présentées au planificateur LLM. FATR utilise un mécanisme de récupération Top-K, une planification contrainte par les attributs (inférence des besoins en temps réel, domaine et intention) et une exécution stabilisée (mise en cache, retries).

3. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs modèles (Doubao-Seed-1.6, Qwen3-8B, GLM-4.7-Flash, GPT-4o) en utilisant le protocole FATR.

• Performance Globale : Aucun modèle ne domine sur tous les fronts.
  • Qwen3-8B montre un taux d'appel élevé (TIR = 0.87) mais un taux de succès conditionnel (CER) faible (0.34), indiquant des erreurs de construction d'arguments.
  • GPT-4o adopte une stratégie très conservatrice (TIR = 0.23), évitant d'appeler des outils, mais atteint la précision la plus élevée (CER = 0.62) et les taux de mismatch les plus bas.
  • Doubao-Seed-1.6 offre le meilleur équilibre avec le taux de succès d'exécution global (TESR) le plus élevé (0.33).
• Impact de l'Injection d'Attributs (Ablation) : L'ajout des attributs financiers dans les cartes d'outils (FATR complet vs sans injection) :
  • Réduit légèrement le TIR (les agents sont plus prudents).
  • Améliore significativement le CER (meilleure construction des arguments).
  • Réduit drastiquement les taux de mismatch (TMR, IMR, DMR), prouvant que la visibilité des contraintes améliore la conformité sans sacrifier la capacité d'exécution.
• Distribution des Outils : Les tâches multi-outils sont fréquentes (35,9 % des traces multi-outils utilisent 3 outils), soulignant la nécessité d'évaluer la robustesse des chaînes de raisonnement complexes.

4. Contributions Clés

1. FinToolBench : Un benchmark réaliste et exécutable couplant 760 outils financiers réels et 295 questions complexes, avec des traces d'exécution auditable.
2. Nouveau Cadre d'Évaluation : Introduction de métriques de conformité (TMR, IMR, DMR) qui mesurent spécifiquement les violations de contraintes financières (actualité, intention, domaine), au-delà de la simple justesse de la réponse finale.
3. Baseline FATR : Une méthode simple mais efficace qui injecte des attributs financiers dans le contexte du LLM pour améliorer la stabilité et la conformité, servant de référence pour les travaux futurs.
4. Open Source : Le manifeste des outils, l'environnement d'exécution et le code d'évaluation sont open-sourcés pour faciliter la recherche reproductible.

5. Signification et Impact

Ce travail marque un tournant dans l'évaluation des agents LLM pour la finance. Il démontre que la simple capacité à exécuter un outil ne suffit pas ; la conformité réglementaire et contextuelle est primordiale. En fournissant un testbed pour l'exécution agentique auditable, FinToolBench établit un nouveau standard pour le développement d'IA de confiance dans le secteur financier, où les erreurs peuvent avoir des conséquences financières et légales graves. Il met en lumière le compromis nécessaire entre l'agressivité de l'appel d'outils (rappel) et la précision/sécurité (précision), et propose des mécanismes pour optimiser ce compromis.