FinTradeBench: A Financial Reasoning Benchmark for LLMs

1. Problématique et Contexte

La prise de décision financière réelle nécessite de raisonner sur deux sources d'information hétérogènes et complémentaires :

• Les fondamentaux d'entreprise : Métriques comptables issues des déclarations réglementaires (filiers SEC 10-K/10-Q), telles que la rentabilité, l'effet de levier et les ratios de valorisation.
• Les signaux de trading (dynamique de marché) : Indicateurs dérivés des données historiques de prix et de volume (OHLCV), tels que la momentum, la volatilité et les tendances.

Le problème identifié : Bien que les modèles de langage (LLM) soient de plus en plus utilisés par les analystes financiers, les benchmarks existants (comme FinQA, TAT-QA) se concentrent principalement sur le raisonnement numérique à partir de rapports textuels et de tableaux comptables. Ils négligent presque systématiquement l'évaluation du raisonnement sur les signaux de trading dérivés des séries temporelles, et encore moins l'intégration conjointe de ces deux sources. De plus, les LLMs actuels peinent souvent à intégrer des signaux contradictoires (ex: des fondamentaux faibles mais une hausse du cours de l'action due au sentiment du marché).

2. Méthodologie : FinTradeBench

Les auteurs proposent FinTradeBench, un nouveau benchmark conçu pour évaluer le raisonnement financier sur des données NASDAQ-100 couvrant une fenêtre de dix ans (2015–2025).

A. Architecture des Données et Taxonomie

Le benchmark contient 1 400 questions réparties en trois catégories de raisonnement :

1. Fondamentaux (F-type) : Raisonnement basé uniquement sur les indicateurs comptables (ex: ROA, ROE, Dette/Équité).
2. Signaux de Trading (T-type) : Raisonnement basé sur les indicateurs techniques (ex: Momentum, RSI, Volatilité, Moyennes mobiles).
3. Hybrides (FT-type) : Questions nécessitant une intégration croisée des deux sources (ex: « L'actuel retranchement d'Apple est-il une opportunité d'achat compte tenu de sa valorisation et de sa tendance ? »).

B. Pipeline de Construction : « Calibration puis Mise à l'échelle »

Pour garantir la fiabilité à grande échelle, les auteurs utilisent un cadre rigoureux en trois phases :

1. Génération de candidats et auto-sélection : Pour chaque question, plusieurs réponses sont générées par différents LLMs avec des prompts variés (taxonomie TELeR). Chaque modèle sélectionne sa meilleure réponse en fonction de la précision factuelle et de la complétude.
2. Audit numérique et Calibration : Un LLM indépendant audite les réponses pour vérifier la justesse des chiffres. Ensuite, une calibration est effectuée entre des experts humains et un « Juge LLM » (Claude Sonnet 4.5) sur un ensemble de 150 questions « graines » pour aligner les critères d'évaluation (précision, complétude, pertinence, clarté).
3. Mise à l'échelle (Scaling) : Les questions graines sont étendues à travers les 100 entreprises du NASDAQ sur la décennie pour atteindre les 1 400 questions finales, en utilisant le juge LLM calibré pour l'évaluation.

C. Configuration Expérimentale (RAG)

Les auteurs évaluent 14 LLMs (de la taille 1B à 70B+, incluant des modèles propriétaires et open-source) dans deux conditions :

• Zero-shot (No-RAG) : Sans accès aux données externes.
• Retrieval-Augmented Generation (RAG) : Avec un moteur de récupération « Dual-Track » (Double voie) qui traite séparément les documents textuels (filiers SEC) et les séries temporelles structurées (données de marché), avant de fusionner les contextes pour la génération.

3. Résultats Clés

Les résultats, présentés dans le tableau 2 et analysés en détail, révèlent des écarts de performance significatifs :

• Avantage du RAG pour les Fondamentaux : La récupération d'informations améliore considérablement les performances sur les questions de type « Fondamentaux » (augmentation d'exactitude de +37% pour certains modèles comme R1-Distill-Qwen). Le RAG ancre le modèle dans les faits comptables et réduit les hallucinations.
• Dégradation du RAG pour les Signaux de Trading : Paradoxalement, le RAG détériore les performances sur les questions de type « Trading » (baisse de performance de -10% à -20% pour plusieurs modèles). Les modèles ont du mal à interpréter les tableaux numériques bruts extraits des données de marché et à calculer des indicateurs techniques à partir de ces données récupérées.
• Performance des Modèles de Raisonnement Latent : Les modèles dotés de capacités de raisonnement implicite (comme DeepSeek-R1 et ses versions distillées) surpassent nettement les modèles simplement « instructés » sur les questions hybrides. Ils parviennent mieux à réconcilier des signaux contradictoires.
• Sensibilité à l'Architecture : L'architecture du modèle compte plus que la taille des paramètres. Par exemple, les modèles de la famille Qwen bénéficient du RAG, tandis que les modèles LLaMA (même 70B) voient leurs performances chuter systématiquement avec le RAG, suggérant une sensibilité accrue à la distraction par le contexte dense.
• Effet de Distraction (Distraction Effect) : L'ajout de contexte via RAG améliore l'intégration des faits de surface mais réduit la profondeur du raisonnement et la capacité à extraire les indicateurs clés (« Golden Indicators »). Les modèles tendent à résumer le contexte récupéré plutôt que d'effectuer un raisonnement analytique profond.

4. Contributions Principales

1. FinTradeBench : Le premier benchmark intégrant explicitement les fondamentaux d'entreprise et les signaux de trading dans un cadre d'évaluation unifié, avec une couverture temporelle et sectorielle réaliste.
2. Méthodologie de Calibration : Un cadre robuste combinant l'expertise humaine, l'audit numérique automatisé et l'alignement Juge LLM-Humain pour créer un jeu de données fiable et reproductible.
3. Analyse du RAG Financier : Une démonstration empirique que le RAG n'est pas une solution universelle en finance. Il est crucial pour les données textuelles mais peut être contre-productif pour les données de séries temporelles brutes, soulignant le besoin de méthodes de calcul intermédiaire (ex: exécution de code) plutôt que de simple récupération.
4. Évaluation des Modèles : Une comparaison exhaustive de 14 LLMs montrant que les capacités de raisonnement latent sont supérieures aux simples capacités d'instruction pour les tâches financières complexes.

5. Signification et Implications

Ce travail met en lumière des défis fondamentaux pour l'intelligence artificielle financière :

• Limites du Raisonnement Numérique : Les LLMs actuels, même avec RAG, peinent à effectuer des calculs intermédiaires sur des données de marché brutes. Ils ne peuvent pas simplement « lire » un tableau de prix pour en déduire une tendance ; ils ont besoin d'outils de calcul externes.
• La Complexité de l'Intégration : La vraie valeur ajoutée pour un analyste réside dans la capacité à synthétiser des sources hétérogènes (comptabilité + marché). Les benchmarks futurs doivent impérativement tester cette intégration hybride.
• Orientation Future : Les résultats suggèrent que l'avenir des « FinLLMs » ne réside pas seulement dans l'augmentation de la taille des modèles ou du contexte, mais dans l'intégration d'agents capables d'exécuter du code pour le traitement des séries temporelles et dans des architectures de récupération plus intelligentes qui pré-calculent les indicateurs techniques avant de les présenter au modèle.

En conclusion, FinTradeBench fournit une base standardisée pour mesurer les progrès réels des modèles dans la compréhension financière, dépassant la simple lecture de documents pour atteindre un véritable raisonnement de marché.