FinChain: A Symbolic Benchmark for Verifiable Chain-of-Thought Financial Reasoning

1. Énoncé du Problème

Bien que les Grands Modèles de Langage (LLM) aient montré des promesses dans le traitement du langage naturel (NLP) financier, les benchmarks actuels échouent largement à évaluer le raisonnement symbolique multi-étapes avec transparence et vérifiabilité.

• Limites des Benchmarks Existants : Des jeux de données comme FinQA et ConvFinQA se concentrent principalement sur les réponses numériques finales. Ils manquent souvent de traces de raisonnement intermédiaires structurées, rendant impossible la vérification de comment un modèle a abouti à une réponse ou la distinction entre un raisonnement authentique et un simple appariement de motifs superficiels.
• Le Vide : Il existe un besoin d'un benchmark qui impose un raisonnement par Chaîne de Pensée (CoT) où chaque étape intermédiaire est explicitement définie, exécutable et vérifiable par machine contre des formules financières spécifiques au domaine.

2. Méthodologie

A. Construction du Jeu de Données FINCHAIN

Les auteurs ont construit FINCHAIN, le premier benchmark symbolique pour le raisonnement financier, à partir de zéro.

• Taxonomie : Le jeu de données couvre 12 domaines financiers (par exemple, Finance d'Entreprise, Finance Crypto, Gestion des Risques) et 58 sujets spécifiques.
• Modèles Symboliques : Au lieu de texte statique, le jeu de données est généré à l'aide de modèles symboliques paramétrés. Chaque modèle définit :
  • Une question en langage naturel avec des espaces réservés pour les variables (par exemple, capital, taux, temps).
  • Un bloc de code Python exécutable qui calcule à la fois les étapes intermédiaires et la réponse finale.
• Niveaux de Difficulté : Pour chaque sujet, cinq modèles sont conçus sur trois niveaux de difficulté (Basique, Intermédiaire, Avancé), augmentant le nombre d'étapes de raisonnement et la complexité logique.
• Volume de Données : Le benchmark se compose de 2 900 cas de test (58 sujets × 5 modèles × 10 instances chacun).
• Contrôle Qualité : Un processus de validation rigoureux impliquant des experts financiers assure la précision numérique, la cohérence des unités et la correction logique. Les modèles sont standardisés selon les conventions financières américaines.

B. CHAINEVAL : La Métrique d'Évaluation

Pour pallier le manque de vérification au niveau des étapes, les auteurs proposent CHAINEVAL, une métrique d'alignement dynamique qui évalue conjointement :

1. Exactitude de la Réponse Finale (FAC) : Vérifie si la sortie finale du modèle correspond à la vérité terrain (dans une tolérance de 5 %, $\epsilon=0.05$, alignée sur les seuils de matérialité de l'audit financier).
2. Alignement des Étapes de Raisonnement : Utilise la Distortion Dynamique du Temps (DTW) pour aligner la séquence de raisonnement prédite avec la séquence de référence.
   • Notation à Portes : Une étape est considérée comme cohérente uniquement si elle correspond à la fois sémantiquement (via la similarité cosinus de l'encodeur de phrases) et numériquement (via l'appariement des valeurs).
   • Formule : $CHAINEVAL = (1-\alpha) \cdot DTW_{Gate} + \alpha \cdot FAC$, où $\alpha=0.1$.
   • Validation : CHAINEVAL a été validé par rapport aux jugements d'experts humains, montrant une corrélation de Spearman de 0,655, surpassant significativement les métriques traditionnelles comme ROUGE et BERTScore.

3. Contributions Clés

1. Premier Benchmark Symbolique Financier : Introduction de FINCHAIN, un benchmark exécutable et exempt de contamination, couvrant 58 sujets répartis sur 12 domaines, conçu spécifiquement pour un raisonnement CoT vérifiable.
2. Cadre d'Évaluation Novel : Proposition de CHAINEVAL, une métrique qui va au-delà de la précision de la réponse finale pour évaluer la fidélité et la cohérence des étapes de raisonnement intermédiaires en utilisant la DTW et des mécanismes de portes.
3. Évaluation Complète : Évaluation de 26 LLM de pointe (incluant des modèles propriétaires de pointe, des modèles spécifiques à la finance, des modèles améliorés en mathématiques et des modèles open-weight à usage général).
4. Insights Diagnostiques : Analyse détaillée des erreurs révélant que même les modèles les plus avancés peinent avec le raisonnement symbolique complexe, et que l'adaptation au domaine ne garantit pas des capacités de raisonnement robustes.

4. Résultats Expérimentaux

A. Aperçu des Performances des Modèles

• Les Modèles de Pointe Mènent : Les modèles propriétaires de pointe (par exemple, GPT-5, Gemini-2.5 Pro) ont obtenu les scores CHAINEVAL les plus élevés (environ 65–67 %), indiquant un meilleur alignement dans le raisonnement au niveau des étapes.
• Limites du Fine-Tuning :
  • Modèles Spécifiques à la Finance : Des modèles comme Fin-o1 et Finance-Qwen ont mal performé (scores CHAINEVAL de 34–41 %), échouant souvent sur des chaînes de raisonnement basiques.
  • Modèles Améliorés en Mathématiques : Des modèles comme Mathstral et Qwen-2.5-Math ont montré une amélioration significative (scores autour de 55–60 %), suggérant que le fine-tuning mathématique se transfère mieux au raisonnement financier que le fine-tuning étroit sur le domaine financier.
• Le Vide "Réponse vs Raisonnement" : Certains modèles ont obtenu une exactitude de réponse finale (FAC) élevée mais de faibles scores CHAINEVAL, indiquant qu'ils ont deviné la bonne réponse sans suivre un chemin de raisonnement valide.

B. Performances selon les Dimensions

• Difficulté : Tous les modèles ont montré une dégradation des performances à mesure que la difficulté augmentait, du Basique à l'Avancé. Les modèles de pointe ont maintenu une stabilité relative, tandis que les modèles open-weight ont subi des baisses abruptes sur les tâches avancées.
• Variance par Domaine : Les performances étaient hautement dépendantes du domaine. Par exemple, Mathstral excellait dans les domaines quantitatifs (Ratios Financiers) mais peinait dans les domaines réglementaires riches en texte, tandis que Fin-R1 montrait des forces en Gestion des Risques mais des faiblesses dans les tâches quantitatives complexes.

C. Analyse des Erreurs

L'analyse de 200 questions échantillonnées a révélé des profils d'erreurs distincts :

• Modèles de Pointe (par exemple, GPT-5-mini) : Les erreurs étaient concentrées dans les catégories Calcul (arithmétique) et Conceptuelles (mauvaise application des formules). Ils hallucinaient rarement ou échouaient à analyser.
• Modèles Plus Faibles (par exemple, Finance-Qwen) : Présentaient un profil d'erreur hétérogène, incluant des Hallucinations significatives (introduction de variables non étayées), des échecs de Parsing/Format et des erreurs conceptuelles.

5. Signification et Travaux Futurs

• IA digne de Confiance : FINCHAIN fournit une base pour développer des systèmes d'IA financière interprétables et auditable, cruciaux pour la prise de décision à haut risque où le raisonnement en "boîte noire" est inacceptable.
• Direction de la Recherche : Les résultats suggèrent que simplement augmenter l'échelle des modèles ou les affiner sur du texte financier est insuffisant. Les progrès futurs nécessitent une supervision structurée et un entraînement explicite sur les chaînes de raisonnement symbolique.
• Limites et Travaux Futurs : Le jeu de données actuel est synthétique et centré sur l'anglais. Les travaux futurs visent à intégrer des documents financiers réels, à étendre aux contextes multilingues et à combler le fossé entre le raisonnement symbolique et la vérification factuelle.

Conclusion : FINCHAIN expose les faiblesses persistantes des LLM actuels concernant le raisonnement financier multi-étapes. Il démontre que si les modèles de pointe sont supérieurs, même eux peinent avec des tâches symboliques complexes, soulignant la nécessité de nouveaux paradigmes d'entraînement qui privilégient la fidélité du raisonnement par rapport à la simple génération de réponses.