FinRule-Bench: A Benchmark for Joint Reasoning over Financial Tables and Principles

Ce papier présente FinRule-Bench, un benchmark conçu pour évaluer la capacité des grands modèles de langage à auditer des états financiers réels en appliquant des principes comptables explicites à travers des tâches de vérification, d'identification et de diagnostic conjoint de violations.

L'essentiel

🕵️‍♂️ FinRule-Bench : Le Grand Test de "Détective Comptable" pour les IA

Imaginez que vous avez engagé un super-héros, une Intelligence Artificielle (IA), pour auditer les comptes d'une grande entreprise. Votre but n'est pas de lui demander "Combien ont-ils gagné ?" (c'est facile), mais de lui demander : "Est-ce que ces comptes respectent toutes les règles comptables officielles ? Et si non, où exactement est l'erreur ?"

C'est là que le papier FinRule-Bench intervient. C'est un nouveau "terrain de jeu" (un benchmark) créé par des chercheurs pour tester si ces IA sont vraiment capables de jouer le rôle de détectives financiers rigoureux.

1. Le Problème : Les IA sont de bons élèves, mais de mauvais auditeurs 📚

Jusqu'à présent, on testait les IA avec des exercices scolaires :

• Question : "Combien font 10 + 20 ?"
• Réponse : "30".
• Résultat : L'IA a 100 % de réussite.

Mais dans la vraie vie, un auditeur ne fait pas que calculer. Il doit vérifier que chaque ligne respecte un code de loi complexe (les principes comptables). Les chercheurs ont réalisé que les IA actuelles sont très doues pour répondre à des questions simples, mais elles échouent lamentablement quand il faut vérifier la conformité d'un document entier et localiser précisément l'erreur. C'est comme si un élève savait faire des maths, mais ne comprenait pas les règles du jeu de football.

2. La Solution : FinRule-Bench, le "Simulateur de Vol" pour Auditeurs 🛫

Pour tester vraiment ces IA, les chercheurs ont créé FinRule-Bench. Voici comment ça marche, avec une analogie simple :

Imaginez que vous avez un livre de cuisine parfait (les vrais comptes d'une entreprise).

• Le Défi : On demande à l'IA de vérifier si la recette respecte le "Code de la Cuisine" (les règles comptables).
• L'astuce : Pour tester l'IA, les chercheurs prennent le livre de cuisine parfait et y insèrent délibérément quelques petites erreurs invisibles (ex: mettre du sel au lieu du sucre, ou oublier une étape).
• Le but : L'IA doit trouver l'erreur, dire quelle règle elle a enfreinte, et montrer exactement à quelle ligne du livre elle se trouve.

3. Les Trois Niveaux de Difficulté 🎮

Le test est divisé en trois niveaux, comme dans un jeu vidéo, pour voir jusqu'où l'IA peut aller :

• Niveau 1 : La Vérification (Le Check-point)
  • La question : "Est-ce que cette ligne respecte la règle X ?" (Oui/Non).
  • Résultat : Les IA sont assez bonnes ici. C'est comme vérifier si un gâteau est cuit.
• Niveau 2 : L'Identification (Le Choix)
  • La question : "Il y a une erreur quelque part. Laquelle des 5 règles possibles a été enfreinte ?"
  • Résultat : Là, ça coince. Les IA se trompent souvent. Elles ne savent pas bien distinguer les règles entre elles.
• Niveau 3 : Le Diagnostic Joint (Le Grand Final)
  • La question : "Il y a plusieurs erreurs en même temps dans ce document. Trouvez-les toutes et dites-moi où elles sont."
  • Résultat : C'est le cauchemar des IA. Elles trouvent parfois une erreur, mais en ratent d'autres, ou elles disent que l'erreur est à la page 1 alors qu'elle est à la page 5. C'est comme chercher plusieurs aiguilles dans une botte de foin en même temps.

4. La Méthode "Causalité" : Apprendre par l'Exemple 🧠

Pour aider les IA, les chercheurs ont utilisé une technique spéciale appelée raisonnement causal et contrefactuel.

• L'analogie : Au lieu de juste dire "C'est faux", on donne à l'IA un exemple : "Regarde, ici, j'ai mis du sel au lieu du sucre (c'est l'erreur). Si je remplace le sel par du sucre (la modification), alors la recette redevient bonne."
• Le résultat : Cela aide un peu les IA, surtout les plus petites, à mieux comprendre pourquoi c'est une erreur. Mais même avec cette aide, les IA les plus puissantes peinent encore à être parfaites sur les tâches complexes.

5. Pourquoi c'est important ? 🌍

Ce papier nous apprend une chose cruciale : Les IA ne sont pas encore prêtes à remplacer les auditeurs humains.

Elles sont excellentes pour faire des calculs rapides, mais elles manquent de "bon sens" pour vérifier la cohérence globale d'un document financier complexe. Si on les utilisait aujourd'hui pour auditer des banques ou des entreprises sans surveillance humaine, elles pourraient laisser passer des erreurs graves ou en inventer de fausses.

En résumé :
FinRule-Bench est comme un examen de conduite très strict pour les IA financières. Il nous montre qu'elles savent conduire sur une route droite (les calculs simples), mais qu'elles paniquent encore dans les ronds-points complexes et les situations à multiples dangers (la vérification de règles multiples). C'est un outil essentiel pour savoir où nous en sommes et où nous devons encore travailler avant de faire confiance aux robots avec nos économies ! 💰🤖

Résumé technique

Voici un résumé technique détaillé du papier de recherche FinRule-Bench : A Benchmark for Joint Reasoning over Financial Tables and Principles, rédigé en français.

1. Problématique et Contexte

Les modèles de langage (LLM) sont de plus en plus utilisés pour l'analyse financière, notamment pour la réponse à des questions numériques ou la détection d'anomalies. Cependant, leur capacité à auditer des états financiers structurés en respectant des principes comptables explicites reste mal évaluée.

Les benchmarks existants (comme FinQA ou TAT-QA) se concentrent principalement sur :

• La réponse à des questions (Q&A).
• Le raisonnement numérique sur des données synthétiques ou corrompues.
• La détection d'anomalies isolées.

Le problème central identifié par les auteurs est l'absence d'évaluation de la complétude diagnostique. Dans un audit réel, il ne suffit pas de trouver une erreur ; le modèle doit :

1. Vérifier la conformité à un ensemble de règles interdépendantes.
2. Identifier précisément quelles règles sont violées.
3. Localiser l'erreur au niveau de l'enregistrement spécifique (record-level).
4. Gérer des violations multiples simultanées sans se laisser tromper par des données bruyantes.

Les modèles actuels échouent souvent à distinguer les règles violées parmi un ensemble ou à localiser précisément les erreurs dans des tableaux complexes, car les benchmarks actuels ne testent pas la fidélité du raisonnement sur des données réelles et correctes par construction.

2. Méthodologie : FinRule-Bench

Les auteurs introduisent FinRule-Bench, un benchmark conçu pour évaluer le raisonnement basé sur des règles dans le domaine financier.

A. Construction du Dataset

• Source de données : Le benchmark utilise des états financiers réels extraits des déclarations Form 10-K (fichiers annuels aux États-Unis) de 2024. Les données sont converties en tableaux Markdown structurés.
• Intégrité des données : Contrairement aux approches précédentes qui corrompent aléatoirement les données, FinRule-Bench part de données correctes (Ground Truth).
• Injection d'erreurs contrôlée : Pour créer des cas de test, les auteurs injectent des violations de règles de manière déterministe et minimale.
  • Régime à violation unique : Une seule règle est violée par enregistrement (pour les tâches de vérification et d'identification).
  • Régime à violations multiples : Plusieurs règles sont violées simultanément au sein du même état financier (pour le diagnostic conjoint).
• Types d'états financiers couverts : Bilans (Balance Sheets), États des flux de trésorerie (Cash Flow), États des résultats (Income Statements), et États des variations de capitaux propres (Statements of Equity).
• Règles et Validateurs : Chaque règle comptable (ex: "Total Actif = Total Passif + Capitaux Propres") est associée à un validateur déterministe (code Python) qui génère l'étiquette de vérité terrain. Cela élimine l'ambiguïté humaine dans l'évaluation.

B. Tâches d'Évaluation

Le benchmark définit trois tâches d'audit progressivement plus complexes :

1. Vérification de règle (Rule Verification) : Étant donné un tableau et une règle, le modèle doit prédire si la règle est respectée (Binaire : Vrai/Faux).
2. Identification de règle (Rule Identification) : Étant donné un tableau et un ensemble de règles, le modèle doit identifier la règle violée (choix parmi plusieurs).
3. Diagnostic conjoint de règles (Joint Rule Diagnosis) : La tâche la plus complexe. Le modèle doit détecter la présence de violations, identifier toutes les règles violées et les localiser au niveau de l'enregistrement spécifique, même en présence de multiples erreurs simultanées.

C. Protocole de Raisonnement Causal et Contrefactuel

Une innovation majeure est l'introduction d'un protocole de raisonnement causal-contrefactuel via le few-shot prompting.

• Les exemples fournis au modèle ne montrent pas seulement la réponse, mais expliquent :
  • La cause de la violation (quel attribut du tableau a déclenché l'erreur).
  • Une modification contrefactuelle minimale (ex: changer une valeur numérique ou un libellé) qui rétablirait la conformité.
• L'objectif est de tester si le modèle comprend la relation de causalité entre la structure du tableau et la règle, plutôt que de simplement mémoriser des motifs.

3. Contributions Clés

1. FinRule-Bench (Benchmark) : Le premier benchmark évaluant le raisonnement basé sur des règles sur des états financiers réels, couvrant quatre types de documents clés et utilisant des validateurs déterministes pour la vérité terrain.
2. Suite de Tâches Audit : Formalisation de trois tâches (Vérification, Identification, Diagnostic Conjoint) qui mesurent la progression des capacités de raisonnement, de la simple vérification binaire au diagnostic multi-erreurs complexe.
3. Protocole d'Évaluation Causal : Introduction d'une méthode d'évaluation qui dépasse la simple précision finale, en analysant la cohérence entre les décisions, les explications causales et les jugements contrefactuels pour révéler des modes d'échec systématiques (ex: localisation incorrecte, couverture partielle).

4. Résultats Expérimentaux

Les auteurs ont évalué quatre LLMs majeurs (GPT-4o, Gemini 2.5 Pro, Gemini 2.0 Flash, LLaMA 3.3) sous trois conditions de prompt (Zero-shot, Few-shot, Few-shot avec raisonnement causal).

• Performance Globale :

  • Les modèles obtiennent de bons résultats sur la Vérification de règle (tâche isolée), indiquant qu'ils maîtrisent les vérifications arithmétiques de base.
  • La performance chute drastiquement sur l'Identification de règle (discrimination entre plusieurs règles) et le Diagnostic Conjoint (localisation de multiples erreurs).
  • Le taux de réussite pour le diagnostic exact (Exact Match) sur les violations multiples reste très faible (souvent < 35% même pour les meilleurs modèles).

• Analyse des Erreurs :

  • Les erreurs dominantes sont la couverture partielle (le modèle trouve certaines erreurs mais pas toutes) et la mauvaise localisation (le modèle identifie la bonne règle mais l'attribue à la mauvaise ligne du tableau).
  • Les règles conditionnelles et multi-enregistrements sont les plus difficiles à traiter.

• Impact du Raisonnement Causal :

  • Le prompting causal-contrefactuel améliore significativement les performances des modèles plus légers (Gemini 2.0 Flash, LLaMA 3.3) en les aidant à mieux localiser les erreurs.
  • Pour les modèles de raisonnement avancé (GPT-4o, Gemini 2.5 Pro), les gains sont inconsistants et parfois négatifs, suggérant que l'ajout d'explications explicites peut parfois interférer avec leur raisonnement interne déjà complexe ou créer de la redondance.

• Coût-Efficacité : L'ajout de raisonnement structuré (causal) augmente considérablement la consommation de tokens (coût) sans garantir une amélioration proportionnelle de la précision sur toutes les tâches, soulignant le besoin de stratégies de prompting adaptées à la complexité de la tâche.

5. Signification et Conclusion

FinRule-Bench comble un vide critique dans l'évaluation des LLMs pour des applications à haut risque comme l'audit financier.

• Limites des benchmarks actuels : Il démontre que les modèles peuvent obtenir de hautes précisions sur des tâches de Q&A financières tout en étant totalement inadaptés à l'audit réel, car ils échouent à appliquer exhaustivement un système de règles formel.
• Diagnostic des échecs : Le benchmark révèle que les échecs ne sont pas dus à une incapacité à détecter des anomalies, mais à une incapacité à diagnostiquer et localiser exhaustivement les violations dans un contexte complexe.
• Impact futur : Ce travail fournit un testbed reproductible pour étudier la fiabilité du raisonnement des LLMs. Il met en évidence la nécessité de développer des modèles capables de raisonnement logique rigoureux et de localisation précise, plutôt que de simples générateurs de réponses statistiques, avant leur déploiement dans des systèmes d'audit automatisés.

En résumé, FinRule-Bench établit que si les LLMs sont de bons "calculatrices" ou "résumés", ils sont encore loin d'être des "auditeurs" fiables capables de garantir la conformité complète des états financiers selon les principes comptables.