💬 NLP

FinBalance: A Multi-Document Accounting Reconciliation Benchmark

L'article présente FinBalance, un banc d'essai de rapprochement comptable multi-documents construit à partir de documents sources issus de divers secteurs et niveaux de difficulté, lequel révèle que les modèles de langage de grande taille actuels peinent à réconcilier avec précision les documents sources en bilans cohérents, présentant souvent des écarts significatifs entre leurs états financiers rapportés et ceux dérivés de leurs propres écritures générées.

Auteurs originaux : Sasank Tumpati, Devansh Agarwal, Ayush Kedia, Arjun Neekhra, Murari Mandal, Krishna Garg, Yash Sinha, Suman Gupta, Dhruv Kumar

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sasank Tumpati, Devansh Agarwal, Ayush Kedia, Arjun Neekhra, Murari Mandal, Krishna Garg, Yash Sinha, Suman Gupta, Dhruv Kumar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère financier. Vous avez devant vous un tas désordonné d'indices : factures, relevés bancaires, contrats et reçus. Votre travail ne consiste pas seulement à les lire ; il s'agit de comprendre exactement ce qui s'est passé, de rédiger un rapport formel (une « écriture comptable ») pour chaque transaction, puis de tout additionner pour créer un « Bilan » final (un instantané de la santé financière de l'entreprise).

Si vous trouvez un indice qui contredit un autre (comme une facture indiquant que vous avez payé 100 $ mais un relevé bancaire indiquant que vous avez payé 120 $), vous devez signaler cette erreur immédiatement. Vous ne pouvez pas simplement l'ignorer ou deviner la réponse.

C'est précisément ce dont traite le papier FinBalance. Il introduit un nouvel « examen » pour l'Intelligence Artificielle (IA) afin de voir si elle est capable de ce travail de détective comptable du monde réel.

Le Problème : L'IA est bonne pour lire, mais mauvaise pour réconcilier

Les auteurs soulignent que la plupart des tests d'IA actuels sont comme donner à un étudiant un chapitre de manuel terminé et lui demander : « Quelle est l'idée principale ? ». La réponse est déjà écrite là ; l'IA n'a qu'à la trouver.

Mais la vraie comptabilité est plus difficile. C'est comme donner à l'étudiant une boîte à chaussures remplie de reçus froissés, un relevé bancaire et un contrat, puis lui dire : « Calculez les chiffres, rédigez le rapport officiel et dites-moi si quelque chose ne correspond pas ».

La Solution : Le Benchmark FinBalance

Les chercheurs ont construit un immense « terrain d'entraînement » synthétique appelé FinBalance.

La Configuration : Ils ont créé un programme informatique qui agit comme un comptable strict. Il génère des milliers de scénarios commerciaux fictifs mais réalistes à travers 8 industries différentes (comme le commerce de détail, la santé et la technologie).
Les Documents : Pour chaque scénario, il crée un ensemble de documents contenant du texte (simulant des PDF scannés). Certains sont des preuves réelles, d'autres sont des « distracteurs » (des faux papiers conçus pour tromper) et certains contiennent des contradictions délibérées.
La Vérité Terrain (Ground Truth) : Comme un ordinateur a généré le scénario, l'IA connaît la réponse exacte. Elle connaît les bonnes écritures comptables, le bilan final correct et exactement quels documents soutiennent quels chiffres.

Le Test : Comment l'IA s'en est-elle sortie ?

Les chercheurs ont testé six des modèles d'IA les plus intelligents disponibles aujourd'hui sur 710 de ces énigmes comptables. Les résultats ont été surprenants et humiliants :

L'écart entre « Calcul et Rapport » :
Imaginez un étudiant qui peut faire le calcul parfaitement dans sa tête, mais qui écrit la réponse finale incorrectement sur sa copie.

Les modèles d'IA étaient étonnamment bons pour déterminer les transactions individuelles (les « écritures comptables »).
Cependant, lorsqu'ils essayaient d'additionner ces données et de rédiger le « Bilan » final, ils échouaient souvent.
La Statistique : Dans quatre cas sur six, il y avait un fossé énorme. Ils pouvaient reconstruire l'image financière correcte à partir de leurs propres notes, mais le rapport qu'ils soumettaient réellement était faux. C'est comme un chef qui cuisine un repas parfait mais le sert sur la mauvaise assiette avec la mauvaise étiquette.

Le problème du « Reçu Perdu » :
Le plus gros échec n'était pas le calcul, mais le lien entre la réponse et la preuve.

Lorsque l'IA trouvait un chiffre correct, elle était souvent incapable de pointer le document spécifique qui le prouvait.
Même lorsque les chercheurs disaient à l'IA : « Vous devez citer vos sources », cela n'améliorait presque rien. L'IA peinait à trouver l'aiguille dans la botte de foin, non pas parce qu'elle n'en avait pas envie, mais parce qu'elle ne pouvait pas distinguer les vraies preuves des distracteurs.

L'astuce du « Deuxième Avis » :
Les chercheurs ont tenté une correction ingénieuse. Après que l'IA a soumis sa réponse, ils ont passé les chiffres de l'IA à travers une calculatrice stricte (un « grand livre ») et ont montré à l'IA la différence entre ce qu'elle disait et ce que ses propres chiffres impliquaient.

Résultat : Ce « feedback » a aidé l'IA à corriger son rapport final de manière significative. C'est comme un professeur disant : « Tu as dit que le total est de 100 $, mais si l'on ajoute ta propre liste, c'est 120 $. Vérifie tes calculs. »
Le Revers de la Médaille : Cette correction avait un inconvénient. Lorsque l'IA essayait de repérer les contradictions (les erreurs dans les documents), ce feedback la rendait parfois moins efficace pour repérer les erreurs, car elle se concentrait trop sur la correction du calcul plutôt que sur la prise de conscience que les documents étaient erronés.

Le Verdict

L'article conclut que, bien que l'IA s'améliore dans la compréhension du texte financier, elle n'est pas encore prête à être un comptable fiable. Elle peine à :

Relier les points entre différents documents.
Agrégat (additionner) ses propres découvertes en un rapport final cohérent.
Distinguer les preuves réelles des distractions factices.

Les auteurs soulignent que ce benchmark est un « test de résistance ». Si une IA ne peut pas résoudre ces énigmes propres et générées par ordinateur de manière parfaite, elle ne peut certainement pas être considérée comme fiable pour la comptabilité réelle et désordonnée, où les reçus sont flous, des pages manquent et les règles sont encore plus complexes.

En bref : L'IA est actuellement une excellente « lectrice » de documents financiers, mais une piètre « réconciliatrice » de ceux-ci. Elle peut trouver les chiffres, mais elle perd souvent la trace des preuves et échoue à rédiger correctement le rapport final.

Résumé Technique : FinBalance : Un benchmark de réconciliation comptable multi-documents

Définition du Problème

Les benchmarks actuels de traitement du langage naturel (NLP) appliqués à la finance évaluent principalement les modèles sur des artefacts pré-traités, tels que des tableaux extraits de rapports ou des états financiers pré-calculés. Les modèles sont généralement chargés de répondre à des questions ou d'effectuer des analyses sur ces sorties déjà structurées. Cependant, les flux de travail comptables réels commencent plus tôt : ils nécessitent la réconciliation de documents sources bruts (factures, relevés bancaires, contrats, avis de paiement) en écritures de journal, l'agrégation de ces écritures en un bilan, et la détection de contradictions au sein du lot de documents.

Les benchmarks existants échouent à tester ce pipeline « de la source à l'état financier ». Ils n'exigent pas des modèles qu'ils :

Extraient des écritures de journal équilibrées en citant des documents justificatifs spécifiques.
Agrègent les écritures en un bilan final respectant l'équation comptable.
Identifient et classent les incohérences parmi les documents sources plutôt que de les résoudre silencieusement.

Méthodologie : Le Benchmark FinBalance

Les auteurs introduisent FinBalance, un benchmark synthétique mais conçu par des humains, destiné à simuler l'intégralité du pipeline de réconciliation comptable.

Construction du Benchmark

Architecture du Générateur : Un générateur déterministe compose des enregistrements basés sur des spécifications rédigées par des humains. Ces spécifications définissent des scénarios commerciaux, des schémas de documents, des politiques comptables, des traitements fiscaux/de change (FX) et des modèles d'incohérence.
Composition des Données : Le générateur échantillonne ces spécifications pour créer des lots de documents comprenant :
- Documents de Comptabilisation : Factures, notes de frais, relevés, pièces comptables.
- Documents de Support : Contrats, feuilles de tarifs, certificats.
- Documents d'Ajustement : Provisions de fin de période, reports de solde.
- Distracteurs : Documents visuellement plausibles mais neutres (doublons, avis d'annulation).
- Balance d'Ouverture : L'état initial du grand livre.
Vérité de Terrain (Ground Truth) : Comme le générateur utilise un grand livre à partie double fixe, la vérité de terrain (écritures de journal, bilan final et codes d'incohérence) est calculable, auditable et reproductible. Aucune étiquetage manuel n'intervient après la génération.
Périmètre : Le benchmark couvre huit industries (ex: commerce de détail, santé), trois types de périodes (mois, trimestre, année) et cinq niveaux de difficulté. Il inclut des indicateurs de concepts pour des domaines comptables complexes comme la reconnaissance des revenus ASC 606, les contrats de location, l'impôt différé et la fiscalité multijuridictionnelle.
Gestion des Incohérences : Un sous-ensemble spécifique d'enregistrements (32 % du split principal) contient des « incohérences forcées » (ex: écart entre le total de la facture et le montant, certificat d'exonération invalide). Pour ces cas, la sortie correcte du modèle est un indicateur et un code d'incohérence, et non un bilan réconcilié.

Métriques d'Évaluation

Le papier introduit deux métriques complémentaires pour distinguer la génération d'écures de l'auto-cohérence :

$BS_{exact}$ : Mesure si le bilan final auto-déclaré par le modèle correspond exactement à la vérité de terrain.
$BS_{recon}$ : Analyse les écritures de journal générées par le modèle, les rejoue à travers le grand livre déterministe contre la balance d'ouverture, et vérifie si le bilan implicite correspond à la vérité de terrain.
- La différence ( $BS_{recon} - BS_{exact}$ ) est définie comme l'écart d'agrégation, indiquant si un modèle peut générer des écritures correctes mais échoue à les agréger de manière cohérente.
Correspondance des Écritures (Entry Matching) : L'appariement strict exige des comptes débit/crédit, des montants et des références de documents triés ( $doc\_refs$ ) corrects.
Correspondance du Code d'Incohérence : Pour les enregistrements à incohérence forcée, le taux d'identification correcte du code de contradiction spécifique.

Configuration Expérimentale

Modèles : Six modèles de langage (LLM) contemporains ont été évalués : Gemini 3 Flash, GPT-5, Claude Haiku 4.5, Grok-4.3, DeepSeek Chat, et Qwen 3 235B.
Études d'Ablation : Les auteurs ont testé diverses interventions, notamment :
- Pression de Citation : Prompts explicites pour citer les documents.
- Visibilité : Suppression des listes de comptes ou des documents de support.
- Stress de Contexte : Ajout de distracteurs ou retard de l'évidence pertinente.
- Feedback du Grand Livre : Fournir au modèle le delta entre son bilan déclaré et celui impliqué par ses propres écritures, permettant un tour de révision.
- Best-of-3 : Échantillonnage de plusieurs candidats et sélection du meilleur.
Validation : Des experts financiers issus de grandes banques d'investissement et un expert-comptable certifié ont examiné un sous-ensemble d'enregistrements pour valider la conception du benchmark, le calibrage de la difficulté et l'exactitude des étiquettes.

Résultats Clés

1. Faible Performance Globale

Sur le split d'évaluation de 710 enregistrements, le modèle le plus performant (GPT-5) n'a atteint que 46 % de précision sur le bilan final exact ( $BS_{exact}$ ). La précision de bout en bout strictement ancrée sur les documents restait nettement inférieure.

2. L'Écart d'Agrégation

Une découverte critique est la divergence entre la qualité des écritures et la cohérence du bilan final :

Quatre des six modèles ont présenté un écart de 26 à 41 points de pourcentage entre le $BS_{recon}$ (écritures rejouées) et le $BS_{exact}$ (auto-déclaré).
Par exemple, DeepSeek Chat a obtenu un $BS_{recon}$ de 47,3 % mais seulement 6,7 % de $BS_{exact}$ .
Cela indique que les modèles génèrent souvent des écritures de journal numériquement plausibles, mais échouent à les lier à des preuves et à les agréger en un état cohérent. GPT-5 était une exception, montrant une haute auto-cohérence (46,5 % $BS_{exact}$ contre 46,3 % $BS_{recon}$ ).

3. Le Lien Documentaire comme Mode de Défaillance Principal

Désambiguïsation de la Récupération : Sur les écritures avec des comptes et des montants corrects, 52 % citaient les mauvais documents de support.
Inefficacité des Prompts : Un prompting de « pression de citation » explicite n'a réduit ce taux d'erreur que de 1,4 point de pourcentage.
Dépendance à l'Évidence : Lorsque les modèles recevaient un oracle « évidence uniquement » (masquant les distracteurs), le taux d'erreur diminuait de 26,4 points de pourcentage, suggérant que l'échec réside dans la sélection de la bonne preuve, et non dans le suivi des instructions de citation.

4. Impact du Feedback du Grand Livre

Réparation des Bilans : Fournir aux modèles le feedback du grand livre (les deltas entre le bilan déclaré et le bilan impliqué) a amélioré le $BS_{exact}$ de 30 à 33 points de pourcentage pour les modèles présentant un écart d'agrégation.
Compromis : Cette amélioration s'est faite au détriment de la détection des incohérences, qui a chuté de 13 à 52 points de pourcentage sur les plus petits modèles. Le mécanisme de feedback biaise le modèle vers la réconciliation de documents contradictoires plutôt que vers leur signalement comme erreurs.

5. Difficulté et Contexte

Échelle de Difficulté : La précision chute brutalement de 88 % au Niveau de Difficulté 1 à 0 % au Niveau 5.
Contexte vs Logique : Bien que l'ajout de distracteurs (stress de contexte) ait réduit la précision, le principal moteur d'échec était la complexité des dépendances comptables et le choix des documents, plutôt que la simple longueur du contexte.

Signification et Revendications

Les auteurs positionnent FinBalance non pas comme un problème résolu, mais comme un banc d'essai diagnostique et un prérequis contrôlé pour un déploiement réel.

Nécessité du Benchmark : Le papier soutient que si un modèle ne peut pas réconcilier des lots de documents propres et entièrement spécifiés avec une vérité de terrain exacte, il est peu probable qu'il soit fiable dans des environnements comptables réels où les mises en page, les erreurs d'OCR et les preuves manquantes sont plus désordonnées.
Synthétique mais Humain : Bien que les données soient synthétiques, la logique comptable, les politiques et les scénarios sont conçus par des humains, garantissant que le benchmark teste un véritable raisonnement métier et non des motifs inventés par le modèle.
Valeur Diagnostique : Le benchmark révèle des modes de défaillance spécifiques (écarts d'agrégation, désambiguïsation de la récupération) qui sont invisibles dans les benchmarks de QA standards.
Utilité Future : En publiant le générateur (plut plutôt qu'un simple jeu de données statique), les auteurs permettent la création de nouveaux échantillons stratifiés pour éviter la contamination des données et permettre l'expansion de l'espace des scénarios (nouvelles industries, politiques, contradictions) sans ré-étiquetage manuel.

Le papier conclut que les LLM actuels peinent face au pipeline complet de la comptabilité documentée. Bien qu'ils puissent souvent identifier des écritures plausibles, ils échouent à les lier systématiquement à des preuves et à les agréger en un bilan final correct, soulignant un écart significatif entre les capacités actuelles et les exigences des flux de travail comptables professionnels.