FinSheet-Bench: From Simple Lookups to Complex Reasoning, Where LLMs Break on Financial Spreadsheets

Ce papier présente FinSheet-Bench, un benchmark de données financières synthétiques révélant que les modèles d'IA actuels, bien que performants sur des tâches simples, échouent encore à atteindre la fiabilité nécessaire pour une utilisation autonome dans l'extraction et le raisonnement sur des feuilles de calcul financières complexes, ce qui suggère la nécessité d'approches architecturales combinant compréhension de document et calcul déterministe.

L'essentiel

📊 Le Problème : Les IA et les "Cahiers de Comptabilité" Géants

Imaginez que vous êtes un détective financier. Votre travail consiste à examiner des centaines de gros cahiers de comptabilité (des fichiers Excel) appartenant à des fonds d'investissement privés. Ces cahiers sont remplis de chiffres, de noms d'entreprises, de dates et de formules complexes.

Jusqu'à récemment, les Intelligences Artificielles (IA) étaient devenues très douces pour lire des livres, des emails ou des contrats. Elles pouvaient résumer un texte ou trouver une phrase précise. Mais dès qu'on leur a demandé de lire ces cahiers de comptabilité, elles ont commencé à faire des erreurs graves.

C'est comme si vous donniez un roman à un enfant très intelligent : il peut raconter l'histoire, mais si vous lui demandez de calculer la somme des dépenses d'un personnage en regardant un tableau de chiffres mal rangé, il se trompe.

🔍 L'Expérience : FinSheet-Bench

Les auteurs de cet article (une équipe de Zurich) ont créé un terrain de jeu d'entraînement spécial appelé FinSheet-Bench.

• Le Défi : Ils ont pris la structure réelle de vrais cahiers financiers (très compliqués, avec des lignes qui se mélangent, des couleurs, des titres bizarres) et ont créé une version "fausse" mais réaliste pour ne pas trahir de secrets d'entreprise.
• Le Test : Ils ont demandé à 10 des meilleures IA du monde (comme GPT-5, Gemini, Claude) de répondre à des questions sur ces cahiers.
  • Question facile : "Combien y a-t-il de fonds ?"
  • Question difficile : "Quel est le montant moyen de la dette pour chaque entreprise, en triant les résultats du plus grand au plus petit ?"

📉 Les Résultats : L'IA est encore trop "bavarde" pour être seule

Les résultats sont sans appel : Aucune IA ne peut travailler seule dans une banque aujourd'hui.

1. Sur les tâches simples : Les IA sont très bonnes (environ 90 % de réussite). Si on leur demande "Quel est le nom de cette entreprise ?", elles trouvent presque toujours la bonne réponse.
2. Sur les tâches complexes : Dès qu'il faut faire des calculs, trier des listes ou additionner des chiffres sur plusieurs pages, les IA s'effondrent. Leur taux de réussite chute à environ 30 %.

L'analogie du "Chef d'orchestre" :
Imaginez que l'IA est un chef d'orchestre très talentueux.

• Si vous lui demandez de jouer une seule note (rechercher un chiffre), il est parfait.
• Mais si vous lui demandez de diriger tout l'orchestre en même temps qu'il fait des additions mentales rapides, il perd le fil, joue faux et mélange les instruments.

Même la meilleure IA du test (Gemini 3.1 Pro) se trompe environ 1 fois sur 6 questions. En finance, se tromper une fois sur 6, c'est catastrophique. Cela pourrait signifier investir des millions de dollars dans la mauvaise entreprise.

🧠 Pourquoi est-ce si difficile pour elles ?

L'article explique deux raisons principales, avec des images simples :

1. La perte de la "carte" (Le problème de la traduction) :
   Les fichiers Excel sont comme des grilles 2D (des tableaux avec des lignes et des colonnes). Pour les lire, l'IA doit transformer ce tableau en texte (une longue liste de mots séparés par des virgules).

   • L'image : C'est comme si vous preniez une carte routière colorée, vous la déchiriez en petits morceaux, et vous demandiez à quelqu'un de reconstruire le trajet en ne lui donnant que la liste des noms des rues, sans savoir où elles sont situées les unes par rapport aux autres. L'IA perd le sens de l'espace.

2. Le manque de "calculatrice" :
   Les IA sont faites pour prédire le mot suivant, pas pour faire des maths exactes. Elles essaient de "deviner" le résultat d'un calcul plutôt que de le faire pas à pas avec une précision absolue. C'est comme essayer de faire de la chirurgie avec des gants de boxe : on peut toucher le bon endroit, mais on ne peut pas faire le geste précis.

💡 La Solution : Ne pas tout laisser à l'IA

L'article ne dit pas que l'IA est inutile. Il dit qu'il faut changer de méthode.

Au lieu de demander à l'IA de tout faire (lire + calculer + trier), il faut la diviser en deux équipes :

1. L'IA (Le Lecteur) : Elle sert uniquement à trouver les bons chiffres dans le texte (ex: "Trouve le chiffre de la dette pour l'entreprise X"). Elle est très bonne là-dedans.
2. Le Code (La Calculatrice) : Une fois que l'IA a donné les chiffres, un programme informatique simple et infaillible (un script Python) fait les calculs, les tris et les additions.

L'analogie finale :
Ne demandez pas à un poète (l'IA) de faire les comptes de la maison. Demandez-lui de lire la facture et de vous dire les chiffres, puis donnez ces chiffres à un comptable robotique (le code) qui fera l'addition.

🚀 Conclusion

Les IA financières progressent vite (elles sont passées de 33 % à 82 % de réussite en deux ans !), mais elles ne sont pas encore prêtes à travailler seules dans les banques. Pour l'instant, elles sont de superbes assistants qui peuvent faire le gros du travail de lecture, mais un humain doit toujours vérifier les calculs.

L'avenir n'est pas dans une IA "plus intelligente", mais dans une architecture plus intelligente où l'IA lit et un ordinateur calcule.

Résumé technique

1. Problématique

L'article aborde le décalage persistant entre les capacités des Grands Modèles de Langage (LLM) sur les tâches textuelles et leur performance dans l'extraction et le raisonnement sur des données tabulaires structurées complexes, spécifiquement dans le domaine de la finance (diligence raisonnable sur les fonds d'investissement privés).

• Le goulot d'étranglement : Bien que les LLMs excellent pour analyser des contrats ou résumer des documents, ils échouent souvent sur les feuilles de calcul financières (Excel). Ces fichiers manquent de format standard, contiennent des structures multi-feuilles, des cellules fusionnées, des en-têtes hiérarchiques et des conventions de mise en forme sémantique.
• La tolérance zéro à l'erreur : Dans la finance professionnelle, une erreur de 5 % sur une métrique de valorisation peut entraîner des décisions d'investissement erronées. Les praticiens exigent une précision d'environ 97 % pour une automatisation sans supervision, un seuil que les modèles actuels ne semblent pas atteindre.
• Le manque de données de référence : L'absence de jeux de données publics réels (en raison de la confidentialité des salles de données des fonds privés) a empêché la création de benchmarks standardisés, freinant les progrès de la recherche.

2. Méthodologie et Construction du Dataset (FinSheet-Bench)

Pour pallier l'absence de données réelles, les auteurs ont créé FinSheet-Bench, un benchmark basé sur des données synthétiques mais structurées à partir de modèles réels.

• Génération des données :
  • Modèles structurels : 8 feuilles de calcul réelles provenant de dossiers d'investissement (General Partners vers Family Offices) ont servi de modèles pour la structure (organisation des feuilles, noms de colonnes, séparateurs de fonds).
  • Génération de valeurs : Toutes les valeurs cellulaires ont été régénérées de manière synthétique. Les identités (noms d'entreprises, personnes) ont été remplacées par des fictifs. Les valeurs numériques ont été perturbées via des facteurs d'échelle et de bruit pour empêcher la reconstruction des données originales, tout en préservant certaines relations logiques (bien que les identités comptables strictes ne soient pas toujours garanties).
  • Variations : À partir de 8 fichiers de base ("Version A"), deux variantes structurelles ("Version B" et "Version C") ont été générées par suppression aléatoire de lignes, modification des colonnes (fusion, division) et changement de séparateurs, créant un total de 24 fichiers d'évaluation.
• Format d'entrée : Les fichiers Excel ont été convertis en texte brut (format CSV) pour simuler l'utilisation industrielle actuelle des LLMs (pipelines RAG, extraction de texte). Cette conversion entraîne une perte d'information visuelle (couleurs, bordures, cellules fusionnées), ce qui constitue une contrainte volontaire du benchmark.
• Tâches d'évaluation : 16 modèles de questions couvrant 7 catégories de complexité croissante :
  • Recherche simple (Lookup), Comptage, Filtrage, Tri, Agrégation (somme, moyenne), et Agrégation complexe (médiane, percentiles).
• Protocole d'évaluation : Un système de vérification en trois niveaux (Tier) a été utilisé :
  1. Correspondance exacte (règles strictes).
  2. Correspondance floue (tolérance de 5 % pour les nombres, similarité de chaînes).
  3. Arbitrage par LLM (pour les réponses libres complexes, avec validation manuelle des désaccords).

3. Résultats Clés

L'étude a évalué 10 configurations de modèles (OpenAI, Google, Anthropic), incluant des versions avec et sans "raisonnement" (Chain-of-Thought).

• Performance globale insuffisante : Aucun modèle autonome n'atteint le seuil de 97 % requis pour une utilisation en production sans supervision.
  • Le meilleur modèle, Gemini 3.1 Pro, atteint 82,4 % de précision (soit environ 1 erreur pour 6 questions).
  • Les autres modèles leaders (GPT-5.2 avec raisonnement, Claude Opus 4.6 avec réflexion) oscillent autour de 80,2 % - 80,4 %.
• Dégradation selon la complexité : La performance chute drastiquement avec la complexité de la tâche :
  • Recherche simple : ~89-94 % de précision.
  • Tâches complexes (tri, agrégation, médiane) : Chute à 19,6 % - 33,3 % pour les meilleurs modèles.
  • Le fichier le plus complexe (152 entreprises, 8 fonds) fait chuter la précision moyenne à 48,6 %, contre 86,2 % sur les fichiers les plus simples.
• Impact du raisonnement : L'activation des modes de raisonnement (ex: GPT-5.2 "reasoning", Claude "thinking") apporte des gains significatifs (+13 à +22 points de pourcentage), mais augmente considérablement le temps de réponse et la consommation de tokens.
• Limites de l'échelle : La précision diminue avec la taille du fichier (longueur en caractères), bien que la complexité structurelle soit un facteur confondant majeur.

4. Contributions Principales

1. FinSheet-Bench : Introduction du premier benchmark public dédié à l'extraction de données de portefeuilles de capital-investissement, comblant le vide entre les benchmarks tabulaires simplifiés (WikiTableQuestions) et la réalité des modèles financiers complexes.
2. Évaluation comparative rigoureuse : Analyse de 10 modèles de pointe sur 24 variantes de fichiers, fournissant une vue d'ensemble de l'état de l'art en mars 2026 (selon la date de l'article).
3. Analyse des modes d'échec : Distinction claire entre les échecs dus à la sémantique (mauvaise identification de colonnes/rows dues à la sérialisation texte) et les échecs de raisonnement (erreurs de calcul, tri, agrégation). L'étude conclut que les erreurs de raisonnement numérique dominent les échecs sur les tâches complexes.
4. Hypothèse architecturale : Proposition d'une approche en "pipeline" (découverte de schéma + extraction ligne par ligne + calcul déterministe) comme solution plus viable que l'utilisation de LLMs autonomes pour le calcul financier.

5. Signification et Implications

• Pour l'industrie financière : Les résultats indiquent que l'automatisation complète de la diligence raisonnable sur les feuilles de calcul n'est pas encore réalisable avec des LLMs seuls. Une supervision humaine reste indispensable pour valider les données extraites, car le taux d'erreur actuel (environ 20 %) est inacceptable pour des décisions d'investissement à haut risque.
• Pour la recherche : L'article suggère que l'amélioration des capacités de raisonnement des LLMs ne suffira pas à résoudre le problème. La solution réside probablement dans une architecture hybride qui sépare la compréhension du document (rôle du LLM) du calcul numérique (rôle d'un moteur déterministe).
• Limites et perspectives : L'étude souligne que la sérialisation en texte (perte de la structure 2D) est un facteur limitant. Les travaux futurs devraient explorer les modèles multimodaux (traitement d'images de feuilles de calcul) et les approches agentiques utilisant des outils de code pour effectuer les calculs.

En résumé, FinSheet-Bench démontre que si les LLMs progressent rapidement, ils atteignent encore un plafond de verre pour les tâches financières complexes nécessitant une précision numérique absolue, nécessitant un changement de paradigme architectural vers des systèmes hybrides plutôt que des modèles autonomes.