EDINET-Bench: Evaluating LLMs on Complex Financial Tasks using Japanese Financial Statements

L'article présente EDINET-Bench, un nouveau benchmark open-source en japonais évaluant les capacités des grands modèles de langage sur des tâches financières complexes issues de rapports annuels, révélant leurs limites actuelles et soulignant la nécessité de cadres d'évaluation plus riches intégrant des simulations réalistes et un soutien au raisonnement.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tout le monde, même sans être expert en finance ou en intelligence artificielle.

Imaginez que vous êtes un entraîneur de football (les chercheurs) qui veut tester la performance de ses nouvelles recrues (les modèles d'IA, ou LLM). Jusqu'à présent, ces recrues étaient excellentes pour résoudre des énigmes mathématiques ou écrire du code informatique. Mais le monde de la finance est un terrain de jeu très différent : c'est un match de haute intensité où une erreur peut coûter des millions.

Voici ce que les chercheurs ont fait pour tester ces recrues :

1. Le Nouveau Terrain de Jeu : EDINET-Bench

Jusqu'à présent, on testait les IA avec des exercices scolaires simples (comme "combien font 2+2 ?" ou "quel est le chiffre d'affaires de cette entreprise ?"). C'est trop facile.

Les chercheurs de Sakana AI ont créé un nouveau terrain de jeu appelé EDINET-Bench.

• La source : Ils ont pris 10 ans de rapports annuels de milliers d'entreprises japonaises (comme si on prenait tous les bulletins de notes de 10 ans d'école).
• Le défi : Au lieu de poser des questions simples, ils demandent à l'IA de faire le travail d'un détective financier ou d'un analyste senior.

2. Les Trois Épreuves du Championnat

Pour passer ce test, l'IA doit réussir trois épreuves très difficiles :

• 🕵️‍♂️ Épreuve 1 : Détecter la Fraude (Le Détective)

  • Le scénario : L'IA doit lire un rapport de 30 000 mots (des centaines de pages) et trouver si l'entreprise a menti sur ses comptes. C'est comme chercher une aiguille dans une botte de foin, mais l'aiguille est cachée entre des lignes de chiffres et des paragraphes de texte.
  • Le résultat : Même les IA les plus intelligentes (comme GPT-5 ou Claude 3.7) ont eu beaucoup de mal. Elles ont à peine mieux réussi qu'un simple calculateur automatique (une régression logistique). C'est comme si un détective privé avait du mal à trouver un voleur alors qu'un simple détecteur de métal l'aurait fait !

• 🔮 Épreuve 2 : Prédire les Bénéfices (Le Prophète)

  • Le scénario : En regardant le rapport de cette année, l'IA doit deviner si l'entreprise gagnera plus ou moins d'argent l'année prochaine.
  • Le résultat : Là encore, les IA ont trébuché. Elles ne sont pas meilleures que des méthodes très anciennes. Lire le texte ne les aide pas vraiment ici ; il faut comprendre la logique profonde des chiffres, ce qui est très dur pour elles.

• 🏭 Épreuve 3 : Deviner le Métier (Le Classificateur)

  • Le scénario : L'IA doit dire dans quel secteur l'entreprise travaille (Banque, Automobile, Alimentation...) juste en lisant ses bilans.
  • Le résultat : C'est la seule épreuve où les IA se sont un peu mieux débrouillées, mais ce n'est pas encore parfait. C'est un peu comme deviner le métier d'une personne juste en regardant sa liste de courses : on peut deviner si c'est un boulanger ou un plombier, mais c'est parfois ambigu.

3. La Grande Révélation : "Lire ne suffit pas"

Le message principal de ce papier est un peu décevant mais très important : Donner simplement un document à une IA ne suffit pas.

Imaginez que vous donnez un manuel de médecine de 1 000 pages à un étudiant en première année et que vous lui dites : "Diagnostique ce patient". Même si l'étudiant a lu tout le livre, il ne pourra pas faire le diagnostic sans un tuteur, une expérience pratique et des outils spécifiques.

Les chercheurs disent que les IA actuelles sont comme des étudiants brillants qui ont lu tous les livres de la bibliothèque, mais qui paniquent dès qu'on leur demande de faire un vrai diagnostic financier complexe. Elles manquent de "scaffolding" (échafaudage) : elles ont besoin de simulations réalistes et d'aide pour raisonner étape par étape, comme un professionnel le ferait.

4. Pourquoi c'est important ?

• Transparence : Les chercheurs ont rendu leur jeu et leurs règles publics (comme un kit de construction) pour que tout le monde puisse essayer d'améliorer les IA.
• Réalité : Cela montre que pour utiliser l'IA dans la vraie finance (pour éviter les scandales comptables ou investir intelligemment), il faut encore beaucoup travailler. On ne peut pas juste "coller" un rapport PDF dans une IA et attendre un miracle.

En résumé :
Ce papier est un avertissement bienveillant. Il dit : "Les IA sont devenues super fortes en maths et en code, mais en finance, elles sont encore des débutants qui doivent apprendre à lire entre les lignes, pas juste lire les lignes." C'est un appel à créer des outils plus intelligents pour les aider à devenir de vrais experts financiers.

Résumé technique

Voici un résumé technique détaillé du papier de recherche "EDINET-BENCH: EVALUATING LLMS ON COMPLEX FINANCIAL TASKS USING JAPANESE FINANCIAL STATEMENTS", publié à la conférence ICLR 2026.

1. Problématique

Bien que les Grands Modèles de Langage (LLM) aient démontré des performances supérieures à l'humain dans des domaines comme les mathématiques et le codage, leur application dans le secteur financier reste limitée. Les benchmarks existants se concentrent souvent sur des tâches simples (extraction de données, Q&R basique) et ne reflètent pas la complexité des tâches réelles nécessitant un raisonnement d'expert.
Le domaine financier pose des défis spécifiques :

• Barrière à l'entrée élevée : Nécessite une expertise spécialisée.
• Manque de benchmarks complexes : Peu de jeux de données évaluent la capacité des modèles à intégrer des informations hétérogènes (textes et tableaux) sur de longs documents pour des tâches à fort enjeu.
• Insuffisance des approches actuelles : Fournir simplement un rapport annuel à un LLM ne suffit pas pour obtenir des résultats fiables sur des tâches critiques comme la détection de fraude ou la prévision de résultats.

2. Méthodologie

Les auteurs proposent EDINET-Bench, un benchmark open-source construit à partir de rapports financiers japonais réels déposés sur la plateforme EDINET (Electronic Disclosure for Investors' NETwork) de l'Agence des Services Financiers (FSA) du Japon.

A. Construction du Dataset (EDINET-Corpus)

• Source de données : Collecte de 10 années de rapports annuels (avril 2014 - avril 2025) via l'API EDINET, couvrant environ 40 000 documents de 4 000 entreprises cotées.
• Outil d'extraction : Développement de edinet2dataset, un outil basé sur Polars pour télécharger et parser les fichiers TSV structurés et les PDF, extrayant les états financiers (Bilan, Compte de résultat, Flux de trésorerie) et les sections textuelles.
• Prétraitement : Nettoyage des données et alignement des années fiscales.

B. Définition des Tâches

Le benchmark évalue les LLMs sur trois tâches complexes nécessitant un raisonnement d'expert :

1. Détection de fraude comptable (Binary Classification) :
   • Données : 6 712 rapports amendés (corrigés) analysés pour identifier les amendements liés à des fraudes (via analyse textuelle des raisons de correction par un LLM et validation manuelle).
   • Objectif : Distinguer les rapports frauduleux des rapports non frauduleux en intégrant les incohérences entre les tableaux numériques et les disclosures textuelles.
   • Taille : ~1 089 échantillons (534 fraudes, 555 non-fraudes après nettoyage).
2. Prévision des résultats (Earnings Forecasting - Binary Classification) :
   • Données : Paires de rapports annuels consécutifs.
   • Objectif : Prédire si le "Bénéfice net attribuable aux propriétaires de la société mère" augmentera ou diminuera l'année suivante.
   • Taille : 1 000 échantillons (549 entraînement, 451 test).
3. Prédiction d'industrie (Multi-class Classification) :
   • Données : Rapports annuels étiquetés selon la classification TOPIX-33, regroupés en 16 catégories plus larges pour l'interprétabilité.
   • Objectif : Classifier l'entreprise dans son secteur d'activité uniquement sur la base de ses états financiers.
   • Taille : ~1 400 échantillons (900 entraînement, 496 test).

C. Protocole d'Évaluation

• Modèles testés : LLMs propriétaires (GPT-4o, o4-mini, GPT-5, Claude 3.5/3.7 Sonnet) et open-weight (Kimi-K2, DeepSeek-V3/R1, Llama 3.3).
• Configuration : Évaluation en zero-shot (sans fine-tuning préalable sur le dataset).
• Entrées : Comparaison de différents formats d'entrée : Résumé uniquement, Tableaux financiers (BS+CF+PL+Summary), et Tableaux + Texte complet.
• Métriques : ROC-AUC et MCC pour la fraude et les prévisions de résultats ; Précision (Accuracy) pour la classification d'industrie.

3. Résultats Clés

Les expériences révèlent des performances décevantes des LLMs les plus avancés par rapport à des modèles classiques :

• Détection de fraude :
  • Les LLMs (y compris Claude 3.5 Sonnet et GPT-5) performent à peine mieux qu'une régression logistique.
  • Le Random Forest atteint le meilleur score (ROC-AUC ~0.75), surpassant tous les LLMs.
  • L'ajout du texte améliore légèrement les LLMs, mais ils restent inférieurs aux modèles statistiques classiques entraînés sur les données.
• Prévision des résultats :
  • Les LLMs peinent à prédire l'évolution des bénéfices. GPT-5 atteint un ROC-AUC de seulement 0.65.
  • Contrairement à la détection de fraude, l'ajout de texte n'améliore pas les performances, suggérant que ces modèles ne tirent pas profit des informations narratives pour cette tâche spécifique.
• Prédiction d'industrie :
  • C'est la tâche la plus simple pour les modèles. Claude 3.5 Sonnet atteint 41% de précision (contre ~10% pour un hasard aléatoire).
  • L'intégration des tableaux financiers (BS, CF, PL) améliore significativement les performances par rapport au seul résumé.
• Analyse de contamination :
  • Les tests de prédiction de noms d'entreprises et l'analyse par année fiscale montrent que la contamination du jeu de test par les données d'entraînement des LLMs est faible et n'explique pas les résultats.

4. Contributions Principales

1. EDINET-Bench : Le premier benchmark open-source et dataset pour la détection de fraude comptable, basé sur des rapports financiers japonais réels et complets.
2. Outils de construction : Publication de edinet2dataset pour faciliter l'extraction et le traitement des données EDINET, permettant la reproductibilité et l'extension future.
3. Preuve empirique : Démonstration que l'approche "naïve" (fournir un rapport entier à un LLM) est insuffisante pour des tâches financières complexes, même avec les modèles SOTA (State-of-the-Art).
4. Analyse des limites : Identification du fait que les LLMs actuels manquent de capacités de raisonnement financier expert nécessaire pour synthétiser des informations tabulaires et textuelles sur de longs documents.

5. Signification et Implications

Ce travail met en lumière un fossé critique entre les capacités actuelles des LLMs et les exigences du monde réel en finance.

• Nécessité de nouveaux paradigmes : Les benchmarks futurs doivent intégrer des "échafaudages" (scaffolding) plus riches, tels que des simulations réalistes et des supports de raisonnement spécifiques, plutôt que de simples tâches de classification sur des documents bruts.
• Direction de la recherche : Il est nécessaire de développer des agents capables d'interagir avec des outils externes (navigation web, exécution de code Python pour l'analyse quantitative) et d'accéder à des données au-delà du rapport annuel (actualités, documents internes).
• Impact éthique : Bien que le dataset soit public et anonymisé, les auteurs soulignent les risques de mauvaise utilisation (ex: aider à masquer des fraudes) et insistent sur l'utilisation responsable pour l'avancement scientifique.

En conclusion, EDINET-Bench établit une nouvelle référence difficile pour évaluer les LLMs en finance, prouvant que le domaine nécessite des avancées méthodologiques majeures au-delà de l'augmentation simple de la taille des modèles.