EDINET-Bench: Evaluating LLMs on Complex Financial Tasks using Japanese Financial Statements

Deze paper introduceert EDINET-Bench, een open-source benchmark voor Japanse financiële rapporten die aantoont dat zelfs geavanceerde grote taalmodellen moeite hebben met complexe financiële taken zoals fraudeopsporing en dat er behoefte is aan realistischere evaluatiekaders met gespecialiseerde ondersteuning.

De kern

🧐 De Grote Financiële Test: Kunnen Robots de Mensen Slimmen?

Stel je voor dat je een groep zeer slimme robots (de zogenaamde LLMs of AI's) hebt. Deze robots hebben onlangs laten zien dat ze wiskundige puzzels kunnen oplossen en code kunnen schrijven die zelfs voor de beste menselijke experts te moeilijk is. Ze zijn als scholieren die net de Olympiade in wiskunde hebben gewonnen.

Maar nu willen de onderzoekers van Sakana AI en de Kyoto Universiteit ze op een heel andere proef zetten: Financiële rapporten.

In de wereld van geld en bedrijven is het niet genoeg om gewoon cijfers te kunnen optellen. Je moet kunnen lezen tussen de regels door, verbanden leggen tussen verschillende tabellen en begrijpen of een bedrijf iets verbergt. Het is alsof je niet alleen een boek moet kunnen lezen, maar ook moet kunnen detecteren of de schrijver liegt.

🇯🇵 De Proef: EDINET-Bench

De onderzoekers hebben een nieuwe test ontwikkeld genaamd EDINET-Bench. Ze hebben dit gebaseerd op de Japanse markt, waar bedrijven hun jaarverslagen openbaar maken via een systeem dat EDINET heet (vergelijkbaar met de Amerikaanse EDGAR).

Ze hebben de AI's drie moeilijke taken gegeven, alsof je ze in een proeflokaal zet:

1. Oplichting opsporen (Fraude-detectie):
   • De taak: Kijk naar een jaarverslag en zeg: "Is dit bedrijf eerlijk, of liegt het om zijn winst groter te laten lijken?"
   • De analogie: Het is alsof je een detective bent die een verdacht huis inspecteert. Je moet niet alleen kijken of de muren recht staan (de cijfers kloppen), maar ook kijken of er verdachte vlekken op de vloer zijn of of de bewoner vreemd doet.
2. De toekomst voorspellen (Winstprognose):
   • De taak: Kijk naar het verslag van dit jaar en voorspel: "Volgend jaar gaat de winst omhoog of omlaag?"
   • De analogie: Het is alsof je een weerman bent die alleen naar de lucht van vandaag kijkt en moet voorspellen of het morgen regent of zonnig is, zonder naar de radar te kijken.
3. Het beroep raden (Industrie-classificatie):
   • De taak: Kijk naar de cijfers en zeg: "Wat voor bedrijf is dit? Een bank, een autobouwer of een supermarkt?"
   • De analogie: Je ziet een auto en moet raden of het een brandweerwagen of een politiewagen is, alleen op basis van de vorm en de kleur, zonder de logo's te zien.

🤖 Het Resultaat: De Robots Struikelen

De onderzoekers hebben de slimste AI's van dit moment (zoals GPT-4o, Claude 3.7 en DeepSeek) deze test laten doen. Het resultaat was verrassend en een beetje teleurstellend:

• De robots doen het niet veel beter dan een simpele rekenmachine.
  De geavanceerde AI's presteerden nauwelijks beter dan een heel oude, simpele statistische methode (logistieke regressie).
• Meer informatie helpt niet altijd.
  Je zou denken: "Als ik de AI meer informatie geef (meer tabellen, meer tekst), wordt hij slimmer." Maar nee, zelfs met de volledige rapporten (duizenden pagina's aan tekst en cijfers) konden de AI's de fraude of de winstontwikkeling niet goed voorspellen.
• De "Menselijke" factor ontbreekt.
  De AI's missen de "buikgevoelens" en de ervaring die een echte financiële analist heeft. Een mens ziet misschien: "Hé, dit bedrijf verkoopt een paar keer per jaar een gebouw om zijn winst kunstmatig op te krikken." De AI kijkt alleen naar de getallen en ziet het patroon niet.

💡 Wat betekent dit voor ons?

De onderzoekers concluderen dat we de AI's niet zomaar een stapel papieren kunnen geven en hopen dat ze het wel doen. Het is alsof je iemand in een kamer zet met duizenden boeken en zegt: "Zoek het antwoord," zonder te vertellen hoe je moet zoeken.

De oplossing?
We moeten de AI's niet alleen als "lezers" gebruiken, maar als assistenten met hulpmiddelen.

• In plaats van alleen een rapport te geven, moeten we de AI's tools geven om te zoeken, te vergelijken en te redeneren, net zoals een menselijke expert dat doet.
• We hebben betere "speelplaatsen" nodig (benchmarks) die lijken op de echte wereld, waar de AI's kunnen oefenen met complexe situaties, niet alleen met simpele quizvragen.

🏁 Conclusie

De boodschap van dit paper is simpel: AI is geweldig, maar in de complexe wereld van geld en fraude is het nog niet slim genoeg om alleen te werken.

Ze hebben een nieuwe test (EDINET-Bench) en de data (de jaarverslagen) openbaar gemaakt, zodat andere onderzoekers kunnen proberen om deze robots slimmer te maken. Het is een uitnodiging aan de wereld: "Kijk eens hoe moeilijk dit is, en probeer het op te lossen!"

Kortom: De robots hebben hun wiskundehuiswerk gemaakt, maar ze moeten nog veel leren voordat ze de boekhouding van een groot bedrijf kunnen controleren.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "EDINET-BENCH: EVALUATING LLMS ON COMPLEX FINANCIAL TASKS USING JAPANESE FINANCIAL STATEMENTS", geschreven in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLMs) hebben aanzienlijke vooruitgang geboekt op benchmarks voor wiskunde en codering, maar de financiële sector blijft achter. Bestaande financiële benchmarks (zoals FinQA of FinanceBench) richten zich voornamelijk op relatief eenvoudige taken, zoals kennisgebaseerde vragen of het extraheren van data uit tabellen. Deze taken vereisen geen expertniveau-resoneren en zijn vaak niet representatief voor de complexe, hoog-risico taken die financiële professionals in de praktijk uitvoeren. Er is een gebrek aan open-source benchmarks die LLMs testen op het verwerken van volledige jaarverslagen, het integreren van informatie over meerdere tabellen en tekstsecties heen, en het toepassen van diepgaande boekhoudkundige expertise.

Methodologie

1. Dataverzameling en Constructie (EDINET-Corpus)
De auteurs hebben een dataset gebouwd op basis van tien jaar aan jaarverslagen van Japanse beursgenoteerde bedrijven, verkregen via het Electronic Disclosure for Investors' NETwork (EDINET) van de Japanse Financiële Dienstverleningsautoriteit (FSA).

• Tooling: Ze ontwikkelden edinet2dataset, een tool die de EDINET API gebruikt om verslagen te downloaden en te parseren (in TSV-formaat) met behulp van Polars voor snelle verwerking.
• Corpus: Het eindresultaat is het EDINET-Corpus, bestaande uit ongeveer 41.691 documenten (ongeveer 4.000 bedrijven over 10 jaar).

2. De EDINET-Bench Taken
Op basis van dit corpus werden drie uitdagende taken gedefinieerd die expertniveau-resoneren vereisen:

• Boekhoudkundige Fraude Detectie (Accounting Fraud Detection): Een binaire classificatie (fraude vs. geen fraude). De auteurs verzamelden "gewijzigde jaarverslagen" (amended reports) en gebruikten een LLM (Claude 3.7 Sonnet) om te analyseren of de redenen voor de wijziging verband hielden met fraude (bijv. valse boekhouding, verzwijgen van informatie). Na handmatige verificatie werden 534 frauduleuze en 555 niet-frauduleuze voorbeelden geselecteerd.
• Winstprognose (Earnings Forecasting): Een binaire classificatie om te voorspellen of de winst in het volgende boekjaar zal stijgen of dalen, gebaseerd op het huidige jaarverslag. Dit omvatte het koppelen van opeenvolgende jaarverslagen en het vergelijken van de "Netto winst toerekenbaar aan aandeelhouders van de moedermaatschappij".
• Industriële Classificatie (Industry Prediction): Een multi-class classificatie om de industrie van een bedrijf te voorspellen op basis van zijn financiële rapportage. De oorspronkelijke 33 Japanse industriecategorieën (TOPIX-33) werden samengevoegd tot 16 bredere categorieën voor betere interpretatie.

3. Evaluatie Setup

• Modellen: Er werden diverse state-of-the-art LLMs getest (zowel gesloten bron zoals GPT-4o, GPT-5, Claude 3.5/3.7 Sonnet als open-weight zoals DeepSeek-V3, Kimi-K2, Llama 3.3). Ook klassieke modellen (Logistieke Regressie, Random Forest, XGBoost) en een fijn-afgestemd Llama-3.2-1B model werden als baseline gebruikt.
• Input: De modellen kregen in een zero-shot setting verschillende inputformaten: alleen samenvatting (Summary), alleen tabellen (BS, CF, PL), of alle informatie inclusief tekstsecties.
• Prompting: De modellen kregen de instructie om als "financieel analist" te handelen en moesten een voorspelling, een waarschijnlijkheid en een redenering geven.

Belangrijkste Bijdragen

1. EDINET-Bench: De eerste open-source benchmark specifiek gericht op complexe financiële taken in het Japans, gebaseerd op echte, volledige jaarverslagen.
2. EDINET2DATASET: Een open-source tool voor het downloaden en parseren van financiële documenten uit EDINET, wat reproduceerbaarheid en toekomstige uitbreidingen mogelijk maakt.
3. Kritische Analyse van LLM-capaciteiten: Het paper levert empirisch bewijs dat zelfs de meest geavanceerde LLMs moeite hebben met expertniveau financiële taken, en identificeert de beperkingen van huidige benaderingen.

Resultaten

De experimentele resultaten tonen aan dat LLMs in dit domein aanzienlijk onderpresteren ten opzichte van menselijke experts en zelfs ten opzichte van eenvoudige statistische modellen:

• Fraude Detectie: LLMs presteerden slechts marginaal beter dan logistieke regressie. De beste prestatie werd behaald door een klassiek model (Random Forest) met een ROC-AUC van 0,75, terwijl de beste LLM (Claude 3.5 Sonnet) een ROC-AUC van 0,73 behaalde. Interessant is dat LLMs baat hadden bij het toevoegen van tekstuele informatie (narratieve onthullingen), wat suggereert dat ze deze signalen kunnen gebruiken, maar dat ze moeite hebben met het integreren van complexe numerieke en tekstuele patronen.
• Winstprognose: LLMs hadden grote moeite met het voorspellen van winststijgingen of -dalingen. Zelfs GPT-5 behaalde slechts een ROC-AUC van 0,65. Het toevoegen van tekstuele informatie verbeterde de prestaties hier niet, wat suggereert dat deze taak meer afhankelijk is van numerieke trends die modellen moeilijk kunnen extrapoleren.
• Industriële Classificatie: Dit was de eenvoudigste taak. Modellen presteerden aanzienlijk beter dan willekeurig gokken (Claude 3.5 Sonnet bereikte 41% nauwkeurigheid). De prestaties verbeterden met meer input (tabellen + samenvatting), wat aangeeft dat LLMs wel in staat zijn om industriële kenmerken uit balans- en winst- en verliesrekeningen te halen.
• Data Contaminatie: De auteurs toonden aan dat de resultaten niet het gevolg waren van "testset contaminatie" (het feit dat modellen de data al kenden uit hun training). De modellen konden namelijk de bedrijfsnamen niet voorspellen op basis van de financiële tabellen (nauwkeurigheid < 5%), en er was geen trend van betere prestaties op oudere data.

Betekenis en Conclusie

Het paper concludeert dat het simpelweg het verstrekken van jaarverslagen aan LLMs in een simpele prompt-omgeving onvoldoende is voor complexe financiële taken. De huidige LLMs missen het vermogen tot expertniveau-resoneren dat vereist is voor het integreren van data over meerdere tabellen en tekstsecties heen.

De auteurs bepleiten een verschuiving in benchmarkontwikkeling:

• Realistische Simulaties: Benchmarks moeten de omgeving van financiële professionals beter nabootsen.
• Rijkere Scaffolding: Er is behoefte aan frameworks die realistische simulaties en taak-specifiek redeneerondersteuning bieden (bijvoorbeeld via agentische frameworks die toegang hebben tot externe bronnen of rekenomgevingen).
• Toekomstige Richting: Het paper stelt voor om de benchmark uit te breiden naar meertalige datasets (bijv. EDGAR voor de VS) en om agentische workflows te onderzoeken die LLMs in staat stellen om real-time nieuws en interne documenten te raadplegen.

Kortom, EDINET-Bench dient als een cruciale waarschuwing en een fundament voor toekomstig onderzoek: om LLMs daadwerkelijk bruikbaar te maken in de financiële sector, moeten we verder gaan dan simpele classificatie-taken en werken aan systemen die complex, multi-modale redenering ondersteunen.