EDINET-Bench: Evaluating LLMs on Complex Financial Tasks using Japanese Financial Statements

Die Studie stellt EDINET-Bench vor, einen Open-Source-Benchmark auf Basis japanischer Jahresabschlüsse, der zeigt, dass selbst fortschrittliche Large Language Models bei komplexen Finanzaufgaben wie der Betrugserkennung nur marginal besser abschneiden als einfache logistische Regressionen und somit einen Bedarf an realistischeren, unterstützenden Evaluierungsrahmen aufzeigen.

Das Wesentliche

Stell dir vor, du bist ein junger, sehr intelligenter Detektiv, der gerade erst angefangen hat, Fälle zu lösen. Er kann Tausende von Büchern lesen, Gedichte schreiben und sogar Matheaufgaben lösen, die für normale Menschen unmöglich sind. Aber dann wirfst du ihm einen ganz besonderen Fall vor: Eine riesige, 300-seitige Akte voller Zahlen, Tabellen und langweiliger Texte über eine japanische Firma.

Deine Frage an den Detektiv lautet: „Ist diese Firma ehrlich oder betrügt sie die Leute? Wird sie nächstes Jahr mehr oder weniger Geld verdienen? Und zu welcher Branche gehört sie eigentlich?"

Genau das ist die Geschichte hinter dem Papier „EDINET-Bench". Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Der „Finanz-Dschungel"

Bisher haben wir KI-Modelle (die „Detektive") hauptsächlich an Aufgaben gemessen, die wie ein Vokabeltest oder ein Mathe-Quiz waren. Das ist gut, aber im echten Leben ist Finanzanalyse wie das Navigieren durch einen dichten Dschungel.

• Du musst nicht nur einzelne Wörter verstehen, sondern ganze Sätze.
• Du musst Zahlen aus Tabelle A mit Text aus Seite 50 vergleichen.
• Du musst erkennen, wenn jemand die Zahlen schönredet, obwohl die Realität schlecht aussieht.

Bisher gab es kaum Tests für KI, die so schwer sind wie die echte Arbeit eines Finanzexperten. Die meisten Tests waren wie „Was ist 2+2?" – zu einfach.

2. Die Lösung: EDINET-Bench (Der neue Prüfungsraum)

Die Forscher von Sakana AI und der Universität Kyoto haben einen neuen, extrem schwierigen Test gebaut, den sie EDINET-Bench nennen.

• Die Quelle: Sie haben sich die offiziellen Jahresberichte von tausenden japanischen Firmen aus den letzten 10 Jahren geholt (das sind über 40.000 Dokumente!).
• Die Aufgabe: Die KI muss drei Dinge tun:
  1. Betrug aufdecken: Finden, ob eine Firma die Bücher gefälscht hat (wie bei einem Krimi).
  2. Zukunft vorhersagen: Erraten, ob die Gewinne nächstes Jahr steigen oder fallen.
  3. Kategorie finden: Herausfinden, ob die Firma Autos macht, Banken betreibt oder Lebensmittel verkauft, nur basierend auf ihren Zahlen.

3. Das Experiment: Der Schockmoment

Die Forscher haben die besten KIs der Welt (wie GPT-4o, Claude 3.7 und andere) diesen Test machen lassen. Sie haben ihnen die ganzen Akten gegeben und gefragt: „Was denkst du?"

Das Ergebnis war enttäuschend:
Die super-intelligenten KIs haben schlecht abgeschnitten.

• Bei der Betrugserkennung waren sie kaum besser als ein einfacher, alter Taschenrechner (eine logistische Regression).
• Bei der Vorhersage von Gewinnen waren sie oft ratlos.
• Selbst die neuesten Modelle, die sonst alles können, scheiterten daran, die komplexen Zusammenhänge in den ganzen Texten und Tabellen zu verstehen.

Die Analogie:
Stell dir vor, du gibst einem Genie einen riesigen Haufen Puzzleteile (die Jahresberichte). Das Genie kann die Teile einzeln lesen, aber es schafft es nicht, das ganze Bild zusammenzusetzen, um zu sehen, ob da ein Monster (Betrug) versteckt ist. Es ist, als würde man jemandem einen Roman geben und fragen: „Wer ist der Mörder?", aber die Person liest nur die Seitenzahlen und ignoriert die Handlung.

4. Warum ist das so schwierig?

Die KIs haben ein Problem: Sie bekommen die Daten oft einfach nur „hingeschmissen".

• Ein echter Finanzexperte würde nicht einfach alles lesen. Er würde gezielt suchen: „Schauen wir mal, ob die Cashflow-Tabelle mit dem Gewinn übereinstimmt." oder „Warum hat die Firma plötzlich ihre Lagerbestände erhöht?"
• Die KIs versuchen oft, alles auf einmal zu verarbeiten, ohne eine klare Strategie. Sie fehlen ihnen die Werkzeuge, die ein echter Analyst hat (wie die Fähigkeit, gezielt nach bestimmten Mustern zu suchen oder externe Nachrichten zu prüfen).

5. Was bedeutet das für die Zukunft?

Die Forscher sagen: Es reicht nicht, den KI einfach nur die Akten zu geben.
Wir brauchen neue Art von Tests und neue Art von KI-Hilfen:

• Richtiges Training: Die KI muss lernen, wie ein echter Analyst zu denken, nicht nur wie ein Texter.
• Bessere Werkzeuge: Die KI sollte in der Lage sein, wie ein Agent zu agieren – also selbstständig nach Informationen zu suchen, Tabellen zu vergleichen und Hypothesen aufzustellen.
• Realistische Simulationen: Statt nur eine Frage zu stellen, sollten wir die KI in eine Simulation stecken, in der sie wie ein echter Finanzberater arbeiten muss.

Fazit

EDINET-Bench ist wie ein Spiegel, der uns zeigt, dass unsere KI-Modelle zwar sehr klug sind, aber im Bereich Finanzen noch nicht wirklich „erwachsen" geworden sind. Sie können gut reden, aber wenn es darum geht, komplexe, lebenswichtige Entscheidungen auf Basis von langweiligen Zahlen zu treffen, hinken sie noch hinterher.

Die gute Nachricht: Jetzt haben wir einen Maßstab (den Test), um zu sehen, ob die KI in Zukunft wirklich besser wird. Die schlechte Nachricht: Der Weg dorthin ist noch lang und steinig.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „EDINET-BENCH: EVALUATING LLMS ON COMPLEX FINANCIAL TASKS USING JAPANESE FINANCIAL STATEMENTS" auf Deutsch:

1. Problemstellung

Große Sprachmodelle (LLMs) haben in Bereichen wie Mathematik und Programmierung beeindruckende Fortschritte gemacht, oft getrieben durch umfangreiche Benchmark-Datensätze. Im Finanzsektor hingegen hinkt die Entwicklung hinterher. Bestehende Finanz-Benchmarks konzentrieren sich meist auf einfache Aufgaben wie wissensbasierte Fragen (QA) oder das Extrahieren von Daten aus Tabellen. Diese reichen jedoch nicht aus, um die komplexen, hochriskanten Aufgaben zu bewerten, die Finanzexperten in der Praxis bewältigen müssen.

Das Hauptproblem ist die fehlende Bewertungsmöglichkeit für „Experten-Reasoning" (Experten-Logik). Echte Finanzanalysen erfordern die Integration von Informationen über mehrere Tabellen und Textabschnitte hinweg (z. B. Jahresabschlüsse), um Muster zu erkennen, die auf Betrug hindeuten, Gewinne vorherzusagen oder Branchen zu klassifizieren. Bisherige Datensätze sind oft zu einfach oder nicht in der Lage, diese tiefgreifende Synthese aus numerischen und textuellen Daten zu testen. Zudem gibt es kaum offene Datensätze speziell für die Erkennung von Bilanzbetrug.

2. Methodik: EDINET-Bench

Die Autoren stellen EDINET-Bench vor, einen Open-Source-Benchmark, der auf japanischen Finanzberichten basiert.

• Datenquelle: Die Daten stammen aus dem EDINET (Electronic Disclosure for Investors' NETwork) der japanischen Finanzdienstleistungsbehörde (FSA). Der Datensatz umfasst ca. 40.000 Dokumente (Jahresberichte und geänderte Berichte) von ca. 4.000 börsennotierten Unternehmen über einen Zeitraum von zehn Jahren (2014–2024).

• Tooling: Zur Datenerfassung und -verarbeitung wurde ein neues Tool namens edinet2dataset entwickelt. Es nutzt die EDINET-API und die Bibliothek Polars für die schnelle Verarbeitung von TSV-Dateien und extrahiert strukturierte Daten (Bilanz, GuV, Kapitalflussrechnung) sowie unstrukturierte Textblöcke.

• Aufgaben (Tasks): Der Benchmark besteht aus drei komplexen Klassifikationsaufgaben:

  1. Erkennung von Bilanzbetrug (Accounting Fraud Detection): Ein binäres Klassifikationsproblem.
     • Labeling: Betrügerische Fälle wurden identifiziert, indem geänderte Jahresberichte (Amended Reports) analysiert wurden. Ein LLM (Claude 3.7 Sonnet) prüfte die Begründungen für Änderungen auf Hinweise auf Betrug (z. B. „falsche Darstellung", „Betrug"). Dies wurde manuell verifiziert.
     • Daten: 865 Trainings- und 224 Test-Beispiele (nach Bereinigung von Parsing-Fehlern).
  2. Gewinnprognose (Earnings Forecasting): Vorhersage, ob der Gewinn im nächsten Geschäftsjahr steigt oder fällt.
     • Labeling: Basierend auf dem Vergleich des „Nettoergebnisses für die Eigentümer der Muttergesellschaft" zwischen zwei aufeinanderfolgenden Jahren.
     • Daten: 1.000 Paare von Jahresberichten (549 Train, 451 Test).
  3. Branchenvorhersage (Industry Prediction): Multi-Klassen-Klassifikation der Branche basierend auf dem Bericht.
     • Labeling: Nutzung der EDINET-Industrieklassifikation (TOPIX-33), die zu 16 übergeordneten Kategorien zusammengefasst wurde, um die Interpretierbarkeit zu erhöhen.
     • Daten: 900 Trainings- und 496 Test-Beispiele.

• Evaluierungs-Setup:

  • Modelle: Es wurden sowohl geschlossene Modelle (GPT-4o, o4-mini, GPT-5, Claude 3.5/3.7 Sonnet/Haiku) als auch Open-Weight-Modelle (Kimi-K2, DeepSeek-V3/R1, Llama 3.3) getestet.
  • Setting: Zero-Shot-Evaluierung.
  • Input-Formate: Die Modelle erhielten verschiedene Kombinationen von Eingabedaten: Nur Zusammenfassung (Summary), tabellarische Daten (BS+CF+PL+Summary) oder alle Daten inklusive Text (Text).
  • Metriken: ROC-AUC und MCC für die binären Aufgaben, Accuracy für die Branchenvorhersage.

3. Wichtige Ergebnisse

Die Experimente zeigen, dass selbst die fortschrittlichsten LLMs in diesem Bereich erhebliche Schwierigkeiten haben:

• Leistungslücke: Die State-of-the-Art-LLMs schneiden in den Aufgaben „Betrugserkennung" und „Gewinnprognose" nur marginal besser ab als einfache logistische Regressionen.
  • Bei der Betrugserkennung erreichte Random Forest die beste Leistung (ROC-AUC ~0.75), während Claude 3.5 Sonnet nur knapp über der logistischen Regression lag (ROC-AUC ~0.73).
  • Bei der Gewinnprognose lag die beste LLM-Leistung (GPT-5) bei einem ROC-AUC von 0.65, was nahe an zufälliger Vorhersage liegt und deutlich unter klassischen Modellen bleibt.
• Einfluss von Text:
  • Bei der Betrugserkennung verbesserte die Hinzunahme von Textdaten die Leistung der LLMs signifikant. Narrative Enthüllungen liefern nützliche Signale.
  • Bei der Gewinnprognose brachte Text keine Verbesserung, was darauf hindeutet, dass LLMs hier zu stark auf oberflächliche Merkmale (wie Unternehmensgröße) statt auf tiefgreifende Zusammenhänge angewiesen sind.
• Branchenvorhersage: Dies war die einfachste Aufgabe. Modelle erreichten hier deutlich bessere Ergebnisse (z. B. Claude 3.5 Sonnet mit 41% Accuracy), was darauf hindeutet, dass branchenspezifische Merkmale in den Bilanzen klarer erkennbar sind.
• Verzerrungen (Bias): Die Analyse zeigte, dass Modelle manchmal auf den Ruf des Abschlussprüfers oder die Unternehmensgröße statt auf die tatsächlichen Daten vertrauen.
• Datenverunreinigung (Contamination): Tests (z. B. Vorhersage des Firmennamens aus den Daten) zeigten, dass die Modelle die spezifischen Testdaten nicht auswendig gelernt hatten. Die Leistung sank nicht bei neueren Daten, was auf eine geringe Verunreinigung hindeutet.

4. Hauptbeiträge

1. EDINET-Bench: Der erste Open-Source-Benchmark für die Erkennung von Bilanzbetrug, der auf realen, komplexen japanischen Jahresberichten basiert und Experten-Reasoning erfordert.
2. edinet2dataset: Ein öffentliches Tool zur automatisierten Extraktion und Aufbereitung von Finanzdaten aus dem EDINET-System, das die Reproduzierbarkeit und Erweiterung des Benchmarks ermöglicht.
3. Empirische Evidenz: Der Nachweis, dass das bloße Bereitstellen von Jahresberichten an LLMs in einem einfachen Zero-Shot-Setting nicht ausreicht, um komplexe Finanzprobleme zu lösen.
4. Ressourcen: Öffentliche Verfügbarkeit von Datensatz, Code und Evaluierungsskripten auf Hugging Face und GitHub.

5. Bedeutung und Ausblick

Die Studie unterstreicht, dass die aktuelle Generation von LLMs für den Einsatz in hochkomplexen Finanzanwendungen noch nicht bereit ist. Die Ergebnisse deuten darauf hin, dass Benchmarks, die reale Arbeitsumgebungen von Finanzexperten besser abbilden, notwendig sind.

• Notwendigkeit neuer Frameworks: Es wird gefordert, Benchmarks zu entwickeln, die „reichhaltiges Gerüst" (Rich Scaffolding) bieten, wie z. B. realistische Simulationen, Agenten-Frameworks (die Zugriff auf externe Daten oder Tools haben) und aufgabenspezifische Unterstützung beim Schlussfolgern.
• Zukunft: Die Autoren schlagen vor, den Benchmark multilingual zu erweitern (z. B. auf US-EDGAR-Daten) und Agentic-Ansätze zu testen, bei denen LLMs nicht nur passive Empfänger von Daten sind, sondern aktiv recherchieren und analysieren können.

Zusammenfassend markiert EDINET-Bench einen wichtigen Schritt hin zu realistischen Evaluierungen von KI im Finanzwesen und zeigt gleichzeitig die aktuellen Grenzen der Technologie auf.