FinRule-Bench: A Benchmark for Joint Reasoning over Financial Tables and Principles

Die Arbeit stellt FinRule-Bench vor, einen Benchmark, der die Fähigkeit von großen Sprachmodellen zur Diagnose von Verstößen gegen Rechnungslegungsprinzipien in realen Finanztabellen bewertet und dabei zeigt, dass die Leistung bei komplexen Aufgaben wie der Identifizierung mehrerer gleichzeitiger Verstöße deutlich nachlässt.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Finanz-Detektiv, der die Bücher einer Firma überprüft. Ihre Aufgabe ist es nicht nur zu zählen, ob die Summen stimmen, sondern zu prüfen, ob die Firma sich an die strengen Spielregeln der Buchhaltung hält.

Das Papier „FinRule-Bench" stellt uns ein neues Werkzeug vor, um zu testen, wie gut künstliche Intelligenz (KI) bei dieser Detektivarbeit ist. Hier ist die Erklärung in einfachen Worten:

1. Das Problem: KI kann rechnen, aber nicht immer „regeln"

Bisher haben wir KI-Modelle getestet, indem wir ihnen einfache Rechenaufgaben oder Fragen zu Finanzdaten stellten. Das war wie ein Mathe-Test: „Wie viel ist 2 plus 2?" Die KI konnte das meist gut.

Aber im echten Leben muss ein Auditor (ein Buchprüfer) viel mehr tun. Er muss prüfen:

• „Haben wir die Schulden wirklich als Schulden und nicht als Gewinn verbucht?"
• „Stimmt die Reihenfolge der Zahlen mit dem Gesetz überein?"
• „Wenn wir hier einen Fehler finden, wo genau liegt er?"

Bisherige Tests haben die KI oft mit falschen Daten (wie einem verwackelten Foto) getestet. Aber echte Finanzprüfungen passieren an korrekten Daten, bei denen die KI nur den logischen Fehler in der Regel finden muss. Das ist wie ein Suchspiel: „Finde den einen Stein, der nicht zum Muster passt", obwohl das ganze Bild perfekt aussieht.

2. Die Lösung: FinRule-Bench (Der neue Prüfstand)

Die Autoren haben einen neuen Test namens FinRule-Bench entwickelt. Man kann sich das wie einen Flug-Simulator für Buchprüfer vorstellen.

• Die Basis: Sie nehmen echte, korrekte Finanzberichte von echten Firmen (wie Apple oder Microsoft).
• Die Falle: Sie fügen ganz gezielt, winzige Fehler ein. Zum Beispiel: Sie ändern eine Zahl so, dass die Bilanz nicht mehr aufgeht, oder sie nennen ein Konto „Fonds" statt „Bargeld", was gegen die Regeln verstößt.
• Die Regeln: Die KI bekommt eine Liste mit den genauen Buchhaltungsregeln (z. B. „Aktiva müssen gleich Passiva plus Eigenkapital sein").

3. Die drei Prüfungen (Der Schwierigkeitsgrad)

Der Test prüft die KI in drei Stufen, die immer schwerer werden:

1. Der Einzelfall-Check (Rule Verification):

   • Analogie: Ein Lehrer fragt: „Ist diese eine Regel erfüllt?"
   • Aufgabe: Die KI bekommt eine Regel und eine Tabelle. Sie muss nur „Ja" oder „Nein" sagen.
   • Ergebnis: Die KI ist hier ziemlich gut.

2. Der Detektiv-Check (Rule Identification):

   • Analogie: Der Lehrer sagt: „Hier ist ein Fehler, aber ich sage dir nicht, welche Regel gebrochen wurde. Finde heraus, welche von 10 Regeln falsch ist."
   • Aufgabe: Die KI muss aus einer Liste von Regeln die eine finden, die verletzt wurde.
   • Ergebnis: Hier wird es schon knifflig. Die KI verwechselt oft die Regeln.

3. Der Meister-Detektiv-Check (Joint Rule Diagnosis):

   • Analogie: Der Lehrer sagt: „In diesem ganzen Buch gibt es mehrere Fehler an verschiedenen Stellen. Finde alle Fehler und sag mir genau, auf welcher Seite sie stehen."
   • Aufgabe: Die KI muss mehrere Fehler gleichzeitig finden und genau lokalisieren.
   • Ergebnis: Hier scheitern die KIs oft. Sie finden vielleicht einen Fehler, aber nicht alle, oder sie zeigen auf die falsche Zeile.

4. Die neue Methode: „Was-wäre-wenn"-Fragen

Eine der coolsten Ideen im Papier ist die „Ursache-Wirkung"-Methode.
Stellen Sie sich vor, Sie fragen die KI: „Warum ist das falsch?" und dann: „Was müsste ich ändern, damit es richtig ist?"

• Ohne diese Methode: Die KI rät vielleicht einfach.
• Mit dieser Methode: Die KI wird gezwungen, wie ein Mensch zu denken: „Aha, die Summe stimmt nicht, weil die Zahl in Zeile 5 falsch ist. Wenn ich Zeile 5 korrigiere, passt alles."

Das hilft besonders bei schwierigen Aufgaben, wo die KI lernen muss, nicht nur zu raten, sondern die Logik hinter dem Fehler zu verstehen.

5. Was haben sie herausgefunden?

Die Ergebnisse sind eine Mischung aus Hoffnung und Warnung:

• Gut: KIs sind super im einfachen Rechnen und beim Prüfen einer einzelnen Regel.
• Schlecht: Wenn es darum geht, komplexe Regeln zu unterscheiden oder mehrere Fehler gleichzeitig zu finden, machen sie viele Fehler. Sie finden oft nur einen Teil der Fehler oder zeigen auf die falsche Stelle (wie ein Detektiv, der den Dieb findet, aber den falschen Raum durchsucht).
• Die Kosten: Wenn man die KI zwingt, „nachzudenken" (die Ursache-Wirkung-Methode), wird sie besser, braucht aber viel mehr Rechenleistung (wie ein Auto, das mehr Sprit braucht, um sicherer zu fahren).

Fazit

FinRule-Bench zeigt uns, dass KI zwar ein guter Rechner ist, aber noch kein vollwertiger Buchprüfer. Sie braucht mehr Training, um die komplexen „Spielregeln" der Finanzwelt nicht nur zu kennen, sondern sie auch in chaotischen Situationen anzuwenden. Dieser neue Test hilft Forschern zu verstehen, wo die KI noch hinkt, damit wir sie sicherer für wichtige Finanzentscheidungen machen können.

Kurz gesagt: Wir haben einen neuen, fairen Test gebaut, um zu sehen, ob die KI wirklich versteht, was sie tut, oder ob sie nur gut im Raten ist. Und bisher ist sie beim Raten noch besser als beim echten Verstehen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „FinRule-Bench: A Benchmark for Joint Reasoning over Financial Tables and Principles" auf Deutsch:

1. Problemstellung

Große Sprachmodelle (LLMs) werden zunehmend für Finanzanalysen eingesetzt, doch ihre Fähigkeit, strukturierte Finanzberichte unter expliziten Rechnungslegungsgrundsätzen (Accounting Principles) zu prüfen, ist unzureichend erforscht. Bestehende Benchmarks konzentrieren sich meist auf:

• Fragenbeantwortung (Question Answering).
• Numerisches Reasoning.
• Anomalieerkennung auf synthetisch verfälschten Daten.

Ein zentrales Defizit besteht darin, dass diese Benchmarks nicht testen, ob Modelle diagnostische Vollständigkeit erreichen können. In der realen Finanzprüfung (Auditing) geht es nicht nur darum, eine einzelne Antwort zu finden, sondern:

1. Die Einhaltung formaler Regeln über interdependente Tabellen hinweg zu verifizieren.
2. Verstöße gegen spezifische Prinzipien zu identifizieren.
3. Die genauen Quellen (Records) der Nichtkonformität zu lokalisieren.
4. Dies auf korrekten, nicht synthetisch verrauschten Daten zu tun, wobei Fehler durch fehlerhaftes Reasoning und nicht durch Datenartefakte entstehen.

2. Methodik: FinRule-Bench

Die Autoren stellen FinRule-Bench vor, einen Benchmark, der auf realen Finanzberichten (Form 10-K) basiert und explizite, menschlich kuratierte Rechnungslegungsprinzipien (z. B. US-GAAP) verwendet.

Datenaufbau

• Quelldaten: Echte Finanzberichte (Bilanz, GuV, Kapitalflussrechnung, Eigenkapitalrechnung) aus 2024er 10-K-Einreichungen, maschinell in Markdown-Tabellen transkribiert.
• Validatoren: Für jede Regel wurde ein deterministischer Validator (Code) erstellt, der als „Ground Truth" dient.
• Kontrollierte Fehlerinjektion: Anstatt synthetische Daten zu generieren, werden auf sauberen, korrekten Tabellen minimale, regelbewusste Änderungen vorgenommen, um spezifische Verstöße zu erzeugen. Dies isoliert das Reasoning von Datenrauschen.
• Datensatz-Statistik: Der Datensatz umfasst 1.117 Ground-Truth-Einträge, aufgeteilt in saubere, ein-Verstoß- und Multi-Verstoß-Instanzen über vier Berichtstypen.

Aufgaben-Suite (Tasks)

Der Benchmark definiert drei aufeinander aufbauende Audit-Aufgaben:

1. Rule Verification (Regelverifikation): Gegeben eine Tabelle und eine einzelne Regel: Ist die Tabelle konform? (Binäre Entscheidung).
2. Rule Identification (Regelidentifikation): Gegeben eine Tabelle und eine Menge von Regeln: Welche spezifische Regel wurde verletzt? (Diskriminierungsaufgabe).
3. Joint Rule Diagnosis (Gemeinsame Regel-Diagnose): Gegeben eine Tabelle und eine Regelmenge: Erkennen Sie alle vorhandenen Verstöße und lokalisieren Sie diese auf Record-Ebene. Dies erfordert das gleichzeitige Verarbeiten mehrerer sich überschneidender Constraints.

Evaluierungsprotokoll

• Prompting-Strategien: Zero-Shot, Few-Shot und Few-Shot mit kausal-kontrafaktischem Reasoning.
  • Kausal-kontrafaktisches Reasoning: Die Few-Shot-Beispiele zeigen nicht nur den Fehler, sondern erklären die Ursache (Causal Dependency) und zeigen eine minimale kontrafaktische Änderung (Minimal Repair), die den Fehler beheben würde. Dies dient als diagnostisches Instrument, um die Konsistenz von Entscheidungen und Erklärungen zu prüfen.
• Metriken: Genauigkeit (Accuracy), Precision, Recall, F1-Score, sowie für die Diagnose-Aufgaben „Exact Match" (für vollständige Lokalisierung) und Token-Kosten-Analysen.

3. Wichtige Beiträge

1. Benchmark: FinRule-Bench ist der erste Benchmark, der regelbasiertes Reasoning über echte Finanzdaten mit expliziten, formalen Rechnungslegungsprinzipien kombiniert, anstatt sich auf synthetische Anomalien zu verlassen.
2. Aufgabensuite: Die Formulierung von drei komplementären Aufgaben, die von einfacher Verifikation bis hin zu komplexer, multipler Diagnose reichen und damit die Grenzen des Reasonings von Modellen ausloten.
3. Evaluierungsrahmen: Einführung eines kausal-kontrafaktischen Prompting-Protokolls, das nicht nur die Genauigkeit, sondern auch die Konsistenz von Erklärungen und die Fähigkeit zur minimalen Intervention testet. Dies deckt systematische Fehler auf, die reine Genauigkeitsmetriken verbergen.

4. Ergebnisse

Die Evaluation umfasste vier führende LLMs (GPT-4o, Gemini 2.5 Pro, Gemini 2.0 Flash, LLaMA 3.3).

• Leistungsabfall bei Komplexität:
  • Bei der Regelverifikation (isolierte Prüfung) erzielen die Modelle relativ hohe Genauigkeiten (ca. 60–74%).
  • Bei der Regelidentifikation (Diskriminierung zwischen Regeln) bricht die Leistung stark ein.
  • Bei der Joint Rule Diagnosis (Multi-Verstoß-Erkennung und -Lokalisierung) ist die Leistung am schwächsten. Während die reine Erkennung, dass ein Fehler vorliegt (Step-1), noch moderat gut ist (ca. 70–90%), ist die korrekte Lokalisierung aller Verstöße (Step-2, Exact Match) extrem niedrig (oft < 30%).
• Fehlerarten: Die dominanten Fehler sind unvollständige Abdeckung (Partial Coverage – das Modell findet einige, aber nicht alle Verstöße) und Fehllokalisierung (Mislocalization – das Modell findet den richtigen Regeltyp, aber den falschen Datensatz).
• Einfluss des Promptings:
  • Kausal-kontrafaktisches Prompting verbessert die Leistung bei leichteren Modellen (z. B. Gemini 2.0 Flash, LLaMA 3.3) konsistent.
  • Bei leistungsstarken, reasoning-orientierten Modellen (GPT-4o, Gemini 2.5 Pro) führt dieses Prompting zu inkonsistenten Ergebnissen oder sogar Leistungsverschlechterungen, möglicherweise durch Redundanz oder Interferenz mit internen Reasoning-Prozessen.
• Kosten-Nutzen-Verhältnis: Der zusätzliche Token-Overhead durch kausales Reasoning lohnt sich primär bei komplexen Diagnoseaufgaben (Multi-Verstöße), nicht jedoch bei einfachen Verifikationsaufgaben.

5. Bedeutung und Fazit

FinRule-Bench zeigt, dass aktuelle LLMs zwar gut darin sind, isolierte numerische Konsistenzen zu prüfen, aber bei der diagnostischen Vollständigkeit und der lokalen Zuordnung von Verstößen in komplexen, interdependenten Finanztabellen versagen.

• Systemische Grenzen: Die Fehler sind nicht zufällig, sondern strukturell bedingt durch die Unfähigkeit der Modelle, kontextabhängige Regeln und Kreuz-Record-Abhängigkeiten exhaustiv zu verarbeiten.
• Risiko für den Einsatz: Da die Modelle oft nur Teilfehler finden oder diese falsch lokalisieren, sind sie derzeit für den Einsatz in hochriskanten Audit-Szenarien ohne menschliche Aufsicht ungeeignet.
• Zukünftige Forschung: Der Benchmark bietet eine principled Testumgebung, um Fortschritte im regelbasierten Reasoning und der Fehlerdiagnose zu messen und fördert die Entwicklung von Modellen, die nicht nur Antworten generieren, sondern auch zuverlässige, vollständige Compliance-Prüfungen durchführen können.

Das Paper unterstreicht, dass die Bewertung von LLMs im Finanzbereich über reine Fragenbeantwortung hinausgehen muss, um die Zuverlässigkeit in regulatorischen und auditiven Kontexten sicherzustellen.