FinAuditing: A Financial Taxonomy-Structured Multi-Document Benchmark for Evaluating LLMs
Die Arbeit stellt FinAuditing vor, ein neuartiges Benchmark-Dataset auf Basis realer XBRL-Finanzberichte, das drei spezifische Aufgaben zur Evaluierung der Fähigkeiten von Large Language Models im Bereich der strukturierten Finanzprüfung definiert und dabei erhebliche Defizite in Bezug auf taxonomische Konsistenz und mathematisches Schlussfolgern aufzeigt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Finanz-Inspektor, der die Bücher einer riesigen Firma prüft. Diese Firma hat ihre Finanzen nicht in einem einfachen Heft notiert, sondern in einem riesigen, digitalen Labyrinth aus tausenden von Dokumenten, die alle miteinander verknüpft sind. Das nennt man XBRL (eine Art standardisierte digitale Sprache für Finanzen).
Das Problem: Wenn die Firma sagt „Wir haben 100 Millionen Dollar Bargeld", aber in den kleinen, versteckten Details der Dokumente nur 95 Millionen zusammenkommen, ist das ein riesiges Problem. Früher mussten Menschen stundenlang suchen, um solche Fehler zu finden. Heute hoffen wir, dass Künstliche Intelligenz (KI) das für uns erledigt.
Aber hier kommt die Geschichte von „FINAUDITING" ins Spiel.
Das Problem: Die KI ist wie ein Schüler, der nur die Oberfläche sieht
Die Forscher haben herausgefunden, dass die aktuellsten und intelligentesten KIs (wie GPT-4 oder andere große Modelle) zwar gut darin sind, Texte zu lesen und Fragen zu beantworten, aber schlecht darin sind, als Finanzprüfer zu arbeiten.
Warum?
Stellen Sie sich vor, Sie geben einem Schüler einen Stapel von 50 verschiedenen Schulbüchern und sagen: „Finde den Fehler!"
- Die KI liest schnell, aber sie versteht nicht, wie die Bücher strukturiert sind.
- Sie verwechselt Begriffe, weil sie nur auf die Wörter schaut, nicht auf die strengen Regeln der Buchhaltung.
- Sie kann nicht gut rechnen, wenn die Zahlen über drei verschiedene Seiten verteilt sind.
Die Autoren nennen das „Taxonomie-Struktur". Das ist wie ein strenges Regelwerk für Finanzbegriffe. Wenn die KI nicht genau weiß, welche Regel gilt, macht sie Fehler.
Die Lösung: FINAUDITING – Der „Finanz-Prüf-Parcours"
Um zu testen, wie gut KIs wirklich sind, haben die Forscher FINAUDITING entwickelt. Das ist kein einfacher Test, sondern ein drei-Teile-Parcours, der die KI genau dort prüft, wo sie normalerweise scheitert.
Stellen Sie sich FINAUDITING wie einen großen, digitalen Detektiv-Parcours vor, bei dem die KI drei verschiedene Aufgaben lösen muss:
1. Der Begriff-Jäger (FinSM)
- Die Aufgabe: Die KI muss in einem riesigen Dokumentenstapel den richtigen Fachbegriff finden.
- Die Analogie: Stellen Sie sich vor, Sie suchen in einer Bibliothek nach einem Buch mit dem Titel „Einnahmen". Aber die Bibliothek hat tausende Bücher, und einige heißen „Umsatz", andere „Erlöse" oder „Einnahmen aus Dienstleistungen". Die KI muss genau wissen, welches Buch unter den strengen Regeln der Buchhaltung das korrekte ist.
- Das Ergebnis: Die KIs waren hier sehr schlecht. Sie suchten oft das falsche Buch oder verwechselten die Begriffe.
2. Der Beziehungs-Detektiv (FinRE)
- Die Aufgabe: Die KI muss prüfen, ob die Beziehungen zwischen den Zahlen logisch sind.
- Die Analogie: Stellen Sie sich ein Familienbaum-Modell vor. Der „Vater" (z.B. Gesamtvermögen) muss immer die Summe seiner „Kinder" (z.B. Bargeld + Immobilien) sein. Wenn die KI sagt, das Kind ist größer als der Vater, ist das ein Fehler. Oder wenn ein Kind falsch zugeordnet ist (z.B. ein „Hund" als Kind von „Auto"), ist das ein Fehler.
- Das Ergebnis: Die KIs haben oft die Hierarchie nicht verstanden. Sie sahen die Wörter, aber nicht das logische Gefüge dahinter.
3. Der Rechen-Meister (FinMR)
- Die Aufgabe: Die KI muss komplexe Rechenaufgaben lösen, die über viele Seiten verteilt sind.
- Die Analogie: Stellen Sie sich vor, Sie müssen die Gesamtrechnung eines Restaurants erstellen. Die Getränke sind auf Seite 1, das Essen auf Seite 50 und die Steuern auf Seite 100. Die KI muss alle Zahlen zusammenaddieren und prüfen, ob das Ergebnis auf der Zusammenfassung stimmt.
- Das Ergebnis: Hier waren die KIs am schwächsten. Sie konnten die Zahlen oft nicht richtig zusammenrechnen oder vergaßen, dass sie die Regeln der Buchhaltung (z.B. Vorzeichen bei Verlusten) beachten müssen.
Was haben die Forscher herausgefunden?
Sie haben 13 der besten KIs der Welt getestet (von OpenAI, Google, Meta, China und spezialisierten Finanz-KIs).
- Die Enttäuschung: Selbst die „Super-KIs" haben bei diesem Test schlecht abgeschnitten. Sie waren oft nicht besser als ein Zufallsgenerator, wenn es um die strengen Regeln ging.
- Die Erkenntnis: Größe ist nicht alles. Eine KI mit mehr Parametern (mehr „Gehirn") macht nicht automatisch weniger Fehler in der Buchhaltung. Es fehlt ihnen das Verständnis für die Struktur und die strengen Regeln.
- Die Konsequenz: Wir können uns noch nicht darauf verlassen, dass KI allein unsere Finanzberichte prüft. Wir brauchen neue Modelle, die nicht nur „Texte lesen", sondern die Regelwerke und Strukturen wirklich verstehen.
Fazit
FINAUDITING ist wie ein strenger Lehrer, der den KI-Schülern eine Prüfung gibt, bei der sie nicht nur Text auswendig lernen müssen, sondern die Logik und die Regeln der Finanzwelt wirklich verstehen müssen.
Die Botschaft ist klar: KI ist ein mächtiges Werkzeug, aber im Finanzbereich ist sie noch kein Ersatz für einen menschlichen Prüfer. Sie braucht noch viel mehr Training, um die komplexen, strukturierten Regeln der Buchhaltung zu meistern. Die Forscher haben den Test und die Daten jetzt für alle veröffentlicht, damit andere Forscher daran arbeiten können, die KI für diesen wichtigen Job fit zu machen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.