💬 NLP

FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information

Die Arbeit stellt FinTagging vor, das erste umfassende Benchmark für strukturbewusstes XBRL-Tagging, das den Prozess in die Schritte der numerischen Identifikation und des Konzept-Linkings zerlegt und zeigt, dass zwar die Extraktion durch LLMs gut funktioniert, das Feinabstimmen auf die US-GAAP-Taxonomie jedoch erhebliche Schwierigkeiten bereitet.

Ursprüngliche Autoren: Yan Wang, Lingfei Qian, Xueqing Peng, Yang Ren, Keyi Wang, Yi Han, Dongji Feng, Fengran Mo, Shengyuan Lin, Qinchuan Zhang, Kaiwen He, Chenri Luo, Jianxing Chen, Junwei Wu, Chen Xu, Ziyang Xu, Jimin Hu

Veröffentlicht 2026-02-20

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yan Wang, Lingfei Qian, Xueqing Peng, Yang Ren, Keyi Wang, Yi Han, Dongji Feng, Fengran Mo, Shengyuan Lin, Qinchuan Zhang, Kaiwen He, Chenri Luo, Jianxing Chen, Junwei Wu, Chen Xu, Ziyang Xu, Jimin Huang, Guojun Xiong, Xiao-Yang Liu, Qianqian Xie, Jian-Yun Nie

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein riesiger, extrem intelligenter Bibliothekar (ein sogenanntes Large Language Model oder LLM), der gerade eine unendliche Menge an Finanzberichten von tausenden Firmen durchsucht. Diese Berichte sind voller Zahlen, Tabellen und Text.

Die Aufgabe, die Sie lösen sollen, ist wie das Sortieren und Etikettieren dieser Zahlen für eine riesige, weltweite Datenbank. Jedes Mal, wenn eine Firma schreibt „Wir haben 10 Millionen Dollar Gewinn gemacht", muss dieses Wort „Gewinn" nicht nur erkannt, sondern auch mit einem ganz spezifischen, offiziellen Code aus einem riesigen Wörterbuch (dem US-GAAP-Taxonomie) versehen werden. Es gibt über 17.000 verschiedene Codes in diesem Wörterbuch!

Das Problem ist: Bisherige Tests für diese KI-Modelle waren wie ein Kinderspiel. Man gab ihnen nur 50 einfache Wörter zum Sortieren und ignorierte die komplexen Tabellen. Das war wie zu testen, ob ein Bibliothekar Bücher sortieren kann, indem man ihm nur 50 Bilderbücher gibt, aber keine Romane oder Fachbücher.

Hier kommt FinTagging ins Spiel. Das ist der neue, echte Test, den die Autoren entwickelt haben.

Die zwei Schritte des neuen Spiels

Statt alles auf einmal zu machen, teilen die Autoren die Aufgabe in zwei logische Schritte auf, ähnlich wie ein Detektiv, der erst Hinweise sammelt und dann den Täter identifiziert:

Schritt 1: Die Schatzsuche (FinNI - Financial Numeric Identification)
- Die Analogie: Stellen Sie sich vor, Sie suchen in einem chaotischen Zimmer nach allen Münzen. Sie müssen erst einmal finden, wo die Zahlen stehen (in Text oder in einer Tabelle) und entscheiden: „Ist das eine Währung (Dollar)? Ist das ein Prozentsatz? Oder ist es eine Stückzahl?"
- Das Ergebnis: Die KI muss hier gut sein, um die Zahlen überhaupt zu finden und zu klassifizieren.
Schritt 2: Der perfekte Match (FinCL - Financial Concept Linking)
- Die Analogie: Jetzt haben Sie die Münze in der Hand. Sie müssen sie nun in das richtige Fach im riesigen Schrank mit 17.000 Fächern stecken. Das ist viel schwieriger! Ist es „Bargeld auf dem Konto" oder „Bargeld, das für einen speziellen Zweck gesperrt ist"? Die Unterschiede sind winzig, aber für die Buchhaltung entscheidend.
- Das Ergebnis: Hier müssen die KIs die Bedeutung des Kontextes verstehen, um den exakten Code zu finden.

Was haben die Forscher herausgefunden?

Sie haben 13 der klügsten KIs der Welt (wie GPT-4o, Llama, DeepSeek) diesen Test gegeben. Das Ergebnis war eine Mischung aus „Wow" und „Oh je":

Die Schatzsuche (Schritt 1) klappt super: Die KIs sind wie Super-Detektive. Sie finden die Zahlen fast immer und wissen, ob es sich um Dollar oder Prozent handelt.
Der perfekte Match (Schritt 2) ist hart: Sobald es darum geht, die winzigen Unterschiede zwischen den 17.000 Fachbegriffen zu erkennen, stolpern die KIs. Sie verwechseln oft sehr ähnliche Begriffe. Es ist, als ob jemand „Apfel" und „Birne" verwechselt, obwohl er weiß, dass beides Obst ist.

Warum ist das wichtig?

Frühere Tests haben die KIs überbewertet, weil sie zu einfach waren. FinTagging zeigt uns die wahre Leistung. Es beweist, dass KIs zwar gut darin sind, Informationen zu lesen, aber noch Schwierigkeiten haben, diese Informationen in die exakte, offizielle Sprache der Finanzwelt zu übersetzen.

Zusammenfassend:
Die Autoren haben einen neuen, fairen und schwierigen Test gebaut, der wie ein echter Arbeitsalltag für Finanzanalysten aussieht. Sie haben gezeigt, dass die KIs noch nicht perfekt sind, aber mit diesem neuen Werkzeug (dem „Extract-and-Align"-Ansatz) können wir genau sehen, wo sie Hilfe brauchen, damit sie eines Tages die riesige Aufgabe des automatischen Finanz-Taggings wirklich meistern können.

Der Code und die Daten sind öffentlich verfügbar, damit jeder diesen neuen Standard nutzen und die KIs weiter trainieren kann.

1. Problemstellung

Die genaue Interpretation numerischer Daten in Finanzberichten ist für Märkte und Regulierungsbehörden von entscheidender Bedeutung. Das XBRL (eXtensible Business Reporting Language) bietet einen Standard zur Kennzeichnung (Tagging) finanzieller Fakten. Der Prozess, tausende von Fakten aus Berichten auf über 10.000 (bzw. im Paper 17.688) US-GAAP-Konzepte abzubilden, ist jedoch nach wie vor manuell, kostspielig und fehleranfällig.

Bestehende Benchmarks für diese Aufgabe weisen erhebliche Mängel auf:

Vereinfachung: Sie reduzieren die Aufgabe oft auf eine flache, einstufige Klassifizierung über stark verkleinerte Teilmengen von Konzepten.
Fehlende Hierarchie: Sie ignorieren die semantische Hierarchie der Taxonomie.
Strukturverlust: Sie vernachlässigen die strukturierte Natur von Finanzdokumenten, insbesondere Tabellen, die den primären Träger numerischer Offenlegungen darstellen.
Fehlende Realitätsnähe: Sie bewerten Large Language Models (LLMs) nicht unter realistischen Bedingungen, bei denen das gesamte Taxonomie-Set und gemischte Eingaben (Text und Tabellen) berücksichtigt werden müssen.

2. Methodik: FinTagging Framework

Um diese Lücke zu schließen, stellen die Autoren FinTagging vor, den ersten umfassenden Benchmark für strukturbewusstes und vollständiges XBRL-Tagging. Anstatt die Aufgabe als reine Klassifizierung zu betrachten, wird sie in einen zweistufigen „Extract-and-Align" (Extrahieren und Ausrichten) Prozess zerlegt:

A. Aufgabenformulierung

Gegeben ein Finanzdokument $D$ (mit Text und Tabellen), eine Menge von XBRL-Werttypen $L$ und eine Taxonomie $T$ von Finanzkonzepten, soll das System für jeden numerischen Wert ein strukturiertes Triplett $\{Fact, Type, Tag\}$ erzeugen.

FinNI (Financial Numeric Identification):
- Ziel: Extraktion numerischer Fakten aus heterogenen Kontexten (Text und Tabellen) und Klassifizierung ihres Datentyps.
- Ausgabe: Eine Liste von Entitäten mit zugeordneten Typen (z. B. monetaryItemType, percentItemType, sharesItemType).
- Herausforderung: Erkennung von Zahlen in verschiedenen Formaten (z. B. „ten million" vs. „10.000.000") und Zuordnung des korrekten Typs.
FinCL (Financial Concept Linking):
- Ziel: Semantische Verankerung der extrahierten Entitäten durch Zuordnung zum korrekten US-GAAP-Konzept in der Taxonomie.
- Ansatz: Da eine direkte Klassifizierung über 17.688 Konzepte für LLMs in Zero-Shot-Szenarien unpraktikabel ist, wird ein Retrieval-Reranking-Ansatz gewählt.
  - Retrieval: Semantische Suche nach den Top- $k$ Kandidaten aus der Taxonomie (basierend auf Embeddings).
  - Reranking: Der LLM wählt basierend auf Kontext und Struktur die beste Übereinstimmung aus den Kandidaten aus.

B. Datensatz und Annotation

Datenquelle: 142 jährliche 10-K-Berichte (SEC) von 2023–2024, abgedeckt über 11 Industriezweige.
Automatisierte Pipeline: Ein regelbasiertes Parser-System rekonstruiert semantische Links zwischen menschlich lesbaren Offenlegungen und Inline-XBRL-Metadaten.
Qualitätssicherung: Durch ein strategisches Stichprobenverfahren (Greedy Minimal-Cover) wurde eine Audit-Set erstellt, das von Experten verifiziert wurde (Cohen's $\kappa = 0.81$ ).
Datensätze:
- FinNI-eval: 28.787 Instanzen für die Entitätsextraktion.
- FinCL-eval: 261.457 Query-Antwort-Paare für das Konzept-Linking.

3. Wichtige Beiträge

Neue Aufgabenformulierung: FinTagging ist der erste Benchmark, der XBRL-Tagging als zweistufigen Prozess definiert, was eine Bewertung über das gesamte Spektrum von 17.000+ US-GAAP-Konzepten ermöglicht.
Hohe Datenqualität: Bereitstellung von zwei expertenverifizierten Datensätzen (FinNI-eval, FinCL-eval), die komplexe Tabellenstrukturen integrieren, um das gemeinsame Schließen über strukturierte und unstrukturierte Modalitäten zu testen.
Diagnostische Erkenntnisse: Der Benchmark deckt eine kritische Lücke zwischen numerischer Extraktion und semantischer Ausrichtung auf, die bei bisherigen Benchmarks übersehen wurde.

4. Ergebnisse

Die Autoren evaluierten 13 State-of-the-Art LLMs (inkl. GPT-4o, DeepSeek-V3, Llama-3/4, Qwen3, Fino1) sowie traditionelle PLMs (BERT, FinBERT, SECBERT) im Zero-Shot-Setting.

Gesamtleistung: LLMs zeigen eine bessere Generalisierung auf lange Schwanzverteilungen (seltene Konzepte) als feinabgestimmte PLMs, die oft nur bei häufigen Labels gut abschneiden.
FinNI (Extraktion): Große LLMs (z. B. DeepSeek-V3, GPT-4o) erzielen hier solide Ergebnisse (F1-Scores um 0.54–0.69). Sie können numerische Fakten und Typen zuverlässig extrahieren.
FinCL (Linking): Dies ist die größte Herausforderung. Selbst die besten Modelle erreichen nur eine Genauigkeit von unter 19% im Reranking-Setup.
- Es besteht eine deutliche Extraktions-Ausrichtungs-Lücke (Extraction-Alignment Gap): Modelle können Zahlen finden, scheitern aber an der feingranularen Unterscheidung sehr ähnlicher US-GAAP-Konzepte.
- Tabellenbasierte Entitäten sind signifikant schwieriger zu taggen als Text-Entitäten, da die strukturelle Kontextinformation schwerer zu nutzen ist.
Vergleich mit Extremklassifizierung: Versuche, die Aufgabe als direkte Extreme Classification (ohne Retrieval-Stufe) zu lösen, führten bei allen Modellen zu einem Performance-Einbruch auf fast Null. Dies bestätigt die Notwendigkeit des zweistufigen Ansatzes.
Fehlerfortpflanzung: Die Analyse zeigt, dass Fehler in der Extraktionsphase (FinNI) die nachfolgende Linking-Phase (FinCL) stark beeinträchtigen. Selbst mit perfekten Entitäten bleibt die Linking-Accuracy niedrig, was auf inhärente Schwierigkeiten bei der semantischen Disambiguierung hindeutet.

5. Bedeutung und Ausblick

FinTagging etabliert einen neuen Standard für die Bewertung von LLMs im Finanzbereich. Die Ergebnisse zeigen, dass:

LLMs zwar hervorragend in der numerischen Extraktion sind, aber für regulatorisches Reporting (XBRL) noch erhebliche Fortschritte in der struktur- und domänenspezifischen semantischen Reasoning benötigen.
Der zweistufige Ansatz (Extraktion + Retrieval/Reranking) essenziell ist, um mit der Skalierbarkeit und Komplexität realer Finanztaxonomien umzugehen.
Die Integration von Tabellenstrukturen in die Bewertung notwendig ist, da reine Text-basierte Benchmarks die Realität finanzieller Offenlegungen nicht abbilden.

Das Paper liefert somit die Grundlage für zukünftige Forschungsarbeiten an zuverlässigen, automatisierten XBRL-Tagging-Systemen und regulatorischen Berichtsmechanismen. Code und Daten sind öffentlich verfügbar.