FinTagging: Benchmarking LLMs for Extracting and Structuring Financial Information

Titel: FinTagging: Benchmarking LLMs voor het Extraheren en Structureren van Financiële Informatie

1. Probleemstelling

De accurate interpretatie van numerieke data in financiële rapporten is cruciaal voor markten en regelgevers. Hoewel XBRL (eXtensible Business Reporting Language) een standaard biedt voor het taggen van financiële cijfers, blijft het proces van het toewijzen van duizenden feiten aan meer dan 10.000 US-GAAP-concepten (US Generally Accepted Accounting Principles) kostbaar, foutgevoelig en grotendeels handmatig.

Bestaande benchmarks voor dit probleem hebben ernstige tekortkomingen:

• Vereenvoudiging: Ze reduceren de taak vaak tot een vlakke, single-step classificatie over kleine subsets van concepten.
• Gebrek aan context: Ze negeren de hiërarchische semantiek van de taxonomie en de gestructureerde aard van financiële documenten (vooral tabellen).
• Onrealistische evaluatie: Ze evalueren Large Language Models (LLMs) niet onder realistische rapportagecondities, wat leidt tot een onjuiste inschatting van de prestaties van LLMs bij complexe, lange-tail taken.

2. Methodologie

De auteurs introduceren FinTagging, het eerste uitgebreide benchmark voor structure-bewuste en volledige XBRL-tagging. In plaats van een directe classificatie, wordt de complexe tagging-proces opgesplitst in een twee-staps "Extract-and-Align" paradigma:

A. Taak Formulering

1. FinNI (Financial Numeric Identification):
   • Doel: Het extraheren van numerieke entiteiten (facten) uit heterogene contexten (tekst en tabellen) en het classificeren van hun type.
   • Output: Een lijst van triplets {Fact, Type}.
   • Types: De vijf belangrijkste XBRL-data types: monetaryItemType, percentItemType, sharesItemType, perShareItemType, en integerItemType.
2. FinCL (Financial Concept Linking):
   • Doel: Het semantisch koppelen van de geëxtraheerde entiteiten aan het juiste concept in de volledige US-GAAP-taxonomie (17.688 concepten).
   • Aanpak: Dit wordt geformuleerd als een retrieval-herordening (reranking) taak. Eerst worden de top-k kandidaten op basis van semantische gelijkenis opgehaald, waarna de LLM de beste match kiest op basis van contextuele redenering. Dit vermijdt de onpraktische "extreme classification" over de volledige taxonomie in één stap.

B. Dataset Constructie

• Bron: 142 jaarlijkse 10-K rapporten van beursgenoteerde Amerikaanse bedrijven (SEC) uit 2023-2024.
• Verwerking: Een geautomatiseerde pipeline reconstrueert semantische links uit Inline XBRL (iXBRL) metadata.
• Kwaliteitscontrole: Een strategische steekproef (928 zinnen, 1.021 tabellen) is handmatig gevalideerd door experts om een "gold set" te creëren. De dataset bevat zowel positieve (met feiten) als negatieve (zonder feiten) instanties.
• Resultaat: Twee gespecialiseerde datasets: FinNI-eval (voor extractie) en FinCL-eval (voor concept-linking), samen goed voor 261.457 numerieke entiteiten.

C. Evaluatie Framework

• Er worden 13 state-of-the-art LLMs geëvalueerd (o.a. GPT-4o, DeepSeek-V3, Llama-3/4, Qwen3, Fino1) in zero-shot settings.
• Vergelijking met traditionele PLM-baselines (BERT, FinBERT, SECBERT).
• Metrieken: Macro/Micro Precision, Recall, F1 voor FinNI; Accuracy voor FinCL.

3. Belangrijkste Bijdragen

1. Nieuwe Formulering: FinTagging is de eerste benchmark die XBRL-tagging herformuleert als een tweestaps-proces (Extractie + Uitlijning), wat een eerlijke evaluatie mogelijk maakt over de volledige taxonomie van 17k+ concepten.
2. Hoge-Fideliteit Resources: Publicatie van twee expert-geverifieerde datasets (FinNI-eval en FinCL-eval) die complexe tabulaire structuren omvatten, essentieel voor het testen van gezamenlijke redenering over gestructureerde en ongestructureerde data.
3. Diagnostische Inzichten: De benchmark onthult een kritieke "knowledge-alignment gap". Hoewel LLMs uitstekend presteren in het extraheren van nummers, kampen ze met grote moeilijkheden bij het fijnmazig koppelen aan specifieke US-GAAP-concepten, vooral bij tabulaire data.

4. Resultaten

• Extrahering (FinNI): Grote LLMs presteren sterk in het extraheren van numerieke feiten. DeepSeek-V3 behaalt de beste F1-score (0.6932), gedreven door hoge recall. Modellen zoals GPT-4o en Qwen3-32B presteren ook competitief. Kleinere modellen en gespecialiseerde financiële modellen (Fino1-8B) presteren minder goed, wat suggereert dat domeinpretraining alleen niet voldoende is voor robuuste extractie.
• Concept Linking (FinCL): Dit is aanzienlijk moeilijker. Zelfs de beste modellen bereiken een nauwkeurigheid onder de 19% (DeepSeek-V3: 0.1889).
  • Er is een duidelijk extraction-alignment gap: Modellen kunnen feiten vinden, maar hebben moeite met de juiste semantische disambiguatie binnen de taxonomie.
  • Retrieval: Structure-bewuste retrieval (SAC) presteert aanzienlijk beter dan vaste vensters (FWC), vooral voor tabellen (Acc@200 van 0.2959 vs 0.0089).
• Ablatie Studies:
  • Extreme Classification: Als tagging wordt geprobeerd als één stap (directe keuze uit 17k+ concepten zonder tussenstap), stort de prestatie van alle modellen in op 0. Dit bevestigt dat de twee-staps aanpak noodzakelijk is.
  • Foutpropagatie: De totale prestatie lijdt onder cumulatieve fouten. Het gebruik van "gold" entiteiten verbetert de FinCL-prestaties aanzienlijk, maar de nauwkeurigheid blijft laag, wat aantoont dat de uitdaging voornamelijk ligt in de semantische uitlijning, niet alleen in de extractie.

5. Betekenis en Conclusie

FinTagging biedt een fundamentele basis voor toekomstig onderzoek naar betrouwbare XBRL-tagging en reguliere rapportage. De studie toont aan dat hoewel LLMs goed kunnen generaliseren naar lange-tail entiteiten bij extractie, ze nog steeds moeite hebben met de precisievere vereisten van de financiële taxonomie.

De belangrijkste conclusie is dat structure-bewuste redenering en semantische uitlijning de grootste knelpunten zijn voor LLMs in de financiële sector. De benchmark benadrukt de noodzaak van hybride systemen die extractie koppelen aan geavanceerde uitlijningsmechanismen (zoals retrieval-reranking) om hallucinaties en fouten in reguliere rapportage te minimaliseren. De code en datasets zijn beschikbaar op GitHub en Hugging Face.