HiFi-KPI: A Dataset for Hierarchical KPI Extraction from Earnings Filings

Probleemstelling

De financiële sector genereert enorme hoeveelheden ongestructureerde data in de vorm van winst- en verliesrapporten. Hoewel openbare bedrijven in de VS, EU en UK verplicht zijn om hun rapporten in te dienen via iXBRL (inline eXtensible Business Reporting Language), wat machine-leesbare tags bevat, blijft het automatisch extraheren van Key Performance Indicators (KPI's) een uitdaging.

De kernproblemen zijn:

1. Hyper-specifiek en complex: De iXBRL-taxonomieën bevatten tot 198.000 unieke labels. Deze zijn vaak zeer specifiek per bedrijf (bijv. aapl:EquitySecuritiesFVNIAccumulatedGrossUnrealizedGainBeforeTax), wat generalisatie tussen verschillende bedrijven bemoeilijkt.
2. Gebrek aan context: Bestaande datasets missen vaak de cruciale context die in iXBRL aanwezig is, zoals tijdsperiodes, valuta's en numerieke waarden die direct gekoppeld zijn aan de KPI.
3. Moeilijke annotatie: De complexiteit en het gebrek aan standaardisatie leiden tot hoge foutmarges (meer dan 34% van de documenten bevat fouten) en maken handmatige annotatie duur en tijdrovend.
4. Beperkte datasets: Bestaande datasets (zoals FiNER-139) gebruiken slechts een klein aantal labels (bijv. 139), wat leidt tot extreme data-sparseit (80% van de entries is ongemarkeerd) en het volledige potentieel van iXBRL ongebruikt laat.

Methodologie

De auteurs introduceren HiFi-KPI, een groot dataset-project dat is opgebouwd uit SEC-filings (10-K en 10-Q rapporten) van 2017 tot 2024.

1. Dataverzameling en Parsing:

   • Er zijn 42.018 kwartaalrapporten en 14.389 jaarverslagen gescraped.
   • Met behulp van beautifulsoup en reguliere expressies zijn tekstfragmenten geëxtraheerd die gekoppeld zijn aan iXBRL-tags, inclusief bijbehorende tijdsperiodes, valuta's en numerieke waarden.
   • Het resultaat is een corpus van 1,65 miljoen zinsdelen met 4,5 miljoen geannoteerde entiteiten.

2. Unificatie van Taxonomieën:

   • De auteurs focussen op twee iXBRL-taxonomieën: Presentation (.pre) (layout en hiërarchie) en Calculation (.cal) (rekenkundige relaties).
   • Omdat bedrijven hun eigen tags gebruiken, hebben de auteurs een bottom-up aggregatie-algoritme ontwikkeld. Dit algoritme mapt specifieke leaf-nodes naar hun meest voorkomende ouder in de taxonomie, waardoor een unified taxonomy ontstaat. Dit maakt het mogelijk om labels op verschillende niveaus van granulariteit te selecteren.

3. HiFi-KPI-Lite:

   • Voor snelle evaluatie en prototyping is een gecureerde subset van 8.000 zinsdelen gemaakt.
   • Een senior domeinexpert heeft specifieke iXBRL-tags gemapt naar vier algemene financiële concepten: Earnings, EBIT, EPS en Revenues.
   • Alleen fragmenten waarbij meer dan de helft van de entiteiten tot deze expert-mappings behoren, zijn opgenomen.

4. Kwaliteitsborging:

   • Er is een handmatige audit uitgevoerd op 300 willekeurige entiteiten. Fouten in span, datum, valuta en waarde werden gecorrigeerd met regex-filters. De uiteindelijke dataset heeft een foutmarge van minder dan 1%.

Belangrijkste Bijdragen

• HiFi-KPI Dataset: De eerste dataset die het volledige scala aan iXBRL-labels (198k unieke labels) benut in plaats van een beperkt subset, met een dichtheid van 2,77 tags per entry (0% ongemarkeerde entries).
• Contextuele Rijkdom: Unieke toevoeging van contextuele data (tijd, valuta, waarde) direct gekoppeld aan de KPI-labels, wat essentieel is voor financiële analyse.
• Unificatie Framework: Een methode om hyper-specifieke bedrijfslabels te aggregeren naar een gemeenschappelijke hiërarchie, waardoor cross-company generalisatie mogelijk wordt.
• Benchmarks: Het bieden van baselines voor drie taken: tekstclassificatie, sequentiemarkering (sequence labeling) en gestructureerde extractie met Large Language Models (LLMs).

Resultaten en Analyse

De auteurs hebben drie baselines getest op HiFi-KPI-Lite en de grotere dataset:

1. Tekstclassificatie (Encoder-based):

   • Modellen zoals EmbeddingGemma-300M bereikten een macro-F1-score van >0,906 bij classificatie.
   • De resultaten tonen aan dat het gebruik van grovere granulariteit (via de bottom-up methode op de .pre-taxonomie) de prestaties verbetert door label-sparseit te verminderen.

2. Sequentiemarkering (Sequence Labeling):

   • Modellen zoals BERT en FLANG-BERT presteerden uitstekend (macro-F1 > 0,90) op de 1.000 meest voorkomende labels.
   • De hiërarchische structuur van de .pre-taxonomie bleek flexibeler en effectiever dan de .cal-taxonomie voor het trainen van modellen op specifieke granulariteitsniveaus.

3. Gestructureerde Extractie met LLMs:

   • State-of-the-art LLMs (Gemma-3, Qwen3, DeepSeek-V3.1, Mistral) werden getest op het extraheren van volledige entiteiten (label, datum, valuta, waarde).
   • De prestaties waren aanzienlijk lager dan bij encoder-modellen voor classificatie, met een F1-score rond de 0,440 voor gestructureerde extractie.
   • Foutanalyse: De belangrijkste fouten van LLMs waren gerelateerd aan het verkeerd interpreteren van datums (bijv. "three months ended" verwarren met een einddatum) en het normaliseren van waarden. DeepSeek-V3.1 was conservatiever (hoge precisie, lage recall), terwijl Qwen3 vaker gokte op labels.

Betekenis en Conclusie

Het paper markeert een belangrijke stap in de automatisering van financiële data-analyse.

• Voor beleggers: Het biedt de mogelijkheid om iXBRL-data daadwerkelijk gestructureerd en analyseerbaar te maken, wat helpt bij het voorkomen van investeringen op basis van foutieve aannames (zoals verkeerde datums).
• Voor regelgevers: Het biedt een efficiënter hulpmiddel voor het verifiëren van naleving van rapportagevereisten.
• Voor de NLP-gemeenschap: HiFi-KPI vult een gat in de literatuur door een dataset te bieden die zowel de volledige complexiteit van iXBRL als de noodzakelijke contextuele rijkdom omvat. Het bewijst dat hoewel LLMs potentie hebben, gespecialiseerde, fijn-afgestemde encoder-modellen op dit moment superieur zijn voor specifieke label-extractietaken in de financiële domein.

De auteurs benadrukken dat HiFi-KPI-Lite een waardevol hulpmiddel is voor snelle evaluatie en dat de dataset open-source beschikbaar is, wat de drempel voor onderzoek in financieel NLP verlaagt.