Technische Samenvatting: Effectieve Prestatiemeting: Uitdagingen en Kansen bij KPI-extractie uit Verdienverklaringen

Probleemstelling

Hoewel verdienverklaringen een cruciale bron van realtime financiële informatie zijn voor beleggers, blijft het extraheren van Key Performance Indicators (KPI's) hieruit een aanzienlijke uitdaging. In tegenstelling tot gestructureerde SEC-documenten (bijvoorbeeld 10-Q's en 10-K's), die op sjablonen zijn gebaseerd en vaak XBRL-tags gebruiken, zijn verdienverklaringen ongestructureerd, conversationeel en ontberen ze ingebouwde labels. Deze "domeinverschuiving" creëert een taalkundige barrière waarbij modellen die zijn getraind op gestructureerde documenten, niet generaliseren naar het vrij vloeiende karakter van conferentiegesprekken. Bovendien vertrouwen bestaande datasets en methoden vaak op vooraf gedefinieerde taxonomieën, die de opkomende, open-ended KPI's die frequent in deze gesprekken worden besproken, niet kunnen vastleggen.

Methodologie

De auteurs stellen een uitgebreid kader voor om deze uitdagingen aan te pakken, waarbij wordt overgestapt van gevestigde gestructureerde domeinen naar ongestructureerde conversationele data.

1. Creëren van Referentiedata

De studie introduceert drie nieuwe datasets afgeleid van 20 S&P 500-bedrijven:

• SEC-documenten Referentie (SECB): Een dataset ontworpen om bredere context te behouden dan eerdere werken (zoals HiFi-KPI), waardoor de kloof tussen op sjablonen gebaseerde documenten en conversationele tekst wordt overbrugd. Het maakt gebruik van pseudo-tags (regex_dollar, regex_percentage) om niet-geannoteerde KPI's vast te leggen.
• Verdienverklaringen Referentie (ECB): Een grootschalige dataset van 10.477 fragmenten uit verdienverklaringen van 2023–2024, gesegmenteerd op sprekerswisselingen.
• ECB-A (Geannoteerd): Een hoogwaardige evaluatiesubset met 587 fragmenten, 2.460 door experts geannoteerde entiteiten en 934 relationele groepen. De annotaties werden uitgevoerd door een domeinexpert volgens een tweestapsproces (identificatie gevolgd door relatieverificatie) om onderscheid te maken tussen traditionele (financiële) en niet-traditionele (operationele) metrics.

2. Experimentele Paradigma's

De auteurs evalueren twee verschillende benaderingen:

• Op Encoder Gebaseerde Modellen (Fine-tuning): Ze beoordelen de generalisatiecapaciteiten van modellen die zijn gefine-tuned op SEC-documenten (SEC-BERT-Base, BERT-SL1000 en varianten) wanneer deze worden toegepast op verdienverklaringen. Deze worden behandeld als sequentiemarkeringstaken.
• In-Context Learning (Generatief): Ze maken gebruik van State-of-the-Art (SOTA) Large Language Models (Llama-3.3, Qwen3-30B-A3B, Gemma-3-27B en Gemini 3 Pro) met gestructureerde few-shot prompting. Deze benadering hanteert een relatie-extractiestrategie om dynamisch KPI's te extraheren zonder te vertrouwen op een gesloten taxonomie. Het systeem identificeert entiteitsintervallen (KPI-naam, waarde, reikwijdte, datum, modaliteit) en aggregeert deze tot relationele groepen.

3. Evaluatiemetrieken

Evaluatie op ECB-A maakt gebruik van een veelzijdig scoresysteem:

• Exacte F1: Vereist exacte string-overeenkomsten voor zowel waarde als label.
• Semantische F1: Gebruikt cross-encoder gelijkenis (STSB-RoBERTa-Large) om veel-tot-een-mappingen toe te staan, waardoor semantische equivalentie wordt vastgelegd zelfs als lexische grenzen verschillen.
• Match F1: Een zachte F1-score die voorspellingen op basis van waarde afstemt op de grondwaarheid.
• LLM Judge: Een geautomatiseerde evaluatie met DeepSeek-V3.2 om te bepalen of de extractie van een model semantisch equivalent is aan de expertannotatie.
• Menselijke Evaluatie: Een laatste validatiestap waarbij drie beoordelaars de precisie van de geaggregeerde systeemoutput verifiëren.

Belangrijkste Resultaten

1. Beperkingen door Domeinverschuiving

Op encoder gebaseerde modellen die zijn gefine-tuned op SEC-documenten (bijvoorbeeld SEC-BERT-Base) vertoonden een slechte generalisatie naar verdienverklaringen. Hoewel ze redelijk presteerden op gestructureerde datasets (FiNER-139, HiFi-KPI), daalde hun prestatie aanzienlijk op ECB-A, waarbij ze vaak faalden bij het voorspellen van compatibele labels voor geëxtraheerde getallen. Dit bevestigt dat de taalkundige verschuiving van op sjablonen gebaseerde documenten naar conversationele gesprekken een grote hindernis is voor traditionele sequentiemarkeringsbenaderingen.

2. Prestaties van Generatieve Modellen

Generatieve LLM's presteerden aanzienlijk beter dan SEC-getrainde encoders in het ongestructureerde domein van verdienverklaringen.

• Gemini 3 Pro behaalde de beste prestaties met een Exacte F1 van 11,5% en extraheerde volgens de LLM Judge 45,5% van de geannoteerde KPI's.
• Semantische Metrieken: Hoewel de Exacte F1-scores laag bleven (variërend van 3,2% tot 11,5%), waren de Semantische F1-scores aanzienlijk hoger (tot 61,6% voor Gemini 3 Pro). Dit geeft aan dat LLM's succesvol onderliggende financiële concepten en relaties vastleggen, zelfs wanneer ze moeite hebben met strikte lexische grenzen.
• Schalen: De prestaties verbeterden bij het schalen van het model, wat suggereert dat de complexiteit van de taak baat heeft bij grotere modelcapaciteiten.

3. Systeemaggregatie en Langdurige Tracking

Door output van meerdere modellen (Gemma, Llama, Qwen) te aggregeren en semantische clustering toe te passen (met een gelijkenisdrempel van 0,85), creëerden de auteurs een systeem dat consistente langdurige KPI-tracking mogelijk maakt zonder vooraf gedefinieerde ontologieën.

• Het systeem identificeerde 1.323 KPI's die consistent werden bijgehouden gedurende ten minste vier periodes voor de 20 bedrijven.
• Menselijke Validatie: Het uiteindelijke geaggregeerde systeem behaalde een precisie van 79,67% (478/600) in menselijke evaluatie, ondanks een gematigde overeenkomst tussen annotatoren (Krippendorff's $\alpha$ = 0,429).
• Casestudie: Het systeem slaagde erin "iPhone-omzet" over meerdere kwartalen te volgen, wat perfect overeenkwam met de gerapporteerde SEC-waarden, waardoor de bruikbaarheid voor financiële analyse wordt aangetoond.

Betekenis en Aanspraken

Het artikel claimt een robuuste basislijn te bieden voor de opkomende taak van geautomatiseerde KPI-extractie uit verdienverklaringen. De belangrijkste bijdragen zijn:

1. Aantonen van de Limiet van Huidige Methoden: Het toont empirisch aan dat modellen die zijn getraind op gestructureerde SEC-documenten niet generaliseren naar de subjectieve, promotionele en ongestructureerde taal van verdienverklaringen.
2. Introduceren van Referentiedata: De release van SECB, ECB en ECB-A vult een kritieke leemte in financiële NLP-bronnen, en biedt de eerste door experts geannoteerde dataset specifiek voor KPI-extractie uit verdienverklaringen.
3. Valideren van LLM's voor Open-ended Extractie: De studie stelt vast dat LLM's, wanneer ze worden geleid door gestructureerde prompting, effectief opkomende KPI's kunnen extraheren uit ongestructureerde tekst, en traditionele encoders overtreffen.
4. Praktische Toepassing: Het voorgestelde systeem maakt consistente tracking van KPI's in de tijd mogelijk, en biedt een weg naar snellere, efficiëntere verwerking van nieuwe financiële informatie voor marktanalyse.

De auteurs blijven bescheiden over de huidige stand van de techniek, en erkennen dat hoewel het systeem veelbelovend is, het foutpercentage menselijk toezicht vereist. Zij merken op dat de hoge variabiliteit in "gesprekscultuur" tussen verschillende bedrijven en de inherente ambiguïteit van Q&A-sessies aanhoudende uitdagingen vormen. Het werk dient als een fundamentele stap richting tools voor realtime financiële besluitvorming, en benadrukt dat hoewel volledige autonomie nog niet is bereikt, de trajectory naar efficiënte, geautomatiseerde absorptie van data uit verdienverklaringen haalbaar is.