Utilizing Pre-trained and Large Language Models for 10-K Items Segmentation

Deze studie introduceert en vergelijkt twee geavanceerde methoden, BERT4ItemSeg en GPT4ItemSeg, voor het segmenteren van specifieke onderdelen in 10-K-rapporten, waarbij BERT4ItemSeg de hoogste nauwkeurigheid bereikt terwijl GPT4ItemSeg uitstekende aanpassingsvermogen biedt aan regelgevingswijzigingen.

De kern

Stel je voor dat een 10-K-rapport (het jaarverslag van een Amerikaans bedrijf) een enorme, chaotische bibliotheek is. Deze bibliotheek bevat duizenden pagina's tekst over de financiën, risico's en plannen van een bedrijf. Voor onderzoekers, beleggers en analisten is het echter cruciaal om specifieke "boeken" of hoofdstukken uit die bibliotheek te halen, zoals het hoofdstuk over "Risico's" of "Managementbesprekingen".

Het probleem is dat deze bibliotheken er niet allemaal hetzelfde uitzien. Soms staat het hoofdstuk "Risico's" op pagina 10, soms op pagina 50, en soms heet het "Item 1A" en soms "Risicofactoren".

Vroeger probeerden computers dit te doen met strenge regels (zoals een robot die zegt: "Als je de woorden 'Item 7' ziet, begin dan te lezen"). Maar omdat de vormgeving van deze rapporten zo vaak verandert, viel deze robot vaak op de grond en haalde hij de verkeerde stukken tekst.

De auteurs van dit paper hebben twee slimme, nieuwe manieren bedacht om deze bibliotheek te ordenen, alsof je twee verschillende soorten detectives inzet:

1. De Super-Intelligente AI (GPT4ItemSeg)

Stel je een zeer ervaren, slimme bibliothecaris voor die alles al eens heeft gelezen (dit is de grote taalmodel, ChatGPT-4o).

• Hoe werkt het? Je geeft deze bibliothecaris een paar voorbeelden van hoe een hoofdstuk eruit ziet (bijvoorbeeld: "Kijk, dit is hoe 'Risico's' begint"). Vervolgens vraagt je hem om de rest van het rapport te scannen en te zeggen: "Hier begint het hoofdstuk over Risico's".
• De slimme truc: Omdat deze bibliothecaris soms "hallucineert" (hij verzonnen dingen kan vertellen die er niet zijn) en omdat het rapport te lang is om in één keer te lezen, gebruiken de auteurs een lijst met nummers (Line-ID). Ze zeggen tegen de AI: "Geef me alleen de nummers van de regels waar de hoofdstukken beginnen." Daarna pakt de computer de originele tekst op die nummers en plakt die erbij. Zo blijft de tekst 100% echt en wordt er niets verzonnen.
• Sterk punt: Deze bibliothecaris is heel flexibel. Als de wetgever morgen een nieuw hoofdstuk introduceert (bijvoorbeeld over "Cybersecurity"), hoef je alleen maar een paar nieuwe voorbeelden te geven. Hij leert het direct.

2. De Slimme, Lokaal Werkende Robot (BERT4ItemSeg)

Stel je nu een zeer getrainde, lokale robot voor die niet alles uit zijn hoofd kent, maar wel heel goed kan leren van voorbeelden die hij zelf heeft geoefend (dit is het BERT-model).

• Hoe werkt het? Deze robot is niet zo slim als de bibliothecaris, maar hij is super snel en werkt op je eigen computer. Hij leest het rapport regel voor regel en leert patronen: "Ah, als deze zin begint met een hoofdletter en het woord 'Item' bevat, is dit waarschijnlijk een nieuw hoofdstuk."
• Het probleem: Deze robot heeft een kort geheugen; hij kan maar een klein stukje tekst tegelijk zien.
• De oplossing: De auteurs hebben de robot een twee-laags systeem gegeven. De onderste laag leest kleine stukjes (regels) en onthoudt de betekenis. De bovenste laag (een soort manager) kijkt naar de samenvatting van die regels en besluit waar de hoofdstukken beginnen en eindigen. Zo kan hij toch hele lange rapporten verwerken.
• Sterk punt: Hij is extreem nauwkeurig (hij haalt bijna 99% goed) en kost niets, omdat hij lokaal draait. Maar als er een heel nieuw type hoofdstuk komt, moet je hem opnieuw laten oefenen met nieuwe voorbeelden.

Wat hebben ze ontdekt?

De auteurs hebben 3.737 jaarverslagen handmatig gecontroleerd om een "antwoordenboek" te maken. Toen ze hun twee nieuwe methoden testten, bleek dit:

• De lokale robot (BERT4ItemSeg) was de beste in het algemeen. Hij haalde de hoogste score en was het meest betrouwbaar voor de standaard hoofdstukken.
• De slimme bibliothecaris (GPT4ItemSeg) deed het ook heel goed, maar was iets minder nauwkeurig. Het grote voordeel was echter dat hij zich direct aanpaste aan nieuwe regels zonder dat je hem opnieuw hoefde te trainen.
• De oude robot met strenge regels deed het het slechtst en viel vaak in de fout.

Waarom is dit belangrijk?

Voor onderzoekers en beleggers is dit als het vinden van een perfecte schatkaart.

• Vroeger was het zoeken naar specifieke informatie in deze rapporten als het zoeken naar een naald in een hooiberg met een blinde bril.
• Nu hebben we een systeem dat de naald precies vindt, ongeacht hoe de hooiberg eruitziet.
• Dit zorgt ervoor dat studies over bedrijfsprestaties, risico's en marktreacties veel betrouwbaarder en eerlijker zijn.

Kortom: De auteurs hebben twee nieuwe tools gebouwd om de chaotische wereld van financiële verslagen te ordenen. De ene tool is een slimme, flexibele AI die snel aan nieuwe regels aanpast, en de andere is een super-nauwkeurige, lokale robot die perfect werkt voor de standaardtaken. Samen zorgen ze ervoor dat we straks veel beter begrijpen wat bedrijven echt doen en wat de risico's zijn.

Technische samenvatting

Probleemstelling

Formulier 10-K (jaarverslagen van Amerikaanse bedrijven) zijn gestructureerd in specifieke items (zoals Management's Discussion and Analysis of Risk Factors) die cruciaal zijn voor financiële analyse. Het extraheren van deze specifieke tekstgedeelten, een taak genaamd itemsegmentatie, is echter uitdagend vanwege:

• Variatie in documentopmaak: Verschillen in indeling, titelvormgeving en volgorde tussen bedrijven en jaren.
• Beperkingen van bestaande methoden: Traditionele benaderingen vertrouwen op regelgebaseerde systemen (regex, string matching, HTML-parsing). Deze methoden zijn kwetsbaar ("brittle"), moeilijk te onderhouden bij wijzigingen in SEC-regelgeving, en leiden tot fouten die downstream analyses verstoren.
• Gebrek aan benchmark: Er ontbrak een groot, handmatig geannoteerd dataset om geavanceerde methoden systematisch te evalueren.

Methodologie

De auteurs stellen twee nieuwe, op AI gebaseerde methoden voor om 10-K-documenten te segmenteren, gebaseerd op een handmatig geannoteerd dataset van 3.737 10-K-verslagen (jaren 2001-2019).

1. BERT4ItemSeg (Pre-trained Language Model)

Deze methode combineert een Pre-trained Language Model (PLM) met een recurrente neurale netwerkarchitectuur om de contextvenster-beperkingen van BERT te overwinnen.

• Architectuur: Een hiërarchische structuur bestaande uit twee lagen.
  • Lagere laag: Een BERT-encoder (Sentence-BERT) verwerkt tekst regel voor regel (line-by-line) om contextuele embedding-vectoren te genereren. Dit omzeilt het 512-token limiet van BERT, omdat individuele regels meestal korter zijn.
  • Hogere laag: Een Bi-LSTM (Bidirectional Long Short-Term Memory) model neemt deze embeddings en voorspelt de labelsequentie voor de hele 10-K. Omdat Bi-LSTM geen limiet heeft op de sequentielengte, kan het documenten van willekeurige lengte verwerken.
• Labeling: Gebruik van een aangepast BIO-schema (Begin, Inside, Outside) per regel (bijv. B1 voor de start van Item 1, I1 voor vervolgregels).

2. GPT4ItemSeg (Large Language Model)

Deze methode maakt gebruik van ChatGPT-4o via een "few-shot prompting" strategie, maar introduceert een innovatief mechanisme om hallucinaties en contextlimieten te voorkomen.

• Line-ID Based (LIB) Prompting: In plaats van de LLM te vragen de volledige tekst van een item te genereren (wat leidt tot hallucinaties en afwijkingen van de originele tekst), krijgt de LLM een prompt met de originele tekst waarbij elke regel een uniek Line-ID heeft.
• Taak: De LLM moet alleen de Line-ID's identificeren die het begin van een specifiek item markeren.
• Voordeel: De daadwerkelijke tekst wordt niet gegenereerd door de AI, maar direct uit het originele document opgehaald op basis van de voorspelde ID's. Dit garandeert 100% nauwkeurigheid in de inhoud en elimineert hallucinaties.
• Few-shot learning: De prompt bevat slechts een handvol voorbeelden (ongeveer 5) van gedeeltelijke 10-K-fragmenten om het model de taak te leren, wat de kosten en token-gebruik minimaliseert.

Belangrijkste Bijdragen

1. Dataset: Creëring van het eerste grote, handmatig geannoteerde benchmark-dataset (3.737 verslagen) voor 10-K-itemsegmentatie, wat reproducibiliteit in de literatuur mogelijk maakt.
2. Innovatieve Architecturen:
   • Ontwikkeling van BERT4ItemSeg voor lokale, schaalbare en nauwkeurige segmentatie zonder API-kosten.
   • Introductie van de Line-ID Based (LIB) prompting-methode voor LLM's, die het hallucinatieprobleem oplost en de integriteit van de data behoudt.
3. Flexibiliteit: GPT4ItemSeg kan zich snel aanpassen aan nieuwe SEC-regelgeving (concept drift) door eenvoudig de voorbeelden in de prompt aan te passen, zonder opnieuw te hoeven trainen.
4. Open Source: Beschikbaarstelling van de dataset, code en modellen voor de onderzoeksgemeenschap.

Resultaten

De methoden werden getest op "kern-items" (Items 1, 1A, 3, 7) en andere items, vergeleken met een Conditional Random Field (CRF) en een traditionele regelgebaseerde methode.

• Prestatie (Macro-F1 Score):
  • BERT4ItemSeg: 0,9826 (kern-items) en 0,9692 (andere items). Dit is de beste prestatie.
  • CRF (Baseline): 0,9788 (kern-items).
  • GPT4ItemSeg: 0,9552 (kern-items). Hoewel iets lager dan BERT, presteert het aanzienlijk beter dan regelgebaseerde methoden en is het zeer effectief met slechts weinig voorbeelden.
  • Regelgebaseerde methode: 0,9048 (kern-items).
• Statistische significantie: BERT4ItemSeg presteert significant beter dan alle andere methoden voor kern-items. Voor andere items is het verschil tussen BERT4ItemSeg en CRF statistisch niet significant, maar beide zijn superieur aan GPT4ItemSeg en regelgebaseerde methoden.
• Aanpassingsvermogen: GPT4ItemSeg toonde zich het meest flexibel bij het hanteren van nieuwe items of variaties in opmaak, hoewel het iets meer variatie in prestaties per item vertoonde dan de getrainde modellen.

Betekenis en Implicaties

• Voor Onderzoek: De studie biedt een robuuste, reproduceerbare basis voor tekstuele analyse in accounting en finance. Het elimineert de "noise" die vaak ontstaat door slechte segmentatie, waardoor studies over disclosurekwaliteit, marktreacties en risicofactoren betrouwbaarder worden.
• Voor Praktijk: Financiële analisten, auditors en institutionele beleggers kunnen sneller en nauwkeuriger relevante informatie extraheren uit duizenden verslagen, wat leidt tot betere besluitvorming.
• Toekomstperspectief: De framework is generaliseerbaar naar andere documenttypes (zoals 10-Q, 8-K, 40-F). De combinatie van een lokaal getraind model (BERT4ItemSeg) voor kostenefficiëntie en een LLM-gestuurde aanpak (GPT4ItemSeg) voor aanpassingsvermogen biedt een complete oplossing voor de uitdagingen van veranderende regelgeving.

Samenvattend demonstreert dit onderzoek dat de combinatie van PLM's en LLM's, ondersteund door innovatieve prompting-technieken en een hoogwaardig dataset, een doorbraak vormt in de automatisering van financiële documentanalyse.