💬 NLP

Taxonomy-Aligned Risk Extraction from 10-K Filings with Autonomous Improvement Using LLMs

Dit artikel presenteert een driestaps LLM-gebaseerde pijplijn voor het extraheren van gestructureerde risicofactoren uit 10-K-documenten die aansluit bij een vooraf gedefinieerde taxonomie en een autonome agent bevat voor continue taxonomieverfijning, waarmee zowel een hoge extractienauwkeurigheid als het vermogen om economisch betekenisvolle, sectorspecifieke risicoprofielen vast te leggen wordt aangetoond.

Oorspronkelijke auteurs: Rian Dolphin, Joe Dursun, Jarrett Blankenship, Katie Adams, Quinton Pike

Gepubliceerd 2026-01-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rian Dolphin, Joe Dursun, Jarrett Blankenship, Katie Adams, Quinton Pike

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een financiële detective bent die probeert te begrijpen waarom duizenden verschillende bedrijven zouden kunnen falen. Je hebt een enorme bibliotheek met jaarverslagen (de zogenaamde "10-K filings"), maar het gedeelte "Risicofactoren" in elk verslag is geschreven in rommelige, unieke mensentaal. Het ene bedrijf zegt misschien: "We maken ons zorgen over een te sterke dollar," terwijl een ander zegt: "Schommelingen in vreemde valuta kunnen ons schaden." Ze bedoelen hetzelfde, maar een computer ziet dit als totaal verschillende problemen.

Als je gewoon een slimme AI (een Large Language Model, of LLM) de rapporten laat lezen en de risico's laat opsommen, krijg je een chaotische bende van verschillende labels. Het is alsof je honderd mensen vraagt om een stapel gemengd speelgoed in dozen te sorteren, maar iedereen gebruikt zijn eigen namen voor de dozen. Je eindigt dan met "draaiende wielen", "ronde dingen" en "auto-onderdelen" in plaats van een nette categorie zoals "Wielen".

Dit artikel presenteert een driestappenplan om die chaos op te lossen en de risico's te organiseren in een schone, consistente lijst, terwijl het systeem ook leert om uit zichzelf beter te worden.

De Driestappen-Pipeline

Beschouw dit proces als een hoogwaardige kwaliteitscontrole in een fabriek:

1. De Deskundige Lezer (Extractie)
Eerst leest een AI de rommelige tekst en haalt elk risico eruit dat het vindt. Cruciaal is dat de AI nog niet probeert het risico in een hokje te dwingen. In plaats daarvan handelt het als een advocaat: het vindt het risico en kopieert de exacte zin uit het rapport die bewijst dat het risico bestaat.

Analogie: Stel je voor dat een detective elke aanwijzing opschrijft, inclusioneel met de exacte paginanummer waar hij de aanwijzing vond, zonder zich nog zorgen te maken over in welk "dossier" het thuishoort.

2. De Semantische Matchmaker (Mapping)
Vervolgens gebruikt het systeem een "semantische kaart" (een type AI dat betekenis begrijpt, niet alleen trefwoorden) om de aanwijzingen van de detective te vergelijken met een vooraf opgestelde lijst van officiële risicocategorieën (een Taxonomie). Deze lijst bevat 140 specifieke categorieën, zoals "Renterisico" of "Cybersecurityrisico".

Analogie: Het systeem kijkt naar de aanwijzing en vraagt: "Lijkt dit het meest op het dossier 'Het Weer' of het dossier 'Juridisch'?" Het gebruikt wiskunde om de dichtstbijzijnde match te vinden.
Het Probleem: Soms gaat de wiskunde fout. Het kan een aanwijzing in een hokje dwingen simpelweg omdat dat de "minst slechte" optie is, zelfs als het er eigenlijk niet thuishoort.

3. De Strenge Rechter (Validatie)
Dit is de belangrijkste stap. Een tweede AI fungeert als een "Rechter". Deze kijkt naar de aanwijzing, de voorgestelde categorie en de officiële beschrijving van die categorie. De AI geeft de match een score van 1 tot 5.

Analogie: Stel je een strenge leraar voor die het huiswerk van een leerling nakijkt. Als de leerling probeert een wiskundeprobleem in de map "Geschiedenis" te stoppen, zegt de leraar: "Nee, dat is een 1/5. Dat hoort hier niet."
Het Resultaat: Het systeem gooit de matches met een lage score (de slechte matches) weg en houdt alleen de kwalitatief hoogwaardige matches over. Dit zorgt ervoor dat de definitieve lijst accuraat is.

De "Zelfverbeterende" Functie

Het artikel introduceert een coole nieuwe functie: Autonome Verbetering.

Normaal gesproken moet een mens een fout oplossen als een categorie in de lijst verwarrend is. Hier doet het systeem het zelf.

Hoe het werkt: De "Rechter"-AI houdt een logboek bij van elke keer dat hij een lage score gaf. Een geautomatiseerde agent (een robotassistent) bekijkt deze logboeken, vindt patronen en ontdekt waarom het systeem in de war is.
De Oplossing: De agent herschrijft de beschrijving van de verwarrende categorie om deze duidelijker te maken.
Een Echt Voorbeeld: Het paper testte dit op een categorie genaamd "Farmaceutische Goedkeuring". Het systeem raakte in de war tussen Amerikaanse regels (FDA) en Europese regels (EMA). De agent merkte dit patroon op, besefte dat de beschrijving te veel op de VS gericht was, en herschreef deze om "internationale instanties" op te nemen.
Het Resultaat: Deze zelfcorrectie zorgde ervoor dat het vermogen van het systeem om correcte van onjuiste matches te onderscheiden met 104,7% verbeterde. Het systeem leerde zichzelf letterlijk beter te worden in het sorteren.

Werkt het Eigenlijk? (Het Bewijs)

Om te bewijzen dat hun systeem niet zomaar dingen verzint, hebben de auteurs het getest op 500 grote Amerikaanse bedrijven (de S&P 500). Ze stelden een eenvoudige vraag: "Hebben bedrijven in dezelfde sector vergelijkbare risicoprofielen?"

De Test: Ze namen de opgeschoonde risicolijsten en vergeleken ze. Ze vertelden de computer niet welke bedrijven banken waren of welke farmaceutische bedrijven. Ze lieten de computer simpelweg naar de risico's kijken.
De Bevinding: De computer groepeerde banken natuurlijk bij elkaar en farmaceutische bedrijven bij elkaar.
- Bedrijven in dezelfde sector hadden 63% meer vergelijkbare risicoprofielen dan bedrijven in andere sectoren.
- Zo werden bijvoorbeeld 83% van de banken gemarkeerd voor "Renterisico", terwijl slechts 22% van alle andere bedrijven dat werd. Ondertussen hadden banken zelden risico's rondom "Grondstoffen", wat een grote zorg is voor fabrieken.
De Conclusie: Het systeem slaagde erin om echte, economische waarheden over deze bedrijven te extraheren zonder expliciet te weten in welke sector ze zaten.

Samenvatting

Dit artikel beschrijft een methode om rommelige, ongestructureerde financiële tekst om te zetten in een schone, georganiseerde lijst van risico's. Het maakt gebruik van een driestappen-team (Lezer, Matcher, Rechter) om nauwkeurigheid te garanderen en bevat een "zelfcorrigerende" robot die zijn eigen fouten in de loop van de tijd herstelt. Het resultaat is een systeem dat automatisch de specifieke gevaren kan begrijpen waar verschillende soorten bedrijven voor staan, net zoals een menselijke expert dat zou doen, maar dan met de snelheid van een computer.

Technische Samenvatting: Taxonomie-gealigneerde Risico-extractie uit 10-K Dossiers met Autonome Verbetering via LLM's

Probleemstelling

Bedrijfsvoeringen van 10-K dossiers bevatten een sectie "Risicofactoren" (Item 1A) die cruciale inzichten biedt in de onzekerheden waarmee beursgenoteerde bedrijven te maken hebben. De ongestructureerde aard en de aanzienlijke lengte van deze documenten maken handmatige, systematische analyse op schaal echter onpraktisch. Hoewel Large Language Models (LLM's) risico-informatie kunnen extraheren, levert een naïeve aanpak idiosyncratische, inconsistente labels op (bijv. "valutaschommelingsrisico" versus "blootstelling aan vreemde valuta"), wat systematische vergelijking verhindert. De kernuitdaging is het extraheren van gestructureerde risicofactoren uit vrije tekst terwijl strikt wordt vastgehouden aan een vooraf gedefinieerde, hiërarchische taxonomie, waarbij wordt gewaarborgd dat de koppelingen zowel semantisch accuraat als vrij van foutieve toezeggingen zijn.

Methodologie

De auteurs stellen een driefasen-pipeline voor die de sterke punten van LLM's, semantische embeddings en LLM-gebaseerde validatie combineert om robuuste, taxonomie-gealigneerde extractie te bereiken.

1. Drielagige Risicotaxonomie

Het systeem maakt gebruik van een aangepaste hiërarchische taxonomie die specifiek is ontworpen voor beleggingsanalyse, bestaande uit:

7 Primaire Categorieën (bijv. Strategisch & Competitief, Financieel & Markt).
28 Secundaire Categorieën.
140 Tertiaire Categorieën (bladniveau-classificaties).
In tegen tegenstelling tot bestaande taxonomieën die risico's mogelijk overmatig onderverdelen (bijv. door verschillende soorten stormen te scheiden), balanceert deze taxonomie volledigheid met de granulariteit die vereist is voor financiële besluitvorming.

2. De Driefasen-Pipeline

Fase 1: LLM-gebaseerde Risico-extractie

Input: Ruwe Item 1A-tekst uit 10-K dossiers.
Proces: Een LLM (Claude 4.5 Sonnet) extraheert een uitgebreide lijst van risicofactoren zonder beperkingen om overeen te komen met de taxonomie.
Output: Een lijst van tupels bestaande uit een vrije risicotag en een onderbouwend citaat uit de originele tekst. Deze "chain-of-thought"-aanpak zorgt voor gegronde extractie en levert de tekstfragmenten die nodig zijn voor de daaropvolgende semantische matching.

Fase 2: Embedding-gebaseerde Taxonomie Koppeling

Proces: Elk geëxtraheerd onderbouwend citaat wordt ge-embedded met behulp van het Qwen3 Embedding 0.6B model, geleid door een taakspecifieke instructie ("Classify risk factor text..."). Deze worden gekoppeld aan vooraf berekende embeddings van de 140 tertiaire categoriebeschrijvingen.
Mechanisme: Nearest-neighbor matching (dot product) wijst elk risico toe aan de meest semantisch gelijkaardige categorie.
Beperking: Deze fase garandeert een koppeling voor elk risico, zelfs als er geen passende categorie bestaat, wat kan leiden tot foutieve toezeggingen.

Fase 3: LLM-as-a-Judge Validatie

Proces: Een aparte LLM-instantie fungeert als rechter om de kwaliteit van elke voorgestelde koppeling (citaat naar categorie) te evalueren.
Scoring: De rechter beoordeelt de geschiktheid op een schaal van 1–5 (1 = Zeer slecht, 5 = Uitstekend) en geeft beknopte redeneringen.
Filtering: Alleen koppelingen met een score $\ge$ 4 worden behouden voor de uiteindelijke output. Koppelingen met een lagere score worden gelogd met hun redenering om de verfijning van de taxonomie te informeren.
Deductie: De uiteindelijke output behoudt alleen de hoogwaardigste koppeling voor elke taxonomiecategorie per dossier.

3. Autonome Taxonomie Verfijning

Een duidelijke bijdrage van het artikel is een autonome workflow voor continue verbetering van de taxonomie:

Feedbackloop: Een AI-agent analyseert de gelogde koppelingen van lage kwaliteit (scores < 4) om problematische categorieën te identificeren.
Diagnose: De agent aggregeert foutpatronen (bijv. verwarring over geografische reikwijdte, mismatch tussen pre-market en post-market) op basis van de redenering van de rechter.
Verfijning & Testen: De agent stelt kandidaat-beschrijvingen voor verfijning voor en valideert deze met een embedding-gebaseerde testmethodologie. Dit houdt het meten van de "embedding separation" in (het verschil in gemiddelde gelijkenisscores tussen true positive en false positive testgevallen) in om te waarborgen dat de nieuwe beschrijving de semantische discriminatie verbetert.

Belangrijkste Bijdragen

Robuuste Extractiemethodologie: Een hybride pipeline die LLM-extractie, embedding-gebaseerde gelijkenis en LLM-validatie combineert om vrije tekst betrouwbaar te mappen aan een vaste taxonomie terwijl vals-positieven worden gefilterd.
Investeringsspecifieke Taxonomie: Een drielagige hiërarchie die op maat is gemaakt voor beleggingsanalyse, waarbij dekking wordt gebalanceerd met praktisch nut.
Autonoom Onderhoud: Een systematische methode waarbij een AI-agent feedback van evaluaties gebruikt om autonoom taxonomie-categorieën te identificeren, te diagnosticeren en te verfijnen, wat een proces van continue verbetering creëert.
Empirische Validatie: Uitgebreide evaluatie op 2024 10-K dossiers van 500 S&P 500-bedrijven, waarbij 10.688 gevalideerde risicofactoren zijn geëxtraheerd.

Resultaten en Evaluatie

De methodologie werd geëvalueerd op 2024 10-K dossiers van 500 S&P 500-bedrijven, waarbij 10.688 gevalideerde risicofactoren werden geëxtraheerd.

Case Study Autonome Verfijning

In een case study betreffende de categorie "Pharmaceutical and medical device approval" identificeerde de autonome agent dat de oorspronkelijke beschrijving verwarring veroorzaakte over de geografische reikwijdte (FDA versus EMA) en timing (pre-market versus post-market).

Resultaat: De agent genereerde een verfijnde beschrijving die expliciet meerdere gezondheidsautoriteiten vermeldde en de nadruk legde op pre-market goedkeuring.
Metriek: Deze verfijning resulteerde in een verbetering van 104,7% in embedding separation (van 0,064 naar 0,132), wat het aantal vals-positieven aanzienlijk verminderde.

Validatie via Industrie-clustering

Om te testen of de geëxtraheerde risico's een werkelijke economische structuur vatten, analyseerden de auteurs de gelijkenis van risicoprofielen tussen industrieën, zonder tijdens de mapping gebruik te maken van industrie-codes.

Gelijkenis: Bedrijven binnen dezelfde industrie vertoonden een 63% hogere gelijkenis in risicoprofiel dan paren tussen verschillende industrieën.
Statistische Significantie: Het verschil was zeer significant ( $p < 0,001$ ) met een grote effectgrootte (Cohen's $d = 1,06$ ).
Voorspellende Kracht: Het gebruik van risicogelijkenis om lidmaatschap van een industrie te voorspellen leverde een AUC op van 0,733 voor brede 2-cijferige SIC-sectoren en 0,822 voor specifieke 4-cijferige industrieën.
Granulariteit: Het signaal werd sterker bij fijnere industrie-definities, wat bevestigt dat de taxonomie specifieke industriecharacteristics vastlegt in plaats van generieke boilerplate.

Sectorspecifieke Patronen

Analyse van de sector "Depository Institutions" (SIC 60) onthulde intuïtieve patronen:

Rente-risico kwam voor in 83% van de banken versus 22% van alle bedrijven.
Kapitaal- en liquiditeitsvereisten kwamen voor in 67% van de banken versus 3% in totaal.
Omgekeerd waren productie-gerelateerde risico's (bijv. beschikbaarheid van grondstoffen) significant minder aanwezig in de bankensector.

Betekenis en Claims

Het artikel beweert een algemeen kader te bieden voor het extraheren van gestructureerde informatie uit ongestructureerde tekst, terwijl de naleving van vooraf gedefinieerde categorische systemen wordt gewaarborgd. De significantie ligt in:

Het oplossen van de "Unstructured-to-Unstructured" Valstrik: Verder gaan dan eenvoudige LLM-extractie die inconsistente tags produceert, naar een systeem dat een consistente, gecureerde taxonomie afdwingt.
Continue Verbetering: Het verschuiven van de ontwikkeling van een taxonomie van een statisch ontwerpprobleem naar een iteratief verbeterend systeem, waarbij de kwaliteit toeneemt naarmate er meer documenten worden verwerkt, wat de last van menselijk onderhoud vermindert.
Economische Geldigheid: Aantonen dat de geëxtraheerde gegevens niet louter linguïstisch zijn, maar werkelijke economische risicodimensies vatten, zoals blijkt uit de sterke correlatie tussen risicoprofielen en industrie-sectoren.

De auteurs merken op dat hoewel de huidige implementatie zich richt op Engelse 10-K dossiers, de methodologie taal-agnostisch is en toepasbaar op andere domeinen die taxonomie-gealigneerde extractie vereisen. Beperkingen omvatten de API-kosten en latentie van LLM's, maar deze worden gemitigeerd door batchverwerking en caching.