💬 NLP

Beyond Semantic Similarity: A Two-Phase Non-Parametric Retrieval Workflow for Corporate Credit Underwriting

Dit artikel presenteert een tweefasig niet-parametrisch ophaalsysteem dat de "gelijkheid-gebruiksgap" in de kredietverlening aan bedrijven aanpakt door analytisch nut boven semantische gelijkenis te prioriteren, waardoor de tijd voor documentbeoordeling voor meer dan 800 analisten succesvol wordt teruggebracht van uren naar minuten.

Oorspronkelijke auteurs: Linus Ng Junjia, Ezekiel Tee Kongquan, Kelvin Heng, Kenneth Zhu Ke, Zhao Jing Yuan

Gepubliceerd 2026-05-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Linus Ng Junjia, Ezekiel Tee Kongquan, Kelvin Heng, Kenneth Zhu Ke, Zhao Jing Yuan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een financieel rechercheur bent die een mysterie probeert op te lossen over de gezondheid van een bedrijf. Je hebt een enorme bibliotheek met duizenden documenten: jaarverslagen, sectoranalyses en juridische openbaarmakingen, waarvan sommige honderden pagina's lang zijn. Je taak is het vinden van specifieke aanwijzingen (zoals een verborgen schuld of een risicovolle markttrend) om te beslissen of je geld aan dat bedrijf moet lenen.

Dit artikel beschrijft een nieuwe, slimmere manier om die bibliotheek te doorzoeken. Hier is de uitleg in alledaagse taal:

Het Probleem: De "Trefvalstap"

Traditioneel werken computersystemen voor het doorzoeken van documenten als een bibliothecaris die alleen om woordovereenkomst geeft. Als je vraagt: "Hoeveel schuld heeft Bedrijf X?", vindt de computer elke pagina waar "schuld" en "Bedrijf X" worden genoemd.

Maar in de financiën is dit een valstrik. Een pagina kan zeggen: "Wij hebben geen schuld", of "Schuld is een gebruikelijke term in onze sector", of het kan een saaie juridische disclaimer zijn die het woord "schuld" vijftig keer herhaalt. Deze pagina's matchen je woorden perfect, maar ze zijn nutteloos voor het nemen van een beslissing. De auteurs noemen dit de "similariteit-gebruiksgap". De computer vindt dingen die eruitzien als het antwoord, maar die niet daadwerkelijk bruikbaar zijn als antwoord.

De Oplossing: Een Rechercheurs-Team in Twee Fasen

De auteurs hebben een systeem gebouwd dat minder werkt als een trefwoordzoeker en meer als een team van menselijke rechercheurs. Ze splitsen het werk op in twee duidelijke fasen:

Fase 1: Het Brede Net (Hoge Herinnering)

Eerst werpt het systeem een zeer breed net. Het gebruikt twee methoden tegelijk:

Trefwoordzoekopdracht: Zoeken naar exacte financiële termen (zoals "EBITDA" of "liquiditeit").
Conceptzoekopdracht: Zoeken naar het idee achter de woorden, zelfs als de specifieke woorden verschillend zijn.

Deze fase pakt een enorme stapel mogelijke pagina's (50 tegelijk) om zeker te stellen dat ze niets belangrijks missen. Denk hierbij aan een visser die een enorm net uitwerpt om alles in de oceaan te vangen.

Fase 2: De Expertfilter (Hoge Bruikbaarheid)

Hier gebeurt de magie. Het systeem stopt niet bij de stapel vis; het haalt een AI-expreter erbij.

De Filter: Voordat de rechter zelfs maar kijkt, controleert een lichtgewicht AI: "Praat deze pagina daadwerkelijk over de specifieke vraag? Is het gewoon juridisch lawaai?" Als het alleen maar lawaai is, wordt het direct weggegooid.
De Rechter: De overige pagina's worden doorgestuurd naar een slimmere AI die een andere vraag stelt: "Hoe bruikbaar is dit voor het nemen van een leningsbeslissing?"
- In plaats van te vragen: "Klinkt deze pagina als mijn vraag?"
- Vraagt het: "Geeft deze pagina me een feit waarmee ik 'Ja' of 'Nee' kan zeggen tegen de lening?"

Dit zorgt ervoor dat de uiteindelijke lijst met resultaten alleen de "goudklompjes" aan informatie bevat, en niet de "aarde" die toevallig dezelfde woorden had.

Omgaan met de Rommelige Details

Financiële documenten zijn rommelig. Ze bevatten lange alinea's, voetnoten en complexe tabellen met samengevoegde cellen en vreemde koppen.

De "Contextbewuste" Tool: Als het systeem een simpele tabel vindt, haalt het de getallen netjes uit de tabel. Maar als het een complexe, verwarrende tabel vindt (zoals een meerlagige financiële staat), probeert het niet om de getallen te raden. In plaats daarvan pakt het het gehele tabel en plakt er een "bon" op (waarmee je precies weet uit welk document en op welke pagina het vandaan komt). Hierdoor kan een mens de getallen later verifiëren zonder dat de computer de data per ongeluk beschadigt.

De "On-Premise"-Regel

Omdat dit gaat om geheime bankgegevens, maakt het systeem geen gebruik van publieke cloudservers of externe AI-tools. Het draait volledig binnen het eigen beveiligde gebouw van de bank (on-premise). Het is alsof je een privé, beveiligde bibliotheek hebt waar geen enkele data het gebouw verlaat, waardoor volledige privacy en naleving van strenge bankwetten gewaarborgd zijn.

De Resultaten

Het team heeft dit systeem getest met meer dan 800 echte financiële analisten.

Voorheen: Analisten brachten uren door met het doorzoeken van documenten om de juiste feiten te vinden.
Na: Het systeem heeft die tijd teruggebracht tot ongeveer drie minuten.

Samenvatting

Kortom, dit artikel presenteert een systeem dat stopt met proberen een "woordmatchmachine" te zijn en begint te fungeren als een "beslissingsassistent". Het werpt een breed net, filtert de saaie juridische rommel eruit en rangschikt de overige informatie op basis van hoe behulpzaam het is voor het nemen van een zakelijke beslissing in de echte wereld, terwijl de data veilig en beveiligd blijft.

Technische Samenvatting: Voorbij Semantische Similariteit in Corporate Credit Underwriting

Probleemstelling
Corporate credit underwriting is afhankelijk van de analyse van lange, heterogene financiële documenten, waaronder jaarverslagen en sectoranalyses. Analisten moeten specifieke financiële indicatoren extraheren, risicodisclosures beoordelen en inzichten synthetiseren uit documenten die honderden pagina's beslaan en in meerdere talen zijn opgesteld. Hoewel Retrieval-Augmented Generation (RAG)-systemen zijn ontwikkeld om dergelijke workflows te ondersteunen, geven standaardpipelines prioriteit aan semantische similariteit tussen queries en documentpassages. In financiële contexten komt deze aanpak vaak niet overeen met de behoeften van analisten; documenten bevatten vaak narratieve beschrijvingen, regelgevende disclosures en repetitieve standaardtekst. Bijgevolg kan similariteit-gebaseerde retrieval passages aan het licht brengen die wel terminologie delen met een query, maar geen bruikbare analytische waarde bieden. De auteurs identificeren dit verschil als de "similarity–utility gap" (similariteits-gebruiksgrenze), waarbij inhoudelijk gerelateerde content niet per se besluitvorming ondersteunt.

Methodologie
Om deze kloof te overbruggen, stellen de auteurs een tweefasige, niet-parametrische retrieval-workflow voor die specifiek is ontworpen voor besluitondersteuning in ondernemingen. Het systeem werkt volledig on-premise met zelf gehoste open-source modellen om naleving van strikte data-governancebeleid te waarborgen. De architectuur bestaat uit vijf kerncomponenten:

Document Ingestion: Financiële documenten worden op basis van lay-outaanwijzingen opgesplitst in gestructureerde secties. Elk segment wordt geïndexeerd met metadata, waaronder bron, sectietitel en paginareferenties, om structurele informatie te behouden voor downstream-verwerking.
Fase 1: Hybride Kandidaatretrieval: Deze fase streeft naar hoge recall over meertalige documenten. Er wordt een hybride strategie toegepast die keyword-retrieval (om precisie voor financiële terminologie te behouden) combineert met dichte semantische retrieval met behulp van meertalige embeddings. Een TopK-waarde van 50 wordt gebruikt om een initiële kandidaatpool met hoge recall ( $C_0$ ) te genereren.
Fase 2: Adaptieve Retrieval Controller & Gebruiksgebaseerde Herordening:
- Adaptieve Controller: Een lichtgewicht taalmodel evalueert kandidaten op basis van query-intentie en documentstructuur. Het voorspelt drie metrieken voor elke passage: relevantie ( $Rel_i$ ), bewijssteun ( $S_i$ ) en een gebruikswaarde ( $U_i$ ). De controller filtert de kandidaatset ( $C_1$ ) door een logische voorwaarde toe te passen waarbij bewijssteun alleen wordt overwogen als relevantie is vastgesteld, waardoor semantisch gerelateerde maar analytisch irrelevante standaardtekst effectief wordt verwijderd.
- Gebruiksgebaseerde Herordening: De overgebleven kandidaten worden gerangschikt met behulp van een "LLM-as-a-Judge"-kader. In plaats van similariteit met de query te meten, evalueert het model passages op hun besluitvormingsnut voor underwriting. Een instelbare drempelwaarde ( $U_{threshold}$ ) balanceert precisie en recall, en filtert passages die bevatten met bruikbare financiële bewijslast.
Contextbewuste Bewijslastextractie: Om vervorming van betekenis of verlies van attributie te voorkomen, hanteert het systeem verschillende extractiestrategieën op basis van contentstructuur:
- Narratieve Secties: Gebruikt markdown-bewuste segmentatie om headers, opsommingen en paragraafgrenzen te behouden.
- Tabulair Data: Maakt onderscheid tussen niet-complexe tabellen (geparsd om specifieke rijen/cellen te extraheren) en complexe tabellen (meervoudige headers, samengevoegde cellen). Voor complexe tabellen behoudt het systeem de volledige tabelcontext samen met bronmetadata (documentnaam, paginareferentie) om handmatige verificatie en accurate attributie te ondersteunen.

Belangrijkste Bijdragen
Het artikel schetst vier primaire bijdragen:

Een gebruiksgebaseerd retrievalkader dat passage-rangschikking afstemt op besluitnut in credit underwriting, voorbijgaand aan puur semantische similariteit.
Een adaptieve retrieval controller die kandidaatpassages filtert aan de hand van query-intentie en documentstructuursignalen.
Een contextbewuste extractiemodule die structurele informatie behoudt in zowel narratieve als tabulaire financiële content.
Een enterprise-implementatie die aanzienlijke productiviteitswinsten aantoont, volledig opererend binnen een gereguleerde, on-premise omgeving.

Resultaten
Het systeem is geëvalueerd op een meertalige corpus van interne corporate credit-documenten, met relevantielabels samengesteld door senior credit-analisten. Vanwege het proprietair karakter van de data zijn gedetailleerde datasets en case studies niet publiek vrijgegeven. In een real-world implementatie met meer dan 800 analisten toonde het systeem echter aanzienlijke efficiëntiewinsten, waarbij de documentbeoordelingstijd werd teruggebracht van enkele uren naar ongeveer drie minuten. De evaluatie geeft aan dat de voorgestelde aanpak de retrievalprestaties ten opzichte van traditionele naïeve retrieval-systemen significant verbetert door passages met verifieerbare financiële bewijslast aan het licht te brengen.

Betekenis en Claims
De auteurs claimen dat de betekenis van het systeem ligt in zijn vermogen om te optimaliseren voor analytisch nut in plaats van alleen semantische similariteit, waarmee direct wordt ingespeeld op de behoeften van enterprise-workflows in gereguleerde financiële omgevingen. Door hybride retrieval, adaptieve kandidaatcontrole en gebruiksgedreven rangschikking te combineren, geeft het systeem prioriteit aan bruikbare financiële bewijslast. De on-premise implementatie zorgt ervoor dat gevoelige financiële data lokaal blijft, waardoor aan strikte governance- en auditvereisten wordt voldaan.

Toekomstig Werk
Het artikel merkt op dat toekomstig werk gericht zal zijn op geavanceerde gestructureerde data-extractie uit financiële tabellen. De auteurs suggereren specifiek de integratie van gespecialiseerde Optical Character Recognition (OCR) en Vision Language Model (VLM)-pipelines om gestructureerde numerieke informatie direct uit tabelregio's te extraheren. Hierdoor zou het systeem in staat zijn om aanvullende financiële metrieken die in complexe lay-outs zijn ingebed, vast te leggen en op te nemen in downstream-redeneerprocessen.