🤖 AI

A Unified Framework for Modeling Heterogeneous Financial Data via Dual-Granularity Prompting

Dit paper introduceert FinLangNet, een innovatief raamwerk dat credit scoring hervormt tot een multi-schaal sequentieel leerprobleem met een dual-granulariteit prompt-mechanisme om heterogene financiële data te modelleren, wat in de praktijk leidde tot een aanzienlijke verbetering in risicobeoordeling en een daling van de slechte schulden.

Oorspronkelijke auteurs: Yu Lei, Zixuan Wang, Yiqing Feng, Junru Zhang, Yahui Li, Chu Liu, Tongyao Wang, Dongyang Li

Gepubliceerd 2026-04-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yu Lei, Zixuan Wang, Yiqing Feng, Junru Zhang, Yahui Li, Chu Liu, Tongyao Wang, Dongyang Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🏦 De Grote Uitdaging: Het Voorspellen van Geldproblemen

Stel je voor dat een bank een enorme hoeveelheid mensen moet beoordelen voordat ze een lening geven. Ze moeten weten: "Is deze persoon betrouwbaar, of gaat hij/zij de lening niet terugbetalen?"

Vroeger deden banken dit met XGBoost. Dat is een slimme, maar wat ouderwetse rekenmachine. Deze machine kijkt naar een statische lijst met feiten: "Heeft hij een vast inkomen?", "Hoe oud is hij?", "Heeft hij al eens een boete gehad?". Het is als een politiestrap: je kijkt naar de foto op je ID-kaart en je strafblad. Maar het probleem is: mensen veranderen. Iemand kan vandaag een goed betaalde baan hebben, maar morgen ontslagen worden en in paniek raken. Die statische foto vertelt niet het hele verhaal.

Daarnaast hebben banken twee soorten data:

Statische data: Je naam, leeftijd, inkomen (verandert niet vaak).
Dynamische data: Je gedrag in de tijd. Hoe vaak heb je gisteren geld opgenomen? Heb je de afgelopen maand 5 keer een creditcardrekening aangevraagd? Dit is als een video van je leven, niet alleen een foto.

De oude systemen waren goed in het kijken naar de foto, maar slecht in het begrijpen van de video. Ze misten de subtiele veranderingen in gedrag die aangeven dat iemand op drift raakt.

🚀 De Oplossing: FinLangNet (De Slimme Detective)

De auteurs van dit paper hebben FinLangNet bedacht. Dit is een nieuw systeem dat de credit scoring (het beoordelen van krediet) niet ziet als een simpele ja/nee-vraag, maar als een voorspelling van de toekomst.

Ze gebruiken een slimme architectuur met twee hoofdonderdelen, alsof het een team van twee detectives is:

1. De "Statische Detective" (Non-Sequential Module)

Deze kijkt naar je vaste gegevens (je profiel). Hij gebruikt een techniek genaamd DeepFM.

De Analogie: Stel je voor dat je een sollicitatiebrief bekijkt. Deze detective kijkt niet alleen naar de woorden, maar naar hoe ze samenkomen. Hij ziet dat "jonge leeftijd" + "hoog inkomen" + "geen werkervaring" samen een specifiek risico vormen. Hij bouwt een sterke basislijn van wie je bent.

2. De "Tijd-Reizende Detective" (Sequential Module / SRG)

Dit is het echte vernieuwende deel. Deze detective kijkt naar je gedrag in de tijd (je transacties, je zoekopdrachten).

Het Probleem: Financiële data is rommelig. Het is als een lade vol losse briefjes, soms met gaten, soms met krabbels. Gewone AI-modellen raken hierdoor in de war.
De Oplossing: De "Dual-Prompt" (Twee Vragen).
In plaats van de AI gewoon te laten "lezen", geven ze de AI twee speciale vragenkaarten (prompts) om de chaos te ordenen:
- Vraagkaart 1 (Fijnmazig): "Wat zegt dit specifieke gedrag?" (Bijvoorbeeld: "Hij heeft gisteren 10 keer een klein bedrag opgenomen. Is dat paniek?"). Dit is de Feature-level prompt.
- Vraagkaart 2 (Grootbeeld): "Wat zegt dit over de hele persoon?" (Bijvoorbeeld: "Alles bij elkaar genomen, lijkt deze persoon in de problemen te zitten"). Dit is de User-level prompt.

Door deze twee vragen te stellen, kan de AI zowel de kleine details zien als het grote plaatje. Het is alsof je niet alleen naar een enkele auto kijkt, maar ook naar de hele verkeerssituatie om te zien of er gevaar dreigt.

🎯 Wat doet het systeem precies?

In plaats van te zeggen: "Deze persoon is goed of slecht", zegt FinLangNet:
"Op basis van je gedrag de afgelopen tijd, is de kans 10% dat je over 30 dagen in de problemen komt, 25% dat je dat over 60 dagen doet, en 40% over 90 dagen."

Het maakt een voorspellingskaart voor de toekomst, in plaats van een statische foto.

🏆 De Resultaten: Van Theorie naar Pracht

De auteurs hebben dit systeem getest in de echte wereld bij een groot bedrijf (DiDi, een grote rit-app in China).

De Test: Ze vergelijkingen FinLangNet met de oude XGBoost-methode.
Het Resultaat: FinLangNet deed het veel beter.
- Het kon risicovolle klanten 6,3% beter onderscheiden dan de oude methode.
- Dit betekende dat het bedrijf 9,9% minder slechte schulden (geld dat nooit terugbetaald wordt) had.
De Vergelijking: Stel je voor dat de oude methode 100 slechte leningen gaf. Met FinLangNet waren dat er bijna 10 minder. Dat is miljoenen euro's aan besparing!

🌍 Waarom is dit belangrijk voor iedereen?

Betere leningen: Als banken risicovolle klanten beter kunnen zien, kunnen ze eerlijker leningen geven aan mensen die het nodig hebben, zonder dat ze failliet gaan door slechte leningen.
Geen "Black Box": Vaak zijn AI-modellen te ingewikkeld om te begrijpen. FinLangNet is zo ontworpen dat het de data op een logische manier verwerkt, zodat bankiers erop kunnen vertrouwen.
Toekomstbestendig: Het systeem kan leren van nieuwe data. Net zoals een mens leert van ervaring, leert dit systeem van nieuwe patronen in het gedrag van mensen.

Samenvattend in één zin:

FinLangNet is als een super-slimme creditcard-detective die niet alleen naar je pasfoto kijkt, maar ook naar je hele levensverhaal in beweging, zodat hij precies kan voorspellen of je morgen je rekeningen gaat betalen of niet.

Probleemstelling

In de industriële kredietrisicobeoordeling vertrouwen financiële instellingen momenteel nog steeds sterk op handmatig afgestemde statistische leermethoden, met name XGBoost. Hoewel deze modellen stabiel en interpreteerbaar zijn, vertonen ze ernstige beperkingen bij het verwerken van heterogene financiële data:

Complexiteit van de data: Gegevens komen uit diverse bronnen (creditrapporten, transactiegeschiedenissen, productgebruik) en zijn vaak ruisig, hoogdimensionaal, spaarzaam en discreet.
Gebrek aan temporele modellering: Traditionele modellen maken vaak "punt-in-tijd"-voorspellingen en kunnen de dynamische evolutie van de kredietwaardigheid van een gebruiker over verschillende tijdsperiodes niet effectief modelleren.
Handmatige feature engineering: Het creëren van afgeleide kenmerken is tijdrovend en vereist veel domeinkennis.
Beperking van diep leren: Bestaande deep learning-architecturen (zoals RNN's of standaard Transformers) hebben moeite om consistent beter te presteren dan XGBoost bij deze specifieke, onregelmatige data, vooral vanwege de uitdagingen bij het modelleren van lange-termijn afhankelijkheden en ruwe, multi-bron data.

Methodologie: FinLangNet

Het paper introduceert FinLangNet, een nieuw raamwerk dat kredietscoring herschrijft als een multi-schaal sequentieel leerprobleem. Het doel is niet alleen om te voorspellen of iemand in default zal raken, maar om de waarschijnlijkheidsverdeling van toekomstig financieel gedrag over meerdere tijdsvensters te genereren.

De architectuur bestaat uit twee complementaire modules:

1. Non-Sequential Module (Statische Data)

Doel: Het vastleggen van complexe interacties in statische gebruikersprofielen (bijv. leeftijd, inkomen, beroep).
Techniek: Het gebruikt DeepFM (Deep Factorization Machine). Dit combineert een Factorization Machine (FM) component voor lage-orde (tweede-orde) interacties met een Deep Neural Network (DNN) voor hoge-orde niet-lineaire correlaties.
Output: Een statische interactie-embedding ( $O_m$ ).

2. Sequential Module: Sequence Representation Generator (SRG)

Doel: Het verwerken van dynamisch, multi-bron tijdsdata (bijv. inquiry-records, leninglogboeken).
Discretisatie: Om de ruwheid en spaarzaamheid van financiële data te mitigeren, worden continue kenmerken omgezet in discrete tokens via een tokenizer.
Dual-Prompt Mechanisme (Kerninnovatie): Geïnspireerd op Transformer-architecturen, introduceert het systeem twee soorten leerbare prompts om representaties te sturen:
- Feature-level Prompt ( $e_{\phi c}$ ): Een leerbaar token dat aan elke kanaalsequentie wordt toegevoegd. Dit vangt fijne, kanaalspecifieke temporele patronen.
- User-level Prompt ( $P_s$ ): Een globaal leerbaar vector dat wordt toegevoegd aan de geaggregeerde representatie van alle kanalen. Dit vangt het holistische risicoprofiel van de gebruiker.
Verwerking: De verrijkte sequenties worden verwerkt door een Transformer-encoder. De staat van de user-level prompt dient als de uiteindelijke sequentierepresentatie ( $O_{ns}$ ).

3. Multi-Schaal Voorspelling en Optimalisatie

Fusie: De statische en sequentiële embeddings worden samengevoegd tot een uniforme representatie.
Multi-task Learning: Het model voorspelt risico's over $n$ verschillende horizons (bijv. 30, 60, 90 dagen).
Dynamisch Gewogen Hybrid Loss: Om het probleem van class-imbalance (weinig defaults) en variërende sample-moeilijkheid aan te pakken, wordt een speciale loss-functie gebruikt:
- Weighted Logarithmic Loss (WLL): Straft de minderheidsklasse (default) zwaarder.
- Dynamic Hard Example Mining: Gebruikt de gradiëntnorm om samples die het model moeilijk vindt, automatisch zwaarder te wegen tijdens het trainen.

Belangrijkste Bijdragen

Paradigmaverschuiving: Herschrijving van kredietscoring van een statische classificatie naar een dynamische multi-schaal voorspelling, waardoor modellen patronen van evolutie in kredietwaardigheid kunnen leren.
FinLangNet Architectuur: Een hybride model dat DeepFM combineert met een innovatief Dual-Prompt mechanisme binnen een Transformer-achtige structuur, specifiek ontworpen voor heterogene financiële data.
State-of-the-Art Resultaten: Prestaties die de bestaande methoden overtreffen op zowel industriële datasets als publieke benchmarks (UEA Time Series Classification).
Industriële Implementatie: Succesvolle deploy in een live financieel platform met meetbare verbeteringen in risicodiscriminatie en vermindering van slechte schulden.

Resultaten

Industriële Kredietrisico Beoordeling

Dataset: Een proprietary dataset van meer dan 7 miljoen gebruikers van een groot financieel platform.
Vergelijking: FinLangNet presteerde consistent beter dan XGBoost, diverse deep learning-modellen (Transformer, Mamba, TimesNet) en zelfs zero-shot LLMs (DeepSeek-V3.2, GPT-4.1).
KPI's:
- KS-statistiek: Een verbetering van 6,3 procentpunten (pp) ten opzichte van de XGBoost-baseline.
- Slechte Schulden (Bad Debt): Een relatieve reductie van 9,9%.
- AUC: Significante verbeteringen over alle tijdsvensters (van 30 tot 180 dagen).
Observatie: Hoewel een fusie van FinLangNet en XGBoost vaak de beste resultaten gaf, presteerde FinLangNet alleen beter bij langere-termijn voorspellingen, wat aantoont dat statische modellen moeite hebben met lange-termijn afhankelijkheden.

Publieke Benchmarks (UEA)

De SRG-module (zonder de volledige FinLangNet-architectuur) werd getest op 5 multivariate tijdsreeks-classificatiedatasets (UEA Archive).
Het model behaalde state-of-the-art of zeer competitieve resultaten in domeinen zoals medische diagnostiek en bewegingsherkenning, wat de generalisatiekracht van het dual-prompt mechanisme bevestigt.

Online A/B Test

In een live omgeving werd FinLangNet gebruikt om een "taal-risicoscore" te genereren die als feature in het bestaande XGBoost-systeem werd geïntegreerd.
Resultaat: Bij een drempel van 60% goedkeuring daalde het default-ratio van 9,1% naar 8,2% (een relatieve verbetering van 9,9%).
Efficiëntie: Het systeem draait op GPU-clusters met een latency onder de 100ms en verwerkt 100 queries per seconde, wat bewijst dat het schaalbaar is voor productieomgevingen.

Betekenis en Impact

Dit paper is significant omdat het de kloof overbrugt tussen academische innovaties in deep learning en de praktische eisen van de financiële industrie.

Oplossing voor "Black Box" angst: Door FinLangNet te gebruiken om een compacte risicoscore te genereren die als feature in een interpreteerbaar XGBoost-model wordt gestopt, behoudt de instelling de noodzakelijke regelgeving en transparantie, terwijl het profiteert van de kracht van deep learning.
Efficiëntie vs. Complexiteit: In tegenstelling tot andere academische modellen die zware pre-processing vereisen, is FinLangNet ontworpen voor real-time inferentie zonder zware voorberekening.
Toekomstperspectief: Het succes van het dual-prompt mechanisme suggereert dat het gebruik van leerbare prompts voor het vastleggen van zowel lokale (feature-level) als globale (user-level) patronen een veelbelovende richting is voor het modelleren van complexe, onregelmatige tijdsreeksdata in diverse sectoren, niet alleen in de financiën.