💰 quantitative finance

Could Large Language Models work as Post-hoc Explainability Tools in Credit Risk Models?

Deze studie evalueert het gebruik van grote taalmodellen als post-hoc uitlegbaarheidstools voor kredietrisicomodellen en concludeert dat hoewel zij betrouwbaar de rangschikking van feature-belangrijkheid kunnen reproduceren onder gecontroleerde prompts, zij het beste kunnen worden ingezet als narratieve interfaces in plaats van als vervanging voor formele attributiemethoden vanwege beperkte afstemming in autonome verklaringgeneratie.

Oorspronkelijke auteurs: Wenxi Geng, Dingyuan Liu, Liya Li, Yiqing Wang

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenxi Geng, Dingyuan Liu, Liya Li, Yiqing Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leningsofficier bent bij een bank. Je hebt een superintelligente, maar mysterieuze computerrobot (een "machine learning model") die beslist wie wel en wie geen lening krijgt. Deze robot is geweldig in het voorspellen wie het geld zal terugbetalen, maar het is een "black box". Het geeft alleen een "Ja" of "Nee", en spreekt geen menselijke taal. Het geeft je alleen een lijst met getallen: "Deze factor telde voor 5% mee, die andere voor 3%."

Toch willen toezichthouders en klanten geen spreadsheet met cijfers zien. Ze willen een verhaal: "We hebben deze lening geweigerd omdat de aanvrager te veel schulden heeft en een wankele loopbaan heeft."

Hier komen Large Language Models (LLM's) om de hoek kijken. Zie dit als de "vertalers" of "verhalenvertellers" van de AI-wereld. Zij zijn degene die die saaie getallen kunnen omzetten in een vriendelijke, leesbare paragraaf.

Dit paper stelt een zeer specifieke vraag: Kunnen we deze AI-verhalenvertellers vertrouwen om de waarheid te vertellen over waarom de robot een beslissing heeft genomen?

De onderzoekers hebben twee verschillende tests opgezet om dit uit te zoeken, gebruikmakend van echte leninggegevens van LendingClub.

Test 1: De "Dictatie"-test (Kan de LLM opdrachten opvolgen?)

De Opzet: De onderzoekers gaven de AI-verhalenverteller de exacte lijst met redenen die de robot gebruikte, gerangschikt van meest belangrijk naar minst belangrijk. Vervolgens vroegen ze de AI: "Hier is de lijst met redenen. Schrijf deze lijst om tot een verhaal, maar zorg ervoor dat je exact dezelfde volgorde aanhoudt."

Het Resultaat: De AI-verhalenvertellers waren perfect.
Stel je een strenge leraar voor die een leerling een lijst met 24 ingrediënten geeft en zegt: "Schrijf een recept met deze ingrediënten, in precies deze volgorde." De AI deed precies dat. Het veranderde de ingrediënten niet, vergat er geen enkele en voegde geen eigen ideeën toe. Het vertaalde de "getallenlijst" van de robot trouw naar een "woordenlijst" zonder de betekenis te veranderen.

De Les: Als je de AI de feiten geeft, is de AI uitstekend in het omzetten van deze in een voor mensen leesbaar verhaal. Het fungeert als een zeer betrouwbare secretaresse.

Test 2: De "Detective"-test (Kan de AI het zelf uitzoeken?)

De Opzet: Dit keer gaven de onderzoekers de AI niet de lijst met redenen. Ze gaven de AI alleen de gegevens van de aanvrager (inkomen, kredietscore, etc.) en de beslissing van de robot. Ze vroegen de AI: "Op basis van de gegevens van deze persoon, wat denk JIJ dat de belangrijkste redenen voor deze beslissing zijn?"

Het Resultaat: De AI-verhalenvertellers struikelden.
Stel je voor dat je een detective vraagt een misdaad op te lossen zonder het politierapport te laten zien. De AI probeerde de redenen te raden op basis van algemene kennis over de wereld (zoals: "Oh, meestal is een hoge schuld slecht").

Het Probleem: De robot maakt beslissingen op basis van complexe, verborgen patronen die verschillen van de algemene menselijke logica. De gissingen van de AI misten vaak het doel.
De "Few-Shot"-truc: De onderzoekers probeerden de AI te helpen door eerst twee voorbeelden te tonen (zoals: "Hier is hoe we een 'Ja'-lening hebben uitgelegd, en hier is hoe we een 'Nee'-lening hebben uitgelegd"). Dit hielp een beetje, maar de AI kon nog steeds niet perfect overeenkomen met de werkelijke redenering van de robot, vooral bij de complexere robotmodellen.

De Les: Wanneer de AI probeert als een detective op te treden en de redenen zelf uit te zoeken, gaat het verhaal vaak niet kloppen. De AI kan plausibele redenen kiezen, maar dit zijn niet de werkelijke redenen die de robot gebruikte.

Het Eindoordeel: De "Vertaler" versus de "Detective"

Het paper komt tot een duidelijke regel voor het gebruik van deze tools in de bankwereld:

Gebruik de AI NIET als een Detective: Je kunt de AI niet laten raden waarom een lening is geweigerd. Als je dat doet, geef je een klant misschien een reden die goed klinkt, maar die eigenlijk onjuist is. Dit is gevaarlijk voor de regelgeving en het vertrouwen.
Gebruik de AI WEL als een Vertaler: Je kunt de AI gebruiken om de officiële, wiskundig bewezen redenen (berekend door de robot) om te zetten in een prettig leesbare brief voor de klant.

De Metafoor:
Zie het Machine Learning Model als een Chef die een complex gerecht bereidt.

De AI-vertaler is een Voedselcriticus die uitstekend in staat is om het gerecht te beschrijven, mits de Chef het recept aan hen geeft. Zij kunnen een prachtige menubeschrijving schrijven.
Maar als je de Voedselcriticus vraagt om het recept te raden door alleen het eten te proeven (zonder de hulp van de Chef), zullen ze waarschijnlijk de ingrediënten fout hebben.

Kortom: Large Language Models zijn geweldig in het omzetten van wiskunde naar woorden, maar ze zijn erg slecht in het vooraf raden van de wiskunde zelf. In het gebied van kredietrisico moet je altijd de wiskunde (de robot) laten beslissen over de redenen, en de AI alleen het verhaal laten schrijven.

Technische Samenvatting: Kunnen Large Language Models dienen als post-hoc verklaarbaarheidsinstrumenten in kredietrisicomodellen?

1. Probleemstelling

De snelle adoptie van complexe machine learning (ML)-modellen, zoals XGBoost en neurale netwerken, in de FinTech-sector heeft de voorspellende nauwkeurigheid verbeterd, maar ook voor opaciteit gezorgd, wat uitdagingen met zich meebrengt voor naleving van regelgeving (bijv. ECOA, FCRA) en risicobeheer. Hoewel post-hoc Explainable AI (XAI)-methoden zoals SHAP en LIME numerieke kenmerk-attributies leveren, missen zij vaak de semantische helderheid en narratieve structuur die vereist zijn voor menselijke besluitvormers en rapportage aan toezichthouders.

Deze studie onderzoekt of Large Language Models (LLMs) dit gat kunnen overbruggen door te fungeren als post-hoc verklaarbaarheidsinterfaces voor kredietrisicomodellen. Specifiek richt het onderzoek zich op twee afzonderlijke onderzoeksvragen:

RQ1 (LLM als Vertaler): Kunnen LLM's de op het model gebaseerde rangschikking van kenmerkbelangrijkheid getrouw behouden en reproduceren wanneer deze rangschikking expliciet als input wordt verstrekt?
RQ2 (LLM als Autonome Uitlegger): Kunnen LLM's autonoom rangschikkingen van kenmerkbelangrijkheid afleiden die overeenstemmen met model-gebaseerde verklaringen (bijv. SHAP of logistische coëfficiënten), zonder dat de referentierangschikkingen worden verstrekt, waarbij zij enkel vertrouwen op instantiegegevens en prompting-strategieën?

2. Methodologie

Data en Baseline Modellen

Dataset: Een publiekelijk beschikbare LendingClub consumentenkredietdataset (2007–2011) bestaande uit 39.239 leningaanvragers met 24 onafhankelijke kenmerken. De doelvariabele is een binaire indicator van leningontrekking (Charged Off vs. Fully Paid).
Baseline Modellen: Twee kredietrisicomodellen werden getraind om grondwaarheid-referentie-attributies te genereren:
1. Logistische Regressie: Biedt inherent interpreteerbare, op coëfficiënten gebaseerde lineaire attributies.
2. XGBoost: Een state-of-the-art boom-gebaseerd ensemblemodel dat niet-lineaire verbanden vastlegt, met attributies afgeleid via SHAP (SHapley Additive exPlanations).
Evaluatiemetrieken: Voorspellende prestaties werden beoordeeld met behulp van PR-AUC, Macro-gemiddelde F1-score en de Kolmogorov–Smirnov (KS) statistiek. XGBoost presteerde significant beter dan Logistische Regressie (PR-AUC: 0,38 vs. 0,27; KS: 40,4 vs. 28,79).

LLM Experimenteel Ontwerp

Drie commerciële LLM's werden geëvalueerd: GPT-4-turbo, Claude-Sonnet-4.5 en Gemini-2.5-Flash. Experimenten maakten gebruik van In-Context Learning (ICL) met een vaste temperatuur van 0 om reproduceerbaarheid te garanderen.

RQ1 (Translator Setting):
- Input: Instantiekenmerken, voorspelde waarschijnlijkheid en de referentie-gerangschikte lijst van kenmerken afgeleid van het baseline model.
- Taak: De LLM moet een gerangschikte lijst van kenmerken produceren die strikt voldoet aan de verstrekte referentievolgorde.
- Restrictie: Strikte JSON-output format; geen externe kennis of inferentie toegestaan.
- Metrieken: Top-K Kenmerk Overlap en Kendall's $\tau$ coëfficiënt.
RQ2 (Autonomous Explainer Setting):
- Input: Instantiekenmerken, voorspelde waarschijnlijkheid en instructies voor de taak. Geen referentierangschikkingen verstrekt.
- Strategieën: Vergelijking van Zero-shot (alleen instructies) versus Few-shot (instructies + twee demonstratievoorbeelden van gevallen met hoog/laag risico met hun referentierangschikkingen).
- Condities:
  1. Top-4: De LLM geeft alleen de top 4 meest belangrijke kenmerken terug (simulatie van negatieve besluitvormingsberichten/adverse action notices).
  2. Full-Ranking: De LLM geeft een volledige rangschikking van alle 24 kenmerken terug.
- Metrieken: Top-K Overlap en Kendall's $\tau$ ten opzichte van de grondwaarheid-referentierangschikkingen.

3. Belangrijkste Resultaten

RQ1: LLM als Translator

Hoge Structurele Getrouwheid: Wanneer referentierangschikkingen expliciet werden verstrekt, vertoonden de LLM's een bijna perfecte getrouwheid.
Metrieken: Voor alle schema-valide outputs was de Overlap@K 1,000 en Kendall's $\tau$ 1,000 voor alle afkappunten ( $K=5, 10, 15, 20$ ) voor zowel de baseline modellen als alle drie de LLM's.
Robuustheid: Van de 3.000 totale runs werd slechts één instantie van een kenmerknaam-substitutie waargenomen (Claude-Sonnet-4.5 verving "Past 2 Months" door "Past 2 Years"). Geen dubbele kenmerken of foutieve JSON-structuren werden gevonden.
Conclusie: LLM's zijn zeer betrouwbaar in het herformatteren en reproduceren van aangeleverde attributiestructuren onder strikte beperkingen.

RQ2: LLM als Autonome Uitlegger

Beperkte Afstemming: Zonder referentierangschikkingen vertoonden de LLM's slechts een gedeeltelijke afstemming met de model-gebaseerde verklaringen.
Top-4 Conditie:
- Zero-shot: De gemiddelde Overlap@4 was zeer laag (bijv. 0,064–0,199 voor Logistische Regressie; 0,102–0,233 voor XGBoost).
- Few-shot: Prestaties verbeterden, maar bleven onvoldoende voor zelfstandig gebruik. Voor Logistische Regressie verbeterde GPT-4-turbo naar 0,515, maar voor XGBoost waren de verbeteringen marginaal (max. 0,383).
- Observatie: Few-shot prompting hielp bij het beter herstellen van lineaire structuren (Logistische Regressie) dan complexe, niet-lineaire interacties (XGBoost).
Full-Ranking Conditie:
- Schema Geldigheid: Gemini-2.5-Flash faalde regelmatig in het genereren van volledige lijsten van 24 kenmerken bij lange prompts, wat resulteerde in afgekapte outputs.
- Afstemming: Zelfs voor valide outputs (GPT-4-turbo, Claude-Sonnet) verbeterde de Overlap@K met few-shot prompting (bijv. de O@5 van Logistische Regressie steeg van ~0,39 naar ~0,61), maar bereikte nooit perfectie.
- Consistentie van Volgorde: De Kendall's $\tau$ waarden bleven bescheiden (meestal < 0,4), wat aangeeft dat hoewel LLM's wellicht sommige relevante kenmerken identificeren, zij er niet in slagen de correcte relatieve volgorde van de volledige attributiestructuur te bewaren.

4. Belangrijkste Bijdragen en Claims

Primaire Bevindingen

De studie stelt een duidelijk onderscheid vast tussen LLM's als narratieve interfaces versus autonome uitleggers:

Betrouwbaarheid als Vertalers: LLM's kunnen model-gebaseerde rangschikkingen betrouwbaar reproduceren wanneer die rangschikkingen als input worden verstrekt. Ze functioneren effectief als "narratieve interfaces" die kwantitatieve attributies omzetten in menselijk leesbare formaten zonder de onderliggende logica te wijzigen.
Onbetrouwbaarheid als Autonome Uitleggers: LLM's kunnen niet betrouwbaar de belangrijkheid van kenmerken afleiden die overeenkomen met complexe kredietrisicomodellen (met name niet-lineaire modellen zoals XGBoost) uitsluitend op basis van de inputgegevens en prompts. Hun outputs worden gedreven door algemene domeinvoorkennis en taalpatronen in plaats van de specifieke gefitte modelstructuur.

Betekenis voor Kredietrisicobeheer (Governance)

Geen Vervanging voor Formele XAI: Het artikel betoogt dat LLM's de formele attributiemethoden (zoals SHAP of coëfficiënt-decompositie) in kredietrisicobeheer niet mogen vervangen. Autonome LLM-verklaringen kunnen plausibele factoren selecteren die niet de werkelijke beslissingslogica van het goedgekeurde model weerspiegelen, wat modelrisico introduceert.
Governance-georiënteerde Inzet: De aanbevolen use case is een hybride workflow: Formele XAI-methoden genereren de controleerbare attributierangschikkingen, en LLM's dienen als de interface om deze rangschikkingen te vertalen naar coherente, domein-geïnformeerde narratieven voor belanghebbenden.
Beperkingen: De studie erkent beperkingen, waaronder het gebruik van een enkele dataset, de focus op rangschikking-afstemming in plaats van gebruikersuitkomsten, en het gebrek aan perturbatie-stress-tests (bijv. verschoven rangschikkingen).

Conclusie

Het paper concludeert dat hoewel LLM's veelbelovend zijn voor het verbeteren van de toegankelijkheid van kredietrisicoverklaringen, zij momenteel niet de getrouwheid bezitten om te dienen als onafhankelijke bronnen van verklarende verantwoording. Hun rol moet beperkt blijven tot het formatteren en narreren van vooraf berekende, controleerbare attributies in plaats van het autonoom afleiden daarvan.