💰 quantitative finance

Could Large Language Models work as Post-hoc Explainability Tools in Credit Risk Models?

Diese Studie evaluiert den Einsatz von großen Sprachmodellen als Post-hoc-Erklärbarkeitstools für Kreditrisikomodelle und kommt zu dem Schluss, dass diese zwar unter kontrollierten Prompts zuverlässig Merkmalsrelevanz-Rankings reproduzieren können, am besten jedoch als narrative Schnittstellen statt als Ersatz für formale Attributionsmethoden eingesetzt werden sollten, da es eine begrenzte Übereinstimmung bei der autonomen Generierung von Erklärungen gibt.

Ursprüngliche Autoren: Wenxi Geng, Dingyuan Liu, Liya Li, Yiqing Wang

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wenxi Geng, Dingyuan Liu, Liya Li, Yiqing Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Kreditsachbearbeiter bei einer Bank. Sie haben einen superintelligenten, aber geheimnisvollen Computer-Roboter (ein „Machine-Learning-Modell“), der entscheidet, wer einen Kredit bekommt und wer nicht. Dieser Roboter ist großartig darin, vorherzusagen, wer das Geld zurückzahlen wird, aber er ist eine „Black Box“. Er gibt Ihnen nur ein „Ja“ oder „Nein“ und liefert dann eine Liste von Zahlen: „Dieser Faktor war zu 5 % wichtig, jener zu 3 %.“

Regulierungsbehörden und Kunden wollen jedoch keine Tabellenkalkulation mit Zahlen sehen. Sie wollen eine Geschichte: „Wir haben den Kredit abgelehnt, weil der Antragsteller zu viele Schulden hat und eine unsichere Erwerbshistorie aufweist.“

Hier kommen Large Language Models (LLMs) ins Spiel. Betrachten Sie diese als die „Übersetzer“ oder „Geschichtenerzähler“ der KI-Welt. Sie sind diejenigen, die diese langweiligen Zahlen nehmen und sie in einen freundlichen, lesbaren Absatz verwandeln können.

Dieses Paper stellt eine sehr spezifische Frage: Können wir diesen KI-Geschichtenerzählern vertrauen, dass sie die Wahrheit darüber sagen, warum der Roboter seine Entscheidung getroffen hat?

Die Forscher haben zwei verschiedene Tests durchgeführt, um dies herauszufinden, unter Verwendung echter Kreditdaten von LendingClub.

Test 1: Der „Diktat“-Test (Kann die KI Befehle befolgen?)

Der Aufbau: Die Forscher gaben dem KI-Geschichtenerzähler die exakte Liste der Gründe, die der Roboter verwendet hat, sortiert von der wichtigsten zur unwichtigsten. Dann fragten sie die KI: „Hier ist die Liste der Gründe. Bitte schreibe diese Liste als Geschichte um, aber stelle sicher, dass du die exakt gleiche Reihenfolge beibehältst.“

Das Ergebnis: Die KI-Geschichtenerzaller waren perfekt.
Stellen Sie sich eine strenge Lehrerin vor, die einem Schüler eine Liste von 24 Zutaten überreicht und sagt: „Schreibe ein Rezept unter Verwendung dieser Zutaten, in genau dieser Reihenfolge.“ Die KI tat exakt das. Sie hat keine Zutaten vertauscht, sie hat nichts vergessen und sie hat keine eigenen Ideen hinzugefügt. Sie hat die „Zahlenliste“ des Roboters treu in eine „Wortliste“ übersetzt, ohne die Bedeutung zu verändern.

Die Erkenntnis: Wenn man der KI die Fakten gibt, ist sie exzellent darin, diese in eine für Menschen lesbare Geschichte zu formaten. Sie agiert wie eine sehr zuverlässige Sekretärin.

Test 2: Der „Detektiv“-Test (Kann die KI es aus eigener Kraft herausfinden?)

Der Aufbau: Dieses Mal gaben die Forscher der KI nicht die Liste der Gründe. Sie gaben der KI lediglich die Daten des Antragstellers (Einkommen, Kreditwürdigkeit usw.) und die Entscheidung des Roboters. Sie fragten die KI: „Was glaubst DU basierend auf den Daten dieser Person die wichtigsten Gründe für diese Entscheidung sind?“

Das Ergebnis: Die KI-Geschichtenerzähler hatten Schwierigkeiten.
Stellen Sie sich vor, Sie fragen einen Detektiv, einen Verbrechen zu lösen, ohne ihm den Polizeibericht zu zeigen. Die KI versuchte, die Gründe basierend auf ihrem allgemeinen Wissen über die Welt zu erraten (wie z. B. „Oh, hohe Schulden sind normalerweise schlecht“).

Das Problem: Der Roboter (das Machine-Learning-Modell) trifft Entscheidungen basierend auf komplexen, verborgenen Mustern, die sich von der allgemeinen menschlichen Logik unterscheiden. Die Vermutungen der KI trafen oft nicht ins Schwarze.
Der „Few-Shot“-Trick: Die Forscher versuchten, der KI zu helfen, indem sie ihr zuerst zwei Beispiele zeigten (wie etwa: „Hier ist die Erklärung für einen ‚Ja‘-Kredit, und hier ist die Erklärung für einen ‚Nein‘-Kredit“). Dies half ein wenig, aber die KI konnte immer noch nicht die tatsächliche Argumentation des Roboters perfekt nachbilden, insbesondere bei den komplexeren Robotermodellen.

Die Erkenntnis: Wenn die KI versucht, als Detektiv zu fungieren und die Gründe aus eigener Kraft zu ergründen, erzählt sie oft die falsche Geschichte. Sie wählt vielleicht plausibel klingende Gründe, aber es sind nicht die tatsächlichen Gründe, die der Roboter verwendet hat.

Das abschließende Urteil: Der „Übersetzer“ vs. der „Detektiv“

Das Paper schließt mit einer klaren Regel für die Nutzung dieser Werkzeuge in der Bankenwelt:

Nutzen Sie die KI NICHT als Detektiv: Sie können die KI nicht raten lassen, warum ein Kredit abgelehnt wurde. Wenn Sie das tun, geben Sie dem Kunden eventuell einen Grund an, der zwar gut klingt, aber tatsächlich falsch ist. Das ist gefährlich für die Regulierung und das Vertrauen.
Nutzen Sie die KI ALS Übersetzer: Sie können die KI nutzen, um die offiziellen, mathematisch bewiesenen Gründe (die vom Roboter berechnet wurden) zu nehmen und sie in einen schönen, leicht lesbaren Brief für den Kunden zu verwandeln.

Die Metapher:
Betrachten Sie das Machine-Learning-Modell als einen Koch, der ein komplexes Gericht zubereitet.

Der KI-Übersetzer ist ein Feinschmecker-Kritiker, der hervorragend darin ist, das Gericht zu beschreiben, wenn der Koch ihm das Rezept gibt. Er kann eine wunderschöne Menübeschreibung schreiben.
Aber wenn Sie den Kritiker bitten, das Rezept zu erraten, indem er nur das Essen probiert (oh diesmal ohne Hilfe des Kochs), wird er wahrscheinlich die Zutaten falsch einschätzen.

Kurz gesagt: Large Language Models sind großartig darin, Mathematik in Worte zu verwandeln, aber sie sind schrecklich darin, die Mathematik im Voraus zu erraten. Im Kreditwesen müssen Sie immer die Mathematik (den Roboter) entscheiden lassen und die KI nur die Geschichte schreiben lassen.

Technisches Resümee: Können Large Language Models als Post-hoc-Erklärbarkeitstools in Kreditrisikomodellen fungieren?

1. Problemstellung

Die rasche Einführung komplexer Machine-Learning-Modelle (ML), wie etwa XGBoost und neuronale Netze, im Fintech-Lending hat die Vorhersagegenauigkeit verbessert, aber auch Opazität eingeführt, was Herausforderungen für die regulatorische Compliance (z. B. ECOA, FCRA) und das Risikomanagement darstellt. Während Post-hoc-XAI-Methoden (Explainable AI) wie SHAP und LIME numerische Merkmalsattributionen liefern, fehlt ihnen oft die semantische Klarheit und die narrative Struktur, die für menschliche Entscheidungsträger und die regulatorische Berichterstattung erforderlich sind.

Diese Studie untersucht, ob Large Language Models (LLMs) diese Lücke schließen können, indem sie als Post-hoc-Erklärbarkeits-Schnittstellen für Kreditrisikomodelle dienen. Konkret werden zwei unterschiedliche Forschungsfragen adressiert:

RQ1 (LLM als Übersetzer): Können LLMs die modellbasierten Merkmalswichtigkeits-Rankings originalgetreu bewahren und reproduzieren, wenn diese explizit als Input bereitgestellt werden?
RQ2 (LLM als autonomer Erklärer): Können LLMs autonom Merkmalswichtigkeits-Rankings ableiten, die mit modellbasierten Erklärungen (z. B. SHAP oder logistischen Koeffizienten) übereinstimmen, ohne dass die Referenz-Rankings bereitgestellt werden, basierend auf den Instanzdaten und Prompting-Strategien?

2. Methodik

Daten und Baseline-Modelle

Datensatz: Ein öffentlich verfügbarer LendingClub-Verbraucherkredit-Datensatz (2007–2011), bestehend aus 39.239 Kreditantragstellern mit 24 unabhängigen Merkmalen. Die Zielvariable ist ein binärer Indikator für einen Kreditausfall (Charged Off vs. Fully Paid).
Baseline-Modelle: Zwei Kreditrisikomodelle wurden trainiert, um die Ground-Truth-Referenzattributionen zu generieren:
1. Logistische Regression: Liefert inhärent interpretierbare, koeffizientenbasierte lineare Attributionen.
2. XGBoost: Ein hochmoderner baumbasierter Ensemble-Modell, der Nichtlinearitäten erfasst, wobei die Attributionen via SHAP (SHapley Additive exPlanations) abgeleitet werden.
Evaluationsmetriken: Die Vorhersageleistung wurde mittels PR-AUC, dem makro-gemittelten F1-Score und der Kolmogorov–Smirnov-Statistik (KS) bewertet. XGBoost übertraf die logistische Regression signifikant (PR-AUC: 0,38 vs. 0,27; KS: 40,4 vs. 28,79).

LLM-Experimentelles Design

Drei kommerzielle LLMs wurden evaluiert: GPT-4-turbo, Claude-Sonnet-4.5 und Gemini-2.5-Flash. Die Experimente nutzten In-Context Learning (ICL) mit einem auf 0 fixierten Temperature-Wert, um die Reproduzierbarkeit zu gewährleisten.

RQ1 (Translator-Setting):
- Input: Instanzmerkmale, vorhergesagte Wahrscheinlichkeit und die Referenz-Rangliste der Merkmale, die aus dem Baseline-Modell abgeleitet wurde.
- Aufgabe: Das LLM muss eine Rangliste der Merkmale ausgeben, die strikt der bereitgestellten Referenzreihenfolge entspricht.
- Constraint: Striktes JSON-Ausgabeformat; kein externes Wissen oder Schlussfolgerungen erlaubt.
- Metriken: Top-K Feature Overlap und Kendall's $\tau$ Koeffizient.
RQ2 (Autonomous Explainer Setting):
- Input: Instanzmerkmale, vorhergesagte Wahrscheinlichkeit und Aufgabenanweisungen. Keine Referenz-Rankings bereitgestellt.
- Strategien: Vergleich von Zero-shot (nur Anweisungen) vs. Few-shot (Anweisungen + zwei Demonstrationsbeispiele von High- und Low-Risk-Fällen mit ihren Referenz-Rankings).
- Bedingungen:
  1. Top-4: Das LLM gibt nur die 4 wichtigsten Merkmale zurück (Simulation von Adverse Action Notices).
  2. Full-Ranking: Das LLM gibt eine vollständige Rangliste aller 24 Merkmale zurück.
- Metriken: Top-K Overlap und Kendall's $\tau$ gegen die Ground-Truth-Referenz-Rankings.

3. Kernergebnisse

RQ1: LLM als Übersetzer

Hohe strukturelle Treue: Wenn Referenz-Rankings explizit bereitgestellt wurden, zeigten die LLMs eine nahezu perfekte Treue.
Metriken: Für alle schema-validen Ausgaben betrug der Overlap@K 1,000 und Kendall's $\tau$ war 1,000 über alle Cutoffs ( $K=5, 10, 15, 20$ ) hinweg, sowohl für beide Baseline-Modelle als auch für alle drei LLMs.
Robustheit: Von insgesamt 3.000 Durchläufen wurde nur ein einzener Fall einer Merkmalsnamen-Substitution beobachtet (Claude-Sonnet-4.5 ersetzte „Past 2 Months“ durch „Past 2 Years“). Es wurden keine Duplikate oder fehlerhaften JSON-Strukturen gefunden.
Fazit: LLMs sind äußerst zuverlässig darin, bereitgestellte Attributionsstrukturen unter strikten Bedingungen zu reformatieren und zu reproduzieren.

RQ2: LLM als autonomer Erklärer

Begrenzte Übereinstimmung: Ohtlne Referenz-Rankings zeigten die LLMs nur eine teilweise Übereinstimmung mit den modellbasierten Erklärungen.
Top-4 Bedingung:
- Zero-shot: Der mittlere Overlap@4 war sehr gering (z. B. 0,064–0,199 für Logistische Regression; 0,102–0,233 für XGBoost).
- Few-shot: Die Performance verbesserte sich, blieb jedoch unzureichend für eine eigenständige Nutzung. Für die Logistische Regression verbesserte sich GPT-4-turbo auf 0,515, aber für XGBoost waren die Verbesserungen marginal (max. 0,383).
- Beobachtung: Few-shot Prompting half dabei, lineare Strukturen (Logistische Regression) besser zu rekonstruieren als komplexe, nicht-lineare Interaktionen (XGBoost).
Full-Ranking Bedingung:
- Schema-Validität: Gemini-2.5-Flash scheiterte häufig daran, vollständige 24-Merkmale-Listen unter langen Prompts zu generieren, was zu gekürzten Ausgaben führte.
- Übereinstimmung: Selbst bei validen Ausgaben (GPT-4-turbo, Claude-Sonnet) verbesserte sich der Overlap@K durch Few-shot Prompting (z. B. stieg der O@5 der Logistischen Regression von ~0,39 auf ~0,61), erreichte aber nie Perfektion.
- Konsistenz der Ordnung: Die Kendall's $\tau$ -Werte blieben bescheiden (meist < 0,4), was darauf hindeutet, dass LLMs zwar einige relevante Merkmale identifizieren können, aber die korrekte relative Ordnung der vollständigen Attributionsstruktur nicht beibehalten können.

4. Zentrale Beiträge und Thesen

Primäre Erkenntnisse

Die Studie etabliert eine klare Unterscheidung zwischen LLMs als narrativen Schnittstellen versus autonomen Erklärern:

Zuverlässigkeit als Übersetzer: LLMs können modellbasierte Rankings zuverlässig reproduzieren, wenn diese als Input bereitgestellt werden. Sie fungieren effektiv als „narrative Schnittstellen“, die quantitative Attributionen in menschenlesbare Formate umwandeln, ohne die zugrunde liegende Logik zu verändern.
Unzuverlässigkeit als autonome Erklärer: LLMs können nicht zuverlässig Merkmalswichtigkeits-Rankings inferieren, die mit komplexen Kreditrisikomodellen (insbesondere nicht-linearen Modellen wie XGBoost) übereinstimmen, wenn sie lediglich auf Eingangsdaten und Prompts basieren. Ihre Ausgaben werden von allgemeinen Domänen-Priors und Sprachmustern getrieben statt von der spezifischen gefitteten Modellstruktur.

Bedeutung für die Kreditrisiko-Governance

Kein Ersatz für formale XAI: Die Arbeit argumentt, dass LLMs nicht die formalen Attributionsmethoden (wie SHAP oder Koeffizienten-Dekomposition) in der Kreditrisiko-Governance ersetzen sollten. Autonome LLM-Erklärungen könnten plausible Faktoren auswählen, die nicht die tatsächliche Entscheidungslogik des genehmigten Modells widerspiegeln, was das Modellrisiko erhöht.
Governance-orientierte Implementierung: Der empfohlene Anwendungsfall ist ein Hybrid-Workflow: Formale XAI-Methoden generieren die prüfbaren Attributions-Rankings, und LLMs dienen als Schnittstelle, um diese Rankings in kohärente, domänenspezifische Narrative für Stakeholder zu übersetzen.
Limitierungen: Die Studie räumt Einschränkungen ein, einschließlich der Verwendung eines einzelnen Datensatzes, des Fokus auf die Rank-Übereinstimmung statt auf Nutzerergebnisse und des Fehlens von Perturbations-Stresstests (z. B. gemischte Rankings).

Fazit

Die Arbeit kommt zu dem Schluss, dass LLMs zwar Potenzial bieten, die Zugänglichkeit von Kreditrisiko-Erklärungen zu verbessern, derzeit jedoch nicht über die notwendige Treue verfügen, um als unabhängige Quellen für die Erklärbarkeit und Rechenschaftspflicht zu dienen. Ihre Rolle sollte darauf beschränkt sein, vorab berechnete, prüfbare Attributionen zu formatieren und zu narrativieren, anstatt diese autonom zu inferieren.