Machine Learning for Stress Testing: Uncertainty Decomposition in Causal Panel Prediction

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je de kapitein bent van een groot schip (een bank) dat door een storm (een economische crisis) moet varen. De regelgevers (zoals de Fed) vragen je: "Als de wind zo hard gaat waaien dat de unemployment rate (werkloosheid) stijgt tot 10%, hoeveel schepen (kredieten) gaan dan zinken?"

Vroeger deden banken dit door te kijken naar de geschiedenis: "De laatste keer dat de wind 5% was, zonken 10 schepen. Dus als de wind 10% is, zinken waarschijnlijk 20." Dit is voorspelling. Maar het probleem is dat de wereld niet statisch is. Er zijn onzichtbare factoren (zoals paniek op de beurs of politieke beslissingen) die zowel de wind als het zinken van schepen beïnvloeden. Als je die niet meetelt, is je voorspelling een gok zonder garantie.

Deze paper, geschreven door Yu Wang en collega's, biedt een nieuwe, slimmere manier om deze "stress-test" te doen. Ze noemen het een Drie-Lagen Onzekerheids-decompositie. Laten we dit uitleggen met een analogie van een kookrecept in een onbekende keuken.

1. Het Probleem: De "Onzichtbare Ingrediënten"

Stel je voor dat je een soep maakt (de kredietverliezen) en je wilt weten wat er gebeurt als je heel veel peper toevoegt (de stress-situatie).

Het oude probleem: Je kijkt naar je oude recepten. Maar misschien was er een onzichtbare factor, zoals de kwaliteit van het water of de temperatuur van de oven, die ook de smaak beïnvloedde. Als je dit negeert, denk je dat de peper de schuld is, terwijl het misschien het water was.
De oplossing van deze paper: Ze zeggen: "We gaan niet doen alsof we alles weten. We gaan eerlijk zeggen: 'Dit is wat we zien, en dit is de marge van onzekerheid door de dingen die we niet zien.'"

2. De Oplossing: De Drie-Lagen Onzekerheid

De auteurs bouwen een frame dat de onzekerheid in drie duidelijke lagen splitst. Denk hierbij aan een dubbelglasraam met een tussenlaag:

Laag 1: De "Rekenfout" (Estimation Uncertainty)

Dit is de onzekerheid omdat je niet oneindig veel data hebt.

Analogie: Je hebt maar 10 metingen gedaan van hoe de soep smaakt. Als je er 1000 had, zou je het exact weten. Nu heb je een kleine marge van fouten omdat je dataset beperkt is.
In de paper: Dit wordt berekend met geavanceerde statistiek (conformele kalibratie). Het zegt: "Op basis van de data die we hebben, ligt het antwoord hier ergens in dit blauwe bandje."

Laag 2: De "Onzichtbare Ingredienten" (Confounding Uncertainty)

Dit is de grootste uitdaging: wat als er een onbekende factor is die de uitkomst beïnvloedt?

Analogie: Stel, er is een geheim ingrediënt in de keuken dat je niet ziet. Hoeveel invloed kan dat hebben? De paper zegt: "Laten we aannemen dat dit geheim ingrediënt maximaal X invloed heeft. Dan verschuift je antwoord naar links of rechts."
De "Breakdown Value": Dit is een heel slim getal dat ze introduceren. Het is als een alarmknop. Het zegt: "Onze conclusie is veilig, tenzij het geheim ingrediënt sterker is dan 50%. Als het sterker is dan 50%, dan is onze voorspelling waardeloos." Dit geeft regelgevers een duidelijk getal om over te praten: "We zijn veilig, tenzij het onbekende risico groter is dan dit specifieke niveau."

Laag 3: De "Afstand tot de Rand" (Extrapolation Cost)

Wat als je een scenario test dat nog nooit is gebeurd? (Bijvoorbeeld: een werkloosheid van 20%, terwijl de hoogste ooit 15% was).

Analogie: Je probeert een recept te koken in een keuken die je nog nooit hebt gezien. Hoe ver durf je te gaan?
De oplossing: De paper gebruikt een waarschuwingslamp. Als je te ver afwijkt van de bekende data, zegt het systeem: "Stop! De garantie is nu verbroken. Dit is geen voorspelling meer, dit is een fictief scenario." Het meet hoe "duur" het is om naar dat nieuwe scenario te extrapoleren.

3. De "Versterkingsfactor" (Hoe ver kunnen we kijken?)

Een ander belangrijk punt is het voorspellen van de toekomst.

Analogie: Stel je voor dat je een bal rolt over een vloer.
- Als de vloer glad is (stabiliteit), rolt de bal langzaam en kun je voorspellen waar hij stopt.
- Als de vloer een helling heeft (een "versterkende" dynamiek), rolt de bal sneller en sneller. Hoe verder je kijkt, hoe groter de fout wordt.
De paper: Ze hebben een formule bedacht die precies aangeeft: "Je kunt 6 maanden vooruit kijken, maar na 6 maanden wordt de fout zo groot dat het nutteloos is." Dit geeft een concreet antwoord op de vraag: "Hoe ver vooruit kunnen we veilig kijken?"

Waarom is dit belangrijk voor de "gewone" mens?

Vroeger gaven banken en regelgevers één getal: "Bij een crisis verliezen we 10 miljard." Dit klinkt zeker, maar het is vaak een illusie.

Met deze nieuwe methode zeggen ze:

Eerlijkheid: "We weten dat we niet alles weten."
Transparantie: "Hier is de foutmarge door onze data (Laag 1), hier is de marge door onbekende factoren (Laag 2), en hier is de waarschuwing dat we te ver de toekomst in kijken (Laag 3)."
Besluitvorming: Een regelaar kan nu zeggen: "Oké, we accepteren dit risico zolang het geheimgevaar (Laag 2) niet groter is dan 50%."

Samenvatting in één zin

In plaats van een gok te doen met een "zeker" getal, biedt deze paper een eerlijk, transparant raamwerk dat precies laat zien hoe ver je kunt kijken, hoe groot de onbekende risico's zijn, en wanneer je moet stoppen met voorspellen en moet zeggen: "Dit is te onzeker om een garantie te geven."

Het is alsof je van een donkere weg rijden met een auto die niet alleen de lichten aan doet, maar ook een bordje plaatst dat zegt: "Voorbij dit punt is het mistig, en we weten niet of er een afgrond ligt." Dat is veiliger dan blind doorrijden.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Regulatieve stress-toetsing (zoals vereist door de Dodd-Frank Act en de CCAR van de Federal Reserve) vraagt om een fundamenteel causale vraag: Wat zouden de kredietverliezen zijn als de werkloosheid een specifieke stress-patroon zou volgen?

Huidige praktijken behandelen dit echter als een puur voorspellingsprobleem: modellen worden getraind op historische data en vervolgens geëxtrapoleerd onder stress-scenario's. Dit benadert de "causale kloof" niet formeel. Het onderscheid tussen "verliezen wanneer de werkloosheid stijgt" (observatie) en "verliezen omdat de werkloosheid stijgt" (causaliteit) wordt genegeerd.

Het kernprobleem: Werkloosheid is endogeen; onwaarneembare factoren (zoals financiële condities, beleidsreacties) drijven zowel de werkloosheid als de kredietverliezen aan.
De beperking van bestaande methoden: Traditionele causale panel-methoden (zoals Synthetic Controls) vereisen een controlegroep van niet-betrokken eenheden, wat in macro-economische stress-toetsing onmogelijk is (alle eenheden zijn blootgesteld aan hetzelfde macro-scenario). Daarnaast maken ze vaak de onrealistische aanname van conditionele exogeniteit.

Methodologie: Een Raamwerk voor Causale Set-Identificatie

De auteurs stellen een raamwerk voor dat deze dilemma's omzeilt door causale set-identificatie te combineren met machine learning en conformele voorspelling. Het doel is om de onzekerheid eerlijk te ontleden in wat uit data kan worden geleerd en wat afhankelijk is van aannames over verstorende factoren (confounding).

Het raamwerk bestaat uit vier hoofdcomponenten:

Observatieve Identificatie van Pad-Conditionele Gemiddelden:
- In plaats van een controlegroep te zoeken, wordt gebruik gemaakt van iteratieve regressie op panel-data.
- Onder mild stationariteitsaannames wordt het conditionele gemiddelde $m(\iota, a)$ (de verwachte uitkomst gegeven de staat $\iota$ en de macro-variabele $a$ ) geïdentificeerd uit pre-periode data.
- Dit maakt het mogelijk om continue macro-paden te analyseren zonder een controlegroep.
Causale Set-Identificatie onder Beperkte Verstorende Factoren:
- In plaats van verstorende factoren te negeren, worden ze begrensd via een gevoeligheidsparameter ( $c_h$ ), gebaseerd op de traditie van Manski (1990).
- De auteurs leiden een scherp geïdentificeerd interval af voor het causale effect: $\tau^{do}_h \in [\tau^{obs}_h \pm 2c_h]$ .
- Ze introduceren een breakdown-waarde ( $c^*_h$ ): de minimale sterkte van verstorende factoren waarbij het geïdentificeerde interval nul bevat. Dit biedt een enkele, interpreteerbare maatstaf voor robuustheid.
Oracle Ongelijkheid met Horizont-Afhankelijke Foutgrenzen:
- Voor het voorspellen over meerdere tijdstappen (recursive rollout) wordt een oracle-ongelijkheid bewezen.
- De cumulatieve fout wordt bepaald door een versterkingsfactor ( $\Gamma_h$ ), die afhangt van de dynamiek van het systeem ( $\rho$ ).
- Dit geeft een kwantitatief antwoord op de vraag: "Hoe ver kunnen we betrouwbaar voorspellen?" Als het systeem expansief is ( $\rho > 1$ ), groeit de fout exponentieel, en wordt geadviseerd om over te schakelen naar een directe multi-horizon schatter.
Gewogen Conformele Kalibratiebanden:
- Om de onzekerheid te kwantificeren bij extrapolatie naar stress-scenario's (die buiten de historische steun liggen), worden importance-weighted conformal bands gebruikt.
- Dit corrigeert voor distributieveranderingen tussen historische en stress-paden.
- De methode introduceert diagnostische maatstaven ( $R_{weight}$ en $Beff$ ) om te detecteren wanneer de dekking garanderen degradeert door extreme extrapolatie. In dergelijke gevallen activeert het systeem een "abstention"-mechanisme (het weigert een voorspelling te doen).

Het Eindresultaat: Een drie-laags onzekerheidsontleding:
$\tau^{do}_h \in \left[ \hat{\tau}^{obs}_h \pm \Delta^{est}_h \pm \Delta^{conf}_h \right]$
Waarbij $\Delta^{est}_h$ de schattingsonzekerheid is (vanwege beperkte data) en $\Delta^{conf}_h$ de verstorende onzekerheid is (vanwege endogeniteit).

Belangrijkste Bijdragen

Causale Set-Identificatie voor Continue Macro-Paden: Aanpassing van de partiele identificatie-theorie aan panel-data met continue behandelingen, inclusief een scherpe geïdentificeerde set en een breakdown-waarde.
Oracle Ongelijkheid voor Recursieve Rollout: Een theoretisch bewijs dat de foutgroei in tijd expliciet koppelt aan de dynamische stabiliteit van het systeem, wat een concrete grens voor voorspellingshorizonten biedt.
Gewogen Conformele Kalibratie: Een aanpassing van conformele voorspelling voor stress-toetsing die extrapolatiekosten kwantificeert en transparant faalt wanneer garanties niet haalbaar zijn.
Uitgebreide Validatie: Validatie via synthetische data en semi-synthetische experimenten met echte FRED-werkloosheidsdata (inclusief een COVID-retrospectieve).

Resultaten

De experimenten bevestigen de theoretische resultaten:

Oracle Ongelijkheid: De theoretische foutgrenzen hielden in alle regimes (contracterend, kritisch, expanderend). In het expanderende regime ( $\rho > 1$ ) bleek de recursieve schatter snel onbetrouwbaar, terwijl de directe schatter stabiel bleef, wat het advies voor een "crossover" ondersteunt.
Kalibratie: De gewogen conformele banden leverden de verwachte dekking, zelfs onder zware stress-scenario's. De diagnostische maatstaven ( $R_{weight}$ ) namen correct toe bij extreme scenario's, wat de noodzaak van abstention signaleerde.
COVID-Retrospectieve: Bij het toepassen op het COVID-2020-scenario (een "Black Swan" gebeurtenis) detecteerde het raamwerk een enorme schattingsfout ( $\epsilon_n$ ) en activeerde het abstention-mechanisme. Dit toont aan dat het model niet claimt Black Swans te voorspellen, maar wel eerlijk rapporteert dat de kalibratiegaranties niet gelden.
Onzekerheidsontleding: De drie-laags decompositie toonde aan dat de ware causale waarde vaak buiten de schattingsband lag, maar binnen het verstorende enveloppe, wat het belang benadrukt van het rapporteren van beide onzekerheidsbronnen apart.

Betekenis en Impact

Dit paper biedt een fundamentele verschuiving in hoe stress-toetsing wordt benaderd:

Van "Punt + Ad-hoc" naar "Principieel": Het vervangt de huidige praktijk van "punt schatting + willekeurige gevoeligheidschecks" door een gestructureerd raamwerk met formele garanties voor elke onzekerheidslaag.
Transparantie voor Risicomanagement: De breakdown-waarde biedt een concreet taalgebruik voor communicatie met modelrisicomanagers: "De conclusie geldt tenzij onwaarneembare verstorende factoren een specifieke drempel overschrijden."
Brede Toepasbaarheid: Hoewel gericht op kredietrisico, is het raamwerk toepasbaar op elk scenario met panel-data, continue behandelingen en potentiële verstorende factoren (bijv. epidemiologie, beleidsevaluatie).

Samenvattend biedt dit onderzoek een robuust, wiskundig onderbouwd raamwerk dat de onzekerheid in stress-toetsing niet elimineert, maar zichtbaar en interpreteerbaar maakt, wat essentieel is voor betrouwbare regulatoire besluitvorming.