Estimating Decision Rules from Large Language Model Agents: An Application to Bank Balance-Sheet Management

Banken zijn de leidingen van de moderne economie, die geld verplaatsen van spaarders naar leners. Wanneer de rentetarieven stijgen, zoals in 2022 en 2023 het geval was, kan de waarde van de langetermijnleningen en obligaties die banken aanhouden dalen, terwijl de kosten van het geld dat zij van deposanten hebben geleend, een tijdje laag kunnen blijven. Dit creëert een delicaat evenwicht. Als een bank te veel waarde verliest, of als deposanten plotseling in paniek raken en hun geld terugtrekken, kan de bank failliet gaan. Om te begrijpen hoe dit gebeurt, bouwen toezichthouders en bankiers computermodellen. Deze modellen proberen te voorspellen hoe mensen zullen reageren wanneer de rentes veranderen: zal een spaarder zijn geld verplaatsen naar een beter aanbod, of zal een lener stoppen met het afsluiten van nieuwe leningen? Traditioneel vertrouwen deze modellen op eenvoudige wiskundige formules gebaseerd op historische gegevens. Maar het verleden voorspelt niet altijd de toekomst, vooral wanneer de economische omgeving snel verandert.

Onderzoekers zijn onlangs begonnen met het gebruik van een nieuw soort hulpmiddel om deze hiaten op te vullen: large language models (grote taalmodellen). Dit zijn dezelfde krachtige computerprogramma's die essays kunnen schrijven, vragen kunnen beantwoorden en gesprekken kunnen voeren. In deze nieuwe benadering behandelen wetenschappers deze programma's niet als chatbots, maar als gesimuleerde mensen. Ze geven de computer een rol, zoals een bankmanager of een huishouden dat spaart, en vragen de computer beslissingen te nemen in een virtuele economie. Het doel is om te zien of de keuzes van de computer vertaald kunnen worden naar de eenvoudige wiskundige regels die toezichthouders gebruiken om de veiligheid van echte banken te testen. Dit gaat niet over het vervangen van menselijke bankiers door computers, maar over het gebruiken van het vermogen van de computer om complex gedrag te simuleren om betere, realistischere modellen te bouwen van hoe een bank een crisis zou kunnen overleven.

Een onderzoeker zette zich scharpe om dit idee te testen met behulp van een gesimuleerde bank in de eurozone. De onderzoeker creëerde een digitale omgeving waarin een enkele bank twaalf maandelijkse beslissingen moest nemen: welke rente te betalen op spaargeld, welke marge te rekenen op nieuwe leningen, en hoe het geld van vervallende obligaties te herbeleggen. Tegelijkertijd reageerden vier groepen gesimuleerde klanten — spaarders die zeer rentegevoelig zijn, spaarders die minder gevoelig zijn, en leners met ofwel variabele of vaste rentetarieven — op de keuzes van de bank en op het bredere economische nieuws. De onderzoeker vroeg eerst aan een large language model om als de bankmanager en als de klanten op te treden, waarbij instructies werden gegeven om te handelen volgens specifieke doelen en beperkingen. De computer genereerde duizenden beslissingen over verschillende economische scenario's, van kalme jaren tot perioden van stijgende rentes en zelfs gesimuleerde bankruns waarbij deposanten in paniek raken.

De kernuitdaging was dat de beslissingen van de computer complex en gevarieerd waren, terwijl de modellen die toezichthouders gebruiken eenvoudige vergelijkingen moeten zijn. De onderzoeker stelde een fundamentele vraag: konden zij de rommelige, intelligent klinkende keuzes gemaakt door de computer distilleren tot een paar eenvoudige regels die een mens zou kunnen opschrijven? Er werd geprobeerd het gedrag van de computer in standaard wiskundige formules te passen. Aanvankelijk kwamen de eenvoudige formules niet goed overeen met het gedrag van de computer. De computer, optredend als bankmanager, leek anders te reageren op stress dan de oude formules voorspelden. Het was voorzichtiger met uitlenen en agressiever met het verhogen van de deposito-rente wanneer er problemen ontstonden.

Om dit op te lossen, ontwikkelde de onderzoeker een nieuwe methode. De onderzoeker gebruikte de beslissingen van de computer om een nieuwe set regels op te stellen, die vervolgens werden getest tegen verse scenario's waar de computer nog niet eerder mee te maken had gehad. De onderzoeker ontdekte dat er inderdaad een set eenvoudige, voorwaardelijke regels gecreëerd kon worden die het gedrag van de computer nauwgezet nabootsten. Bijvoorbeeld, de nieuwe regels lieten zien dat de bankmanager in normale tijden de deposito-rente zeer dicht bij het marktgemiddelde zou houden. Echter, als er een stresssignaal verscheen, zoals een waarschuwing over de liquiditeit van de bank, zou de manager de deposito-rente onmiddellijk aanzienlijk verhogen om te voorkomen dat klanten zouden vertrekken. Deze regelgebaseerde benadering werkte opmerkelijk goed. In tien gesimuleerde jaren voorspelden de nieuwe eenvoudige regels de uiteindelijke winst van de bank met een fout van minder dan een derde van een procentpunt. Ze voorspelden ook correct hoe de liquiditeit van de bank stand zou houden tijdens een crisis.

De studie onthulde ook iets verrassends over hoe de computer haar beslissingen nam. De onderzoeker merkte op dat het gedrag van de computer sterk afhing van de specifieke instructies die aan de computer werden gegeven. Wanneer de onderzoeker de computer opdracht gaf om op te treden als een "rentegevoelige" deposant, gedroeg de computer zich ook zo. Maar wanneer die specifieke gedragstips werden verwijderd en de computer alleen de ruwe feiten over de bank en de economie kreeg, maakte de computer nog steeds vergelijkbare keuzes, hoewel met enkele verschillen. Bijvoorbeeld, zonder de specifieke instructie om "ongevoelig" te zijn, waren de gesimuleerde huishoudens van de computer veel eerder geneigd hun geld op te nemen wanneer de rentetarieven veranderden. Dit suggereert dat de computer niet alleen een verborgen script volgde, maar ook echt de verstrekte informatie afwog. De onderzoeker was echter voorzichtig om te vermelden dat deze resultaten beschrijven hoe de computer zich gedroeg onder specifieke instructies, en niet hoe echte menselijke bankiers of klanten daadwerkelijk handelen.

Een van de meest opvallende bevindingen betrof het risico op een bankrun. In de simulaties, als de liquiditeitsratio van de bank — een maatstaf voor hoeveel contant geld de bank op voorraad heeft — onder een bepaalde publieke drempel zakte, bleven de gesimuleerde deposanten geld opnemen, zelfs nadat het initiële slechte nieuws was gepasseerd. Dit creëerde een zelfversterkende paniek. De onderzoeker ontdekte dat deze uitkomst afhing van de manier waarop de informatie werd gepresenteerd. Als het publiek een maandelijkse momentopname zag van de gezondheid van de bank, kon de paniek maandenlang aanhouden. Maar als het publiek alleen een gemiddelde zag van de gezondheid van de bank over een jaar, stopte de paniek veel sneller. Dit benadrukt hoe de manier waarop toezichthouders informatie delen, kan interageren met het gedrag van deposanten om een crisis ofwel te kalmeren ofwel te verergeren.

De onderzoeker verkende ook de afweging tussen winst en veiligheid. De onderzoeker vond dat als de bank langere termijn vastrentende activa aanhield, zij in kalme jaren meer geld kon verdienen. Echter, deze strategie maakte de bank veel kwetsbaarder als de rentetarieven scherp stegen. In de simulaties leidde het verlengen van de looptijd van deze activa van twee naar zes jaar tot een stijging van de jaarlijkse winst van de bank met bijna twee procentpunten in goede tijden. Maar wanneer de rentetarieven met drie procentpunten stegen, kelderde de economische waarde van de bank — de werkelijke waarde van de activa minus de schulden — met honderden miljoenen euro's. Dit bevestigde een klassieke financiële waarheid: hogere rendementen in goede tijden gaan vaak gepaard met hogere risico's in slechte tijden.

Uiteindelijk demonstreert dit werk een nieuwe manier om modellen voor het financiële systeem te bouwen. Door large language models te gebruiken om realistische beslissingen te genereren en deze vervolgens te vertalen naar eenvoudige, testbare regels, kunnen onderzoekers simulaties creëren die zowel flexibel als transparant zijn. De studie beweert niet dat deze computeragenten perfecte kopieën zijn van menselijk gedrag. In plaats daarvan laat het zien dat deze methode een krachtig hulpmiddel biedt voor het verkennen van "wat als"-vragen. Het stelt toezichthouders en bankiers in staat om te testen hoe een bank zou kunnen reageren op een crisis voordat deze plaatsvindt, met behulp van een model dat geworteld is in de complexe, adaptieve logica van moderne kunstmatige intelligentie, maar toch eenvoudig genoeg is om door mensen begrepen en gecontroleerd te worden. De resultaten suggereren dat hoewel de specifieke cijfers afhangen van de instructies die aan de computer worden gegeven, de onderliggende gedragspatronen — zoals de neiging om de rente te verhogen tijdens een paniek of de afweging tussen veiligheid en winst — robuust zijn en verdere studie waard zijn.