Agentic AI Systems and Financial Stability, From Model Risk to Systemic Risk

Financiële stabiliteit rust op een geruststellende aanname: dat wanneer één deel van het systeem breekt, de rest de schok kan absorberen. Als één bank faalt, overleven de anderen; als één handelaar een fout maakt, corrigeert de markt zichzelf. Dit werkt omdat fouten meestal uniek zijn voor die specifiele instelling, verspreid en ongerelateerd. Maar een nieuw soort risico komt opzetten dat dit vangnet verbrijzelt. Het komt voort uit "agentische" kunstmatige intelligentie—systemen die niet alleen de toekomst voorspellen, maar ook acties ondernemen in de echte wereld, zoals het verplaatsen van geld, het schrijven van code of het beheren van patiëntenzorg. Wanneer veel van deze agenten zijn gebouwd op dezelfde onderliggende softwarefundering, blijft een enkele fout of een enkele hack niet lokaal. In plaats daarvan valt het elke agent tegelijk aan, waardoor een kleine glitch verandert in een systeembrede instorting.

Onderzoekers bij de Federal Reserve hebben jarenlang bestudeerd hoe men risico's in traditionele banksector beheert, waarbij ze de kans op het wanbetalen van een lening meten en geld opzij zetten om het verlies te dekken. Ze hebben nu dezelfde rigoureuze denkwijze toegepast op deze nieuwe AI-systemen, maar ze kwamen tot de conclusie dat de oude regels niet werken. Het kernprobleem is dat deze AI-agenten verschillen van menselijke werkers of traditionele software. Ze handelen met snelheid en autonomie, en wanneer ze een fout maken, is de schade vaak onomkeerbaar. Je kunt een frauduleuze overboeking niet "ongedaan maken" en je kunt een kritieke database niet "on-verwijderen". Omdat de schade permanent is en direct plaatsvindt, zijn de gebruikelijke vangnetten—zoals een back-up plan hebben of wachten om te zien wat er gebeurt voordat men reageert—nutteloos. De onderzoekers ontdekten dat de enige manier om een catastrofe te stoppen, is door te voorkomen dat deze überhaupt mogelijk is, door de gevaarlijke capaciteiten te verwijderen voordat het systeem wordt uitgevoerd.

De studie, die zich uitstrekt over zes afzonderlijke wiskundige onderzoeken, begint door naar een enkele AI-agent te kijken. In de traditionele financiële wereld wordt risico berekend door de waarschijnlijkheid van een gebeurtenis te vermenigvuldigen met de omvang van het verlies. De onderzoekers pasten dit aan voor AI, waarbij ze schade onderverdelen in drie delen: hoe waarschijnlijk het is dat de agent een schadelijke actie onderneemt, hoe ernstig die actie is, en hoe ver de reikwijdte ervan reikt. Ze ontdekten dat wanneer een agent onder een aanval staat, deze drie factoren niet onafhankelijk van elkaar werken. Een enkele kwaadwillende gebeurtenis kan een agent tegelijkertijd waarschijnlijker doen handelen, de schade verergeren en de omvang van de schade uitbreiden. Dit creëert een "wrong-way" risico waarbij het gevaar snel cumuleert. Het belangrijkste is dat zij bewezen hebben dat voor onomkeerbare schade, geen enkele hoeveelheid monitoring of het vermogen om fouten te herstellen het probleem kan oplossen. Als een actie niet ongedaan gemaakt kan worden, is de enige oplossing ervoor te zorgen dat de agent überhaupt niet de mogelijkheid heeft om die actie te ondernemen.

De onderzoekers breidden hun blik vervolgens uit van een enkele agent naar een vloot van duizenden, die allemaal draaien op hetzelfde fundatiemodel. Dit is waar het risico werkelijk systemisch wordt. In een normaal portfolio, als je veel verschillende beleggingen hebt, schaadt een falen in de ene de andere niet. Maar als elke agent in een vloot dezelfde hersenen deelt, treft een fout in die hersenen hen allemaal tegelijkertijd. De onderzoekers toonden aan dat, ongeacht hoeveel agenten je aan de vloot toevoegt, het risico niet afneemt. In plaats daarvan bereikt het een "vloer" die niet weg te diversifiëren is. Zelfs als de agenten in verschillende bedrijven of verschillende landen zijn, als ze vertrouwen op dezelfde onderliggende software, kan een enkele fout de hele groep ten val brengen. Dit is wat zij een "monocultuur" noemen: een systeem waarin iedereen kwetsbaar is voor exact dezelfde dreiging.

De studie onderzocht ook hoe deze agenten met elkaar interageren. In de echte wereld communiceren agenten vaak met elkaar, waarbij ze informatie delen of taken coördineren. De onderzoekers vonden dat deze interactie een nieuwe, verborgen dreiging creëert. Zelfs als de agenten op verschillende software zijn gebouwd, kunnen ze, als ze geprogrammeerd zijn om naar elkaar te luisteren, in crisistijd in elkaars voetsporen treden. Als één agent in paniek raakt en zijn gedrag verandert, volgen de anderen, wat een kettingreactie veroorzaakt die het risico verspreidt. Dit gebeurt zelfs zonder een gedeelde softwarefout. Bovendien kan een gecompromitteerde agent taal gebruiken om zijn gelijken te overtuigen om iets schadelijks te doen, wat een besmetting creert die zich verspreidt via conversatie in plaats van code. Dit betekent dat het simpelweg scheiden van de technische netwerken niet genoeg is; de manier waarop agenten communiceren, moet ook gecontroleerd worden.

Om te begrijpen hoe deze risico's in de loop van de tijd uitpakken, modelleerden de onderzoekers het systeem als een continue stroom van gebeurtenissen, vergelijkbaar met hoe aardbevingen of financiële crashes worden bestudeerd. Ze vonden dat het risico zich gedraagt als een zeldzame, massieve sprong in plaats van een langzame drift. Het systeem kan lange tijd stabiel lijken en dan plotseling instorten. Ze keken ook naar hoe men deze systemen tijdens het draaien kan controleren, met behulp van "guardrails" (vangrails) om slechte acties te stoppen. Ze bewezen dat voor onomkeerbare gebeurtenissen deze controles tijdens de uitvoering fundamenteel beperkt zijn. Als een actie al onomkeerbaar is, is wachten om het te detecteren en te stoppen te laat. De waarschijnlijkheid van een ramp hangt volledig af van het initiële ontwerp van het systeem, niet van hoe goed je het in de gaten houdt terwijl het draait. Geen enkele hoeveelheid monitoring kan een fout repareren die vanaf het begin in het systeem is ingebouwd.

De laatste hoofdstukken van de studie introduceerden een tegenstander—een hacker of aanvaller die ook geavanceerde AI gebruikt. De onderzoekers beschouwden dit als een spel waarbij de aanvaller probeert het zwakste punt te vinden en de verdediger probeert dit te blokkeren. Ze vonden dat wanneer aanvallers AI gebruiken, het systeem een veel aantrekkelijker doelwit wordt. Een gedeelde softwarefundering is als een enkele sleutel die elke deur in een gebouw opent; als een dief die sleutel vindt, kan hij overal tegelijk binnenkomen. De studie toonde aan dat in een gedecentraliseerde markt, waar elk bedrijf probeert zichzelf individueel te beschermen, iedereen onderinvesteert in de belangrijkste veiligheidsmaatregel: structurele preventie. Ze zullen geld uitgeven aan detectie en reactie omdat die gemakkelijker te zien en te meten zijn, maar ze zullen het moeilijke werk negeren om de gevaarlijke capaciteiten volledig te verwijderen. Dit laat het hele systeem kwetsbaar achter.

De onderzoekers concludeerden dat de enige effectieve manier om dit risico te beheersen, "structurele preventie" is. Dit betekent het systeem zo ontwerpen dat catastrofale acties fysiek onmogelijk zijn om uit te voeren, in plaats van te hopen ze te vangen nadat ze hebben plaatsgevonden. Het houdt in dat men gevaarlijke instrumenten verwijdert, permissies beperkt en ervoor zorgt dat agenten geen toegang hebben tot de delen van het systeem die onomkeerbare schade kunnen veroorzaken. De studie bewees dat deze aanpak de enige is die werkt tegen een groeiende, intelligente tegenstander. Naarmate AI-technologie verbetert en aanvallers bekwaamere worden, wordt de kosten van het proberen te detecteren en te reageren op elke nieuwe dreiging oneindig. In contrast hiermee is de kosten van het verwijderen van een gevaarlijke capaciteit een eenmalige investering die het systeem voor altijd beschermt, ongeacht hoe slim de aanvaller wordt.

Het artikel eindigt met een duidelijke boodschap voor toezichthouders en systeemontwerpers. Financiële stabiliteit in het tijdperk van AI kan niet worden bereikt door elke instelling nauwer in de gaten te houden of door te hopen dat een enkele fout zich niet zal verspreiden. Het risico is te diep en te onderling verbonden. De enige manier om het systeem te beveiligen, is door structurele keuzes te maken voordat het systeem überhaupt in gang wordt gezet. Dit betekent het beperken van de mate waarin een enkele softwarefundering kan worden vertrouwd, ervoor zorgen dat agenten geen onomkeerbare acties kunnen ondernemen, en het systeem zo ontwerpen dat een enkel punt van falen niet het hele netwerk ten val kan brengen. De wiskunde is duidelijk: je kunt een gedeelde fout niet wegdiversifiëren, je kunt een onomkeerbare fout niet detecteren en wegwerken, en je kunt niet snel genoeg reageren om een gecoördineerde aanval te stoppen. De enige oplossing is het systeem zo te bouwen dat de ramp nooit de kans krijgt om plaats te vinden.