Governing Agentic AI in FinTech
Dit artikel betoogt dat de primaire governance-beperking voor agentic AI in FinTech niet de capaciteit is, maar de verifieerbaarheid, waarbij de "verifieerbaarheidsgap" wordt geïntroduceerd en via empirische studies wordt aangetoond dat huidige systemen de reproduceerbaarheid en uitlegbaarheid missen die vereist zijn voor een verdedigbare delegatie van consequente financiële beslissingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je de kapitein bent van een ruimteschip, maar in plaats van het schip zelf te besturen, hebt je een briljante, supersnelle robotcrew ingehuurd om de navigatie af te handelen. Je zegt tegen hen: "Breng ons naar de rode planeet," en ze vliegen weg, terwijl ze kaarten controleren, brandstof berekenen en stuwraketten afvuren zonder bij elke stap toestemming van jou te vragen. Dit is de wereld van Agentic AI: kunstmatige intelligentie die niet alleen chat of gedichten schrijft, maar ook daadwerkelijk dingen doet, zoals leningen goedkeurt, aandelen koopt of geld beheert. Al een tijdje maken wetenschappers en bankiers zich zorgen over het "black box"-probleem — wat betekent dat de robot een beslissing neemt, maar niemand weet waarom of hoe hij het deed. De gebruikelijke oplossing was om het brein van de robot keer op keer te draaien om te zien of hij hetzelfde antwoord gaf. Maar hier komt de wending: wat als het brein van de robot elke keer verandert als je ernaar kijkt? Wat als de robot zijn eigen stappen vergeet, of de instrumenten die hij gebruikt om te navigeren worden vervangen door het bedrijf dat hem heeft gebouwd? Dit artikel stelt een angstwekkende maar noodzakelijke vraag: Als een robot vandaag een grote financiële beslissing neemt, kunnen we dan morgen precies bewijzen hoe dat gebeurde, of is het bewijs in vredesnaam verdwenen?
Het artikel, getiteld "Governing Agentic AI in FinTech" door Henry Han, duikt diep in dit mysterie. De auteur stelt dat het grootste probleem niet is of deze AI-agenten slim genoeg zijn om beslissingen te nemen, maar of we ze kunnen verifiëren. Denk er zo over na: Je geeft een robot een miljoen dollar om te investeren. Hij doet een transactie. Later vraagt een auditor: "Laat me de bonnetjes zien." Als de robot je niet de exacte digitale sporen kan laten zien van hoe hij die transactie heeft uitgevoerd, of als de "bonnetjes" die hij je laat zien anders zijn dan de bonnetjes die hij daadwerkelijk heeft gebruikt, dan is er een kloof tussen wat je hem vroeg te doen en wat je kunt bewijzen dat hij heeft gedaan. Het artikel suggereert dat naarmate we AI-agenten meer controle geven, deze kloof groter wordt en we blind vliegen.
Om dit uit te zoeken, heeft de onderzoeker drie verschillende "laboratoriumexperimenten" uitgevoerd met financiële scenario's zoals leninggoedkeuringen en aandelenhandel. Dit is wat hij vond, en het is een beetje een plotwending.
Eerst testte hij wat er gebeurt wanneer het "brein" van de AI een update krijgt. Hij gebruikte een krachtig AI-model en draaide dezelfde 32 financiële gevallen over een periode van 185 dagen. Ondanks dat de instructies identiek waren, begonnen de beslissingen van de AI te driften. In de latere updates werd de AI conservatiever en veranderde hij van mening in 5 van de 32 gevallen. Maar de echte klapper? Het bedrijf dat de AI heeft gebouwd, heeft ook de "knoppen" weggehaald waarmee gebruikers kunnen controleren hoe de AI denkt. Ze hebben de mogelijkheid verwijderd om een "random seed" in te stellen (een getal dat de keuzes van de AI herhaalbaar maakt). Het is alsof de robotkapitein plotseling de motor van het schip heeft veranderd en daarna de deur naar de controlekamer heeft vergrendeld, met de woorden: "Je kunt niet meer aan de knoppen zitten." De studie toonde aan dat zelfs met de strikt mogkelijke controles, een lokale versie van de AI zijn eigen acties perfect kon herhalen (320 van de 320 keer), maar een commerciële, gehoste versie dat niet kon (319 van de 320, en 959 van de 960). De AI nam verdedigbare beslissingen, maar de bank kon niet precies bewijzen hoe hij het deed omdat de instrumenten om de beslissing te herhalen verdwenen waren.
Ten tweede keek het artikel naar wat er gebeurt als je meer robots aan het team toevoegt. Stel je voor dat één robot het werk doet versus een team van 50 robots die briefjes naar elkaar doorgeven. De onderzoeker ontdekte dat het toevoegen van meer robots het systeem niet alleen complexer maakte; het veranderde ook de regels van het spel zonder dat iemand het merkte. Het is als een estafette waarbij de stok zo vaak wordt doorgegeven dat de loper bij de finishlijn geen idee heeft wie de race is gestart. In deze multi-agent opstellingen kan de uiteindelijke beslissing (het verdict) stabiel lijken, maar de weg daarheen was een puinhoop. Sterker nog, de studie vond dat naarmate het team groter werd, de AI begon om de zelfde beslissing te nemen voor elk geval, gewoon om veilig te spelen. Het was als een student die, wanneer hij in de war is, op elke toetsantekening "Ik weet het niet" schrijft. De AI zag er super betrouwbaar uit omdat hij steeds hetzelfde antwoord gaf, maar hij was gestopt met het daadwerkelijk analyseren van de verschillen tussen de gevallen. Het artikel noemt dit "degenerate outcome reproducibility": het ziet er stabiel uit, maar het is eigenlijk defect omdat het gestopt is met het onderscheiden van verschillende situaties.
Ten slotte testte de onderzoeker een eenvoudig, transparant kredietmodel (dat helemaal geen "black box" is) om te zien of het probleem alleen over complexe AI ging. Hij gebruikte twee versies van hetzelfde model, één oud en één nieuw. Hoewel het nieuwe model bijna identiek was aan het oude, veranderde het de beslissing voor 23 van de 1.937 leningaanvragen. Eén aanvrager werd door het oude model geweigerd, maar door het nieuwe model doorverwezen voor menselijke beoordeling, enkel omdat de score met een fractie verschoof. Het enge deel? Als je probeert de oude beslissing te herhalen met het nieuwe model, lukt dat niet. Het nieuwe model is op zichzelf perfect stabiel, maar het kan de geschiedenis van het oude niet recreëren. Het is alsof je een recept herschrijft met een kleine verandering in de hoeveelheid zout, en plotseling smaakt de cake anders, maar je kunt de originele cake niet meer proeven omdat je het oude recept al hebt weggegooid.
Dus, wat betekent dit allemaal? Het artikel suggereert dat we niet simpelweg op AI kunnen vertrouwen en op het beste kunnen hopen. We kunnen er niet vanuit gaan dat omdat een AI slim is, hij ook verantwoordelijk is. De auteur stelt een nieuwe manier van denken voor genaamd evidence-contingent delegation. Dit betekent dat we AI-agenten alleen grote beslissingen mogen laten nemen zolang we een perfecte, ononderbroken "bewijsbundel" kunnen bijhouden die precies bewijst hoe ze het deden. Als de AI zijn brein verandert, of als de instrumenten die hij gebruikt veranderen, of als het team van robots te groot en rommelig wordt, moeten we stoppen en zeggen: "Wacht, we kunnen dit niet meer bewijzen." We moeten misschien vertragen, gedetailleerdere logs bijhouden, of een mens laten instappen om het werk te controleren. Het artikel zegt niet dat AI slecht is; het zegt dat voor AI om echt nuttig te zijn in de financiële sector, we ervoor moeten zorgen dat we altijd terug kunnen kijken en kunnen zeggen: "Ja, dit is precies hoe het is gebeurd," zelfs als de robot al aan de volgende taak is begonnen. Zonder dat bewijs kan de robot weliswaar het schip besturen, maar zijn wij degene die verantwoordelijk worden gehouden als het crasht.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.