Counterfactual Analysis via Large Language Models
Dit artikel toont aan dat met prompts gestuurde GPT-3.5-modellen effectief contrafectuele analyses kunnen uitvoeren bij online kredietverlening om rendementen op investeringen onder hypothetische rentescenario's te voorspellen, waarbij zij prestaties bereiken die vergelijkbaar zijn met traditionele gradient-boosted regressie terwijl zij logische causale redenering vertonen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een tijdreiziger bent met een magische "Wat als?"-machine. In de wereld van de wetenschap wordt dit contrafactische analyse genoemd. Het is de kunst van het voorspellen wat er zou zijn gebeurd als je gisteren een andere keuze had gemaakt. Is die student gezakt omdat de klas te groot was, of zou hij het geweldig hebben gedaan in een kleinere ruimte? Werd die e-mail genegeerd omdat de onderwerpregel saai was, of zou een gepersonaliseerde een heeft gered? Wetenschappers houden van dit soort zaken omdat het ons helpt om oorzaak en gevolg te begrijpen, in plaats van alleen maar te gokken. Meestal, om deze vragen te beantwoorden, moeten onderzoekers dure experimenten uitvoeren of complexe wiskundige modellen gebruiken die naar het verleden kijken om de toekomst te raden. Maar onlangs is er een nieuw soort digitaal brein gearriveerd: het Large Language Model (LLM). Denk aan deze als superintelligente robots die bijna alles op het internet hebben gelezen. Ze zijn geweldig in het schrijven van verhalen en chatten, maar kunnen ze ook de rol van een tijdreiziger spelen om "wat als"-scenario's uit te zoeken? Dat is de grote vraag die dit artikel stelt.
De auteur van deze studie besloot deze digitale breinen te testen in de wereld met hoge inzet van online kredietverlening. Stel je een bank voor die geld leent aan mensen. Ze moeten beslissen welke rentevoet ze gaan rekenen. Als ze te veel rekenen, kan de lener overbelast raken en stoppen met betalen. Als ze te weinig rekenen, maakt de bank verlies. De bank weet wat er is gebeurd met de werkelijke rentevoet die ze hebben gekozen, maar ze kunnen nooit zeker weten wat er zou zijn gebeurd als ze een andere hadden gekozen. Dit ontbrekende puzzelstukje is de "contrafactuele" situatie. De onderzoekers wilden zien of een AI, specifiek een model genaamd GPT-3.5, naar een leningaanvraag kan kijken en kan zeggen: "Als we 10% in plaats van 12% hadden gerekend, had de lener ons sneller terugbetaald."
Om dit werkend te krijgen, hebben de onderzoekers de AI niet zomaar een simpele vraag gesteld. Ze realiseerden zich dat praten met een robot veel lijkt op praten met een mens; je moet het op de juiste manier vragen. Ze gebruikten een techniek genaamd prompt engineering, wat in fe 됩니다 de kunst is van het geven van de perfecte instructies aan de AI. Ze probeerden de AI te vragen zich voor te stellen de lener te zijn, en ze probeerden de AI te laten doen alsof het een kredietexpert was. Ze lieten de AI zelfs een panel van vier experts simuleren die met elkaar in discussie gaan om tot een consensus te komen, een methode genaamd tree-of-thought. Ze lieten de AI ook stiekem meekijken naar de voorspellingen van traditionele computeralgoritmen om te zien of het de prestaties ervan kon verbeteren.
De resultaten waren verrassend veelbelovend. Wanneer de onderzoekers de AI voor het eerst vroegen om leninguitkomsten te raden zonder speciale instructies, was het vrij slecht en kreeg het de wiskunde slechts ongeveer 2% van de tijd goed. Maar zodra ze de "expertpanel"-truc gebruikten en het de juiste context gaven, sprong de prestatie omhoog naar bijna 3%. Hoewel dat klein mag klinken, is het eigenlijk een enorme zaak in dit vakgebied, omdat het de AI bijna de nauwkeurigheid van de beste traditionele wiskundige modellen brengt. Belangrijker nog, de AI gaf niet alleen een getal; het legde ook zijn redenering uit. Het keek naar de geschiedenis van een lener, hield rekening met de rentevoet en argumenteerde logisch waarom een lagere rente zou helpen om de lening sneller af te lossen.
De studie suggereert dat deze large language models niet alleen chatbots zijn; ze worden in staat tools om "wat als"-scenario's uit te zoeken. De AI liet zien dat het kon opmerken wanneer een traditioneel computermodel te optimistisch was en de voorspelling kon aanpassen op basis van zijn eigen "kennis" van hoe mensen zich gedragen. Bijvoorbeeld, wanneer het traditionele model voorspelde dat een lener de lening in 8 maanden zou afbetalen met een lagere rente, dacht de AI: "Dat lijkt te snel gezien hun kredietgeschiedenis," en paste de voorspelling aan naar 22 maanden. Dit laat zien dat de AI meer doet dan alleen de wiskunde kopiëren; het denkt echt na over de logica.
De auteur is echter voorzichtig om dit geen perfecte oplossing te noemen. Zij merken op dat hoewel de AI beter wordt, het nog steeds wordt getest in een gesimuleerde omgeving. Ze vonden dat de voorspellingen van de AI logisch consistent waren met de regels van de echte wereld (zoals, als je de rente verlaagt, is de kans kleiner dat mensen wanbetalers worden), maar ze beweerden niet dat de AI het mysterie van het menselijk gedrag volledig heeft opgelost. In plaats daarvan suggereren ze dat deze modellen een krachtig nieuw instrument zijn die kunnen helpen om betere beslissingen te nemen door verschillende toekomsten te simuleren. Het is als het hebben van een zeer slimme, zeer goed geïnformeerde consultant die je kan helpen de gevolgen van je keuzes te visualiseren voordat je ze daadwerkelijk maakt.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.