DiligenceProv: A Truth-Ledger Benchmark for Verifiable Financial Due-Diligence Answers from Large Language Models
Dit artikel introduceert DiligenceProv, een nieuwe benchmark en constructiemethodologie die gebruikmaakt van synthetische dealrooms met geregistreerde imperfecties om de verifieerbaarheid, bewijsretrieval en definitienauwkeurigheid van grote taalmodellen bij hoogwaardige financiële due diligence te evalueren en te verbeteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wanneer een bedrijf wordt gekocht of verkocht, berust het proces op een grondige controle van de financiële gezondheid, een fase die bekendstaat als due diligence. Adviseurs besteden wekenlang aan het doorzoeken van een "deal room", een verzameling documenten variërend van gecontroleerde financiële overzichten en winstcijfers tot conceptcontracten en managementpresentaties. Hun taak is om kritische vragen te beantwoorden: Hoeveel verdient het bedrijf werkelijk? Welk risico dragen de grootste klanten? In deze omgeving met hoge inzet is een antwoord slechts zo goed als het bewijs dat erachter ligt. Een beoordelaar moet niet alleen het uiteindelijke getal kunnen verifiëren, maar ook de specifieke definitie die voor de berekening is gebruikt en het exacte document dat de bewering ondersteunt. Als een antwoord er zelfverzekerd uitziet maar foutief is, kan het een investeringsbeslissing gevaarlijker misleiden dan helemaal geen antwoord.
Kunstmatige intelligentie, specifiek grote taalmodellen, begint deze sector binnen te dringen en belooft het lezen en analyseren van deze complexe documenten te versnellen. Er blijft echter een aanzienlijk obstakel bestaan. Huidige AI-systemen kunnen tekst vloeiend lezen, maar ze worstelen met het specifieke soort verificatie dat vereist is in de financiële wereld. Ze kunnen een plausibel getal produceren dat feitelijk onjuist is, of ze kunnen naar een document verwijzen dat de conclusie niet ondersteunt. De kernuitdaging is niet of de AI de woorden kan lezen, maar of de AI door een rommelige verzameling tegenstrijdige informatie kan navigeren om de enkele waarheid te vinden die een menselijke expert zou accepteren.
Om dit aan te pakken, hebben onderzoekers een nieuwe testomgeving gecreëerd genaamd DiligenceProv. Dit is geen standaardtest gebaseerd op schone, publieke financiële rapporten waarbij de antwoorden al zijn afgestemd en overeengekomen. In plaats daarvan bouwden de onderzoekers een fictief bedrijf en genereerden zij een realistische set van dertig documenten, inclusief financiële overzichten, schuldenoverzichten en managementpresentaties. Ze introduceerden doelbewust de soorten rommel die voorkomen bij echte transacties: dezelfde winstmaatstaf die op drie verschillende manieren wordt gedefinieerd, verouderde cijfers die actueel lijken, en vragen die de documenten simpelweg niet kunnen beantwoorden. Het doel was om te zien of een AI-systeem antwoorden kon geven die een menselijke beoordelaar kon verifiëren, waarbij het getal, de definitie en het bewijs tegelijkertijd worden gecontroleerd.
De onderzoekers ontdekten dat het louter realistisch maken van de documenten niet voldoende was om de meest geavanceerde AI-systemen uit te dagen. In een initiële test met een realistische maar perfect consistente set documenten, beantwoordde een topmodel alle vragen correct, zelfs wanneer de vragen lastig waren. Het systeem ondervond geen problemen omdat de documenten niet de specwoorden bevatten die in echte onderhandelingenen voorkomen. De onderzoekers realiseerden zich dat om deze systemen echt te testen, ze de moeilijkheidsgraad moesten manipuleren. Ze creëerden een "truth ledger" (waarheidsoverzicht), een meesterrecord van elk feit, en schreven vervolgens de documenten om "geregistreerde imperfecties" te bevatten. Deze omvatten conflicten tussen verschillende documenten, realistische afleidingen die er als het juiste antwoord uitzagen maar het niet waren, en stille hiaten waar informatie ontbrak zonder dat dit expliciet als ontbrekend werd vermeld.
Toen ze de AI-modellen testten tegen deze gemanipuleerde chaos, veranderde de resultaten drastisch. De meest geavanceerde modellen, die eerder perfect scoorden, begonnen te falen wanneer ze door deze geregistreerde imperfecties moesten navigeren. Verrassenderwijs ontdekten de onderzoekers dat voor veel middenklasse modellen het geven van de volledige dertig documenten de prestaties van de AI juist verslechterde in vergelijking met het geven van slechts zes zorgvuldig geselecteerde pagina's. Wanneer de AI toegang had tot de volledige kamer, werd het vaak afgeleid door verouderde cijfers of gefabriceerde citaten die in de extra tekst voorkwamen. Het zou de verkeerde versie van een getal grijpen of een document verzinnen dat niet bestond. Echter, wanneer de onderzoekers alleen de meest relevante passages aanboden, presteerde de AI aanzienlijk beter. In dat geval fungeerde het ophaalproces als een beschermend filter, waardoor het model werd afgeschermd van de ruis en verwarring van de volledige documentenset.
De studie onthulde ook dat het moeilijkste deel voor deze AI-systemen niet het vinden van het bewijs was, maar het begrijpen van hoe ze het moeten gebruiken. Zelfs toen de onderzoekers de modellen de exact juiste documenten en de juiste getallen gaven, maakten de modellen nog steeds fouten. Ze faalden vaak in het toepassen van de juiste definitie van een financiële metriek of konden het onderscheid niet maken tussen een conceptversie van een contract en de definitieve versie. De fouten kwamen niet door een gebrek aan informatie, maar door een gebrek aan discipline bij het toepassen van de regels van de transactie. De onderzoekers categoriseerden deze fouten in specifieke typen, zoals "zelfverzekerde foutieve antwoorden", waarbij de AI een onjuist feit met zekerheid stelt, of "distractor capture", waarbij het model zich vastbijt in een misleidend getal.
Een bijzonder verontrustende bevinding was het onvermogen van de AI om toe te geven dat het iets niet wist. In de echte wereld, als een document een specifieke prognose niet bevat, is het juiste antwoord te zeggen dat de informatie ontbreekt. In de tests weigerden de AI-modellen zelden een antwoord te geven. In plaats daarvan probeerden ze, wanneer ze geconfronteerd werden met ontbrekende gegevens, te raden of te extrapoleren, waardoor ze een gefabriceerd getal creëerden dat gestructureerd en professioneel oogde. Dit is een gevaarlijk gedrag in de financiële wereld, waar een zelfverzekerd klinkend fout getal schadelijker kan zijn dan een duidelijke erkenning van ontbrekende informatie.
De onderzoekers concludeerden dat de moeilijkheid in financiële due diligence niet alleen gaat over de complexiteit van de tekst, maar over de manier waarop bewijs wordt geraadpleegd en beheerd. Voor de sterkste AI-systemen maakte toegang tot de volledige context van alle documenten het mogelijk om bijna perfecte scores te behalen, wat suggereert dat hun belangrijkste beperking simpelweg het hebben van de juiste informatie beschikbaar is. Voor andere modellen was te veel informatie een last. De studie suggereert dat voor deze systemen om vertrouwd te kunnen worden met echte transacties, workflows nodig zijn die prioriteit geven aan verificatie en definitie boven eenvoudige informatieverwerving. De benchmark is nu beschikbaar voor andere onderzoekers om deze systemen te meten en te verbeteren voordat ze met echt geld worden vertrouwd. Het werk demonstreert dat voor financiële taken met hoge inzet, de weg naar betrouwbaarheid niet ligt in het slimmer maken van de AI, maar in het bouwen van systemen die hun eigen antwoorden kunnen verifiëren tegen een strikte set regels en bewijsmateriaal.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.