Evaluating Investment Logic in Large Language Models: A Real-World Benchmark Towards Personalzied Financial Agents
Dit artikel introduceert \textsc{InvestLogicBench}, een grootschalige benchmark van real-world beleggersbeslissingen gestructureerd als Profiel-Gebeurtenis-Redenering-Besluit-Uitkomst-traces, om aan te tonen dat huidige financiële LLM's een gepolijste maar slecht gegronde redenering vertonen die over het hoofd wordt gezien door traditionele evaluaties die enkel op uitkomsten gericht zijn, waarmee zij pleiten voor een nieuwe proces-native data-interface voor gepersonaliseerde consequentiële agenten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme bibliotheek binnenstapt vol met elk boek dat ooit geschreven is over geld, aandelen en de economie. Je hebt een super slimme robotvriend die elke pagina heeft gelezen. Als je vraagt: "Wat is inflatie?" of "Wie heeft Apple opgericht?", kan je robot direct en perfect antwoord geven. Dit is hoe de meeste computerprogramma's die "Large Language Models" (LLM's) worden genoemd, vandaag de dag worden getest: ze zijn als briljante trivia-kampioenen die feiten kunnen opzeggen en tekstboekwiskunde kunnen oplossen. Maar hier komt de twist: een trivia-kampioen zijn betekent niet dat je het spel van het leven kunt spelen. In de echte wereld draait beleggen niet om het uit het hoofd leren van feiten; het gaat om luisteren naar een chaotische, luidruchtige menigte aan nieuws, bepalen wat er werkelijk toe doet, een beslissing nemen op basis van je eigen persoonlijkheid en risicotolerantie, en vervolgens kijken of je gelijk had. Het is het verschil tussen weten wat de regels van voetbal zijn en daadwerkelijk een doelpunt scoren terwijl de tegenstander probeert je te tackelen.
Dit is precies het probleem dat een nieuwe paper aanpakt. De auteurs merkten op dat hoewel deze AI-robots geweldig zijn in het beantwoorden van vragen tijdens een test, ze vaak falen wanneer ze wordt gevraagd om echte beleggingsbeslissingen te nemen in een levende markt. Ze hebben een nieuwe manier gecreëerd om AI te testen, niet door te vragen "Wat weet je?", maar door te vragen "Hoe denk je?". Ze bouwden een speciale speeltuin waar ze konden observeren hoe een AI de verbanden legt tussen een nieuwsgebeurtenis, de eigen redenering, een specifieke actie en het uiteindelijke resultaat. Hun grote ontdekking? De slimste AI-robots, de modellen die de hoogste scores halen op algemene tests, zijn eigenlijk best slecht in dit specifieke soort denken. Ze raken in de war van de ruis, kopiëren wat iedereen anders denkt, en verliezen vaak geld, terwijl sommige "minder slimme" modellen het eigenlijk beter doen. Het paper suggereert dat om een echt nuttige financiële robot te bouwen, we moeten stoppen met het testen van zijn geheugen en moeten beginnen met het testen van zijn vermogen om een samenhangend plan te maken in een rommelige, onzekere wereld.
De Grote "Slim maar Onwetende" Paradox
De onderzoekers zetten een spel met hoge inzet op, een "live-trading arena". Stel je een videogame voor waarin verschillende AI-bots $10.000 aan nepgeld krijgen en de opdracht krijgen om gedurende zeven weken in de echte Amerikaanse markt met aandelen te handelen. Ze moeten elke uur hun eigen keuzes maken, reagerend op actueel nieuws, precies zoals een menselijke handelaar dat zou doen. Het doel was om te zien of de "algemene intelligentie" van de AI (hoe goed het presteert op standaardtests) overeenkomt met de "trading intelligentie" (hoeveel geld het verdiende).
De resultaten waren nogal schokkend. Het paper noemt dit de "Capabilities-Performance Paradox". Het is alsoast een student die een A+ haalt voor elk geschiedenisexamen, maar hopeloos faalt bij het runnen van een limonadekraampje omdat hij niet kan omgaan met een plotselinge regenbui. De AI-modellen met de hoogste algemene scores, zoals GPT-5 en Claude-Sonnet-4.5, presteerden eigenlijk behoorlijk slecht. Een van hen, GPT-5, eindigde met minder geld dan hij begon met, een verlies van ongeveer 1,0%. Een ander, Claude-Sonnet-4.5, maakte nauwelijks winst. Ze deden het beide slechter dan simpelweg achterover leunen en een eenvoudig indexfonds kopen (de S&P 500), wat gelijk staat aan de "doe niets"-strategie.
In een ironische wending presteerden de modellen met lagere scores op de algemene tests veel beter in de markt. DeepSeek-V3 veranderde bijvoorbeeld zijn $10.000 in meer dan $11.400, waarmee het de markt en de "slimmere" modellen versloeg. Dit suggereert dat goed zijn in het beantwoorden van vragen niet automatisch betekent dat je goed bent in het nemen van beslissingen wanneer de toekomst onzeker is.
Waarom falen de "Slimme" Bots?
De auteurs groeven diep om te ontdekken waarom de hoog scorende modellen geld verloren. Ze vonden twee hoofdoorzaken, die ze "Consensus Bias" en "Reasoning Fragmentation" noemen.
Denk bij Consensus Bias aan een schaap dat de kudde volgt. Wanneer er een groot evenement plaatsvindt, hebben de "slimme" modellen de neiging om simpelweg te herhalen wat iedereen anders al denkt, omdat datgene wat ze het vaakst zagen in hun trainingsdata. Ze hebben niet de moed om naar een ander perspectief of een verborgen kans te zoeken. Ze zeggen alleen maar: "Oh, de markt gaat omlaag, dus ik moet verkopen," zelfs als een menselijke expert een kans zou zien om laag in te kopen.
Reasoning Fragmentation is als het proberen op te lossen van een puzzel terwijl iemand confetti in je gezicht gooit. Wanneer de markt ruisig wordt met veel tegenstrijdig nieuws, raken deze modellen overweldigd. Ze kunnen de verbanden niet leggen tussen een nieuwsbericht over een regeringsvergadering en een specifieke aandelenkoers. In plaats van een duidelijk verhaal op te bouwen, raken ze in de war, trekken ze overhaaste conclusies of nemen ze beslissingen die zichzelf tegenspreken. Ze kunnen een koptekst over een technologiebedrijf zien en onmiddellijk dat aandeel kopen, terwijl ze negeren dat het bedrijf net een slecht kwartaalcijfer heeft gepresenteerd.
De Nieuwe Test: INVESTLOGICBENCH2026
Om dit op te lossen, bouwde het team een nieuwe testomgeving genaamd INVESTLOGICBENCH2026. In plaats van de AI alleen een vraag te laten beantwoorden, kijkt deze benchmark naar de volledige keten van hoe een belegging wordt gedaan. Ze noemen dit de P→E→R→D→O keten:
- P (Person/Persoon): Wie is de belegger? Wat zijn hun doelen en angsten?
- E (Event/Gebeurtenis): Wat is er in de wereld gebeurd? (bijv. "De Fed heeft de rente verhoogd.")
- R (Reasoning/Redenering): Hoe verbindt de belegger de gebeurtenis met hun doelen? (bijv. "Hogere rentes betekenen dat lenen duurder is, dus tech-aandelen kunnen dalen.")
- D (Decision/Beslissing): Welke actie ondernemen ze? (bijv. "Verkoop mijn tech-aandelen.")
- O (Outcome/Resultaat): Heeft het gewerkt? (bijv. "Ja, de aandelen daalden en ik heb geld bespaard.")
Ze verzamelden meer dan 200.000 echte beleggingsbeslissingen van 151 echte experts, zoals beroemde fondsbeheerders en financiële influencers. Ze braken precies af hoe deze mensen dachten, van het nieuws dat ze lazen tot de transacties die ze maakten. Vervolgens vroegen ze de AI-modellen om hetzelfde te doen: naar het nieuws kijken, denken als een specif kind type belegger, een beslissing nemen en kijken of de logica klopt.
De Resultaten: Een Logische Kloof
Toen ze de AI-modellen tegen deze nieuwe standaard testten, waren de resultaten duidelijk. De modellen scoorden erg laag op "Reasoning Quality" (redeneerkwaliteit). Op een schaal van 1 tot 5 scoorde het best presterende model (DeepSeek-V3) een 2,8, terwijl het slechtste (GPT-5) slechts een 1,8 scoorde. Ze hadden moeite om het onderscheid te maken tussen belangrijk nieuws en willekeurige ruis. Ze namen vaak beslissingen die niet overeenkwamen met hun eigen redenering of het profiel van de belegger.
In één testgeval keek een menselijke expert bijvoorbeeld naar een mix van nieuws over een overheidsblokkade, werkcijfers en rentestanden, en besloot correct om "veilige" activa te kopen. De AI-modellen raakten echter in de war. Sommigen focusten zich alleen op de angstaanjagende koppen, anderen negeerden de belangrijkste delen, en sommigen maakten tegenstrijdige argumenten. Eén model kocht zelfs aandelen die totaal niet gerelateerd waren aan het nieuws dat het las.
Het paper concludeert dat hoewel AI soms winstgevende transacties kan genereren (misschien door geluk of door patronen na te bootsen), het niet beschikt over de diepe, consistente logica die menselijke experts gebruiken om door onzekerheid te navigeren. De "slimme" modellen falen niet omdat ze de feiten niet kennen, maar omdat ze geen samenhangend verhaal kunnen bouwen vanuit de chaos van de echte wereld.
Wat dit betekent voor de toekomst
Dit paper zegt niet dat AI nooit goed zal worden in beleggen. Het zegt juist dat we moeten veranderen hoe we ze testen en trainen. We kunnen ze niet blijven voorzien van steeds moeilijkere trivia-quizzen. We moeten ze leren hoe ze als een strateeg kunnen denken, hoe ze de ruis kunnen filteren en hoe ze een plan kunnen volgen, zelfs als het spannend wordt. Door dit nieuwe benchmark te gebruiken, hopen onderzoekers AI-agenten te bouwen die niet alleen deskundig zijn, maar ook werkelijk wijs — in staat om gepersonaliseerde, logische beslissingen te nemen die daadwerkelijk werken in de rommelige, onvoorspelbare echte wereld. De reis naar een betrouwbare financiële AI is pas net begonnen, en dit nieuwe landkaart is de eerste stap in de juiste richting.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.