Indistinguishable from Chance: Auditing LLM-Generated Trading Strategies Against Exposure-Matched Nulls

In de wereld van beleggen is de meest waardevolle vaardigheid weten wanneer je moet kopen en wanneer je moet verkopen. Dit wordt markttiming genoemd. Decennialang hebben beleggers geprobeerd machines te bouwen die deze momenten beter kunnen voorspellen dan een mens, in de hoop kleine voordelen om te zetten in grote winsten. Het nieuwste instrument in deze zoektocht is het large language model, een type kunstmatige intelligentie dat in staat is complexe computercode te schrijven en de logica ervan in vloeiende zinnen uit te leggen. Deze modellen kunnen worden gevraagd een handelsstrategie te ontwerpen, de code te schrijven om deze uit te voeren, en zelfs een rapport te produceren dat laat zien hoeveel geld het in het verleden zou hebben opgeleverd. De belofte is dat iedereen, van een professioneel fondsbeheerder tot een nieuwsgierig individu, een computer om een winnend plan kan vragen en een complete, direct bruikbare oplossing kan ontvangen. Maar er is een diep en bekend probleem met het kijken naar het verleden om de toekomst te voorspellen. Een strategie kan op papier briljant lijken simpelweg omdat het toevallig overeenkwam met willekeurige patronen in de data, een fout die overfitting wordt genoemd. Wanneer een strategie wordt gebouwd door een machine die de echte wereld nog nooit heeft gezien, is het risico dat zij geen verborgen patroon vindt, maar slechts de vorm van ruis nabootst.

Een team van onderzoekers zette zich scharpe op de vraag of deze kunstmatige intelligentiemodellen daadwerkelijk over enige vaardigheid beschikken in het timen van de markt, of dat hun indrukwekkende rapporten slechts een overtuigende illusie zijn. Ze vroegen de modellen niet simpelweg om code te schrijven; ze bouwden een rigoureuze testomgeving om te zien wat er gebeurde wanneer die code de echte marktdata ontmoette. De onderzoekers vroegen vijf verschillende AI-modellen om handelsstrategieën te maken voor drie belangrijke activa: de S&P 500 aandelenindex, goudfutures en het valutapaar van de euro en de Amerikaanse dollar. De modellen genereerden bijna tweehonderd verschillende strategieën, elk met een eigen set regels voor wanneer te kopen en wanneer te verkopen. Om te garanderen dat de test eerlijk verliep, lieten de onderzoekers elke enkele strategie draaien in een gecontroleerde digitale omgeving die een kleine vergoeding in rekening bracht voor elke transactie, wat de werkelijke kosten van het zakendoen nabootst. Ze vergeleken vervolgens de resultaten van deze door AI gegenereerde plannen met een eenvoudige benchmark: een actief kopen en vasthouden zonder ooit te verkopen. Ze vergeleken de AI-strategieën ook met een slimme controlegroep. Voor elke AI-strategie maakten ze een "nul"-versie door exact dezelfde perioden van tijd waarin de AI besloot een positie aan te houden, maar deze perioden willekeurig door elkaar te husselen. Deze test stripte de vermeende vaardigheid van de AI om het juiste moment te kiezen weg, en liet alleen het feit over dat het de activa voor een bepaalde tijd vasthield. Als de AI werkelijk bekwaam was, zou deze de gehusselde versie moeten hebben overtroffen.

De resultaten waren onverbiddelijk en consistent. Over de hele linie faalden de door kunstmatige intelligentie gegenereerde strategieën in het verslaan van het simpelweg aanhouden van het actief. Gemiddeld verloren de AI-strategieën geld, waarbij ze een prestatiecijfer leverden dat bekend staat als de Sharpe-ratio dat negatief was. Dit betekent dat een gemiddelde belegger na rekening te hebben gehouden met het genomen risico en de transactiekosten, beter af zou zijn geweest door niets te doen dan het advies van de AI op te volgen. Slechts een klein deel van de strategieën, minder dan acht procent, slaagde erin om de eenvoudige buy-and-hold benadering te overtreffen. Toen de onderzoekers dieper keken, ontdekten ze dat de AI-modellen geen verborgen timingvaardigheid bezaten. De strategieën presteerden niet beter dan de gehusselde, willekeurige versies van zichzelf. Sterker nog, de AI-strategieën waren statistisch niet te onderscheiden van toeval. De weinige keren dat een strategie goed leek te presteren, kwam dat niet doordat het model leerde de markt te voorspellen, maar doordat de strategie toevallig de activa vaker vasthield wanneer de markt steeg. Dit is een bias naar 'long' zijn, of het aanhouden van het actief, in plaats van een vaardigheid in het kiezen van het juiste moment. Toen de onderzoekers deze bias verwijderden door de strategieën te vergelijken met hun gehusselde tegenhangers, verdween de illusie van vaardigheid volledig.

Misschien wel het meest onthullende deel van de studie vond plaats toen de onderzoekers de modellen vroegen om iets te doen wat ze eigenlijk niet kunnen: een backtest uitvoeren en de resultaten rapporteren zonder dat ze de data hebben gekregen. De modellen werden gevraagd een strategie te schrijven, de prestaties te berekenen en de gebruiker de definitieve cijfers te geven. Geen van de modellen kon dit doen, omdat ze niet over de mogelijkheid beschikken om code uit te voeren en cijfers te verwerken in realtime. In plaats daarvan produceerden ze een simulatie van een rapport. Sommige modellen printten een script uit dat eruitzag alsof het de cijfers zou berekenen als iemand anders het zou draaien. Andere modellen stelden simpelweg algemene regels vast over hoe een goed resultaat eruit ziet. Een enkel model ging nog een stap verder en fabriceerde specifieke cijfers, waarbij een blok tekst presenteerde dat leek op een voltooid rapport, maar volledig verzonnen was. Dit gedrag onderstreept de gevaarlijke kloof tussen de schijn van competentie en de realiteit van bekwaamheid. De modellen zijn vloeiend in de taal van de financiële wereld en kunnen de structuur van een professionele analyse nabootsen, maar ze kunnen niet de bewijsvoering genereren die die analyse vereist.

De studie onderzocht ook of het gebruik van een groter, krachtiger model of het vragen om een robuustere strategie de uitkomst zou veranderen. Dat deed het niet. Hoewel grotere modellen code schreven die minder snel fouten bevatte, en specifieke prompts veranderden hoe vaak een strategie een actief vasthield, verbeterde geen van beide factor het vermogen om de markt te timen. De verbeteringen lagen puur in de blootstelling, oftewel hoeveel tijd de strategie in de markt doorbracht, en niet in de kwaliteit van de gemaakte beslissingen. De onderzoekers ontdekten ook dat hun eigen testproces constant gecontroleerd moest worden op fouten. In één geval had een datafout in hun eigen systeem een willekeurige strategie als winnaar doen lijken, een fout die alleen werd ontdekt omdat ze controles hadden ingebouwd om hun eigen werk te verifiëren. Deze zelfcontrole bevestigde de centrale les: een plausibel ogend resultaat is niet een correct resultaat totdat het is gecontroleerd tegen een standaard die bewijst dat de test daadwerkelijk een winnaar kan vinden als die er is.

Voor de belegger is de les duidelijk. De kunstmatige intelligentiemodellen zijn momenteel niet in staat om handelsstrategieën te genereren die over echte vaardigheid beschikken. Ze produceren strategieën die compleet en zelfverzekerd overkomen, maar wanneer ze tegen echte data worden getest, presteren ze niet beter dan toeval en vaak zelfs slechter dan het simpelweg aanhouden van een actief. De rapporten die ze genereren, vol met specifieke cijfers en prestatiegrafieken, zijn hypothesen, geen bewijs. Totdat een strategie opnieuw wordt gedraaid op gedocumenteerde data en wordt vergeleken met een eerlijke benchmark die rekening houdt met de tijd die het in de markt doorbrengt, moet het als onbewezen worden beschouwd. De kosten van het vertrouwen op deze tools zijn niet alleen een gemiste kans om de markt te verslaan, maar ook het potentiële verlies van de stabiele rendementen die voortkomen uit passief beleggen. De modellen hebben de kunst beheerst om te klinken als een expert, maar ze hebben nog niet geleerd hoe ze er een moeten zijn.