Do LLMs Understand Limit Order Book Dynamics?

In de bruisende wereld van de moderne financiële sector worden markten niet alleen gedreven door menselijke intuïtie of brede economische trends, maar door een constante, hoogwaardige stroom van digitale instructies. In het hart van veel van deze markten ligt een mechanisme dat een limit order book wordt genoemd. Stel je een digitaal grootboek voor waarin kopers en verkopers in de rij staan, waarbij elk een specifieke prijs aangeeft die zij bereid zijn te betalen of te accepteren, en de hoeveelheid aandelen die zij willen verhandelen. Dit grootboek is niet statisch; het is een levend, ademend verslag dat verandert elke keer dat er een nieuwe order binnenkomt, een bestaande order wordt uitgevoerd, of een deelnemer besluit zijn aanbod te annuleren. De regels die dit grootboek beheersen zijn strikt en logisch: een koper kan een aandeel niet kopen voor minder dan de laagste prijs die een verkoper momenteel vraagt, en een verkoper kan niet verkopen voor meer dan de hoogste prijs die een koper biedt. Decennialang hebben handelaren en wiskundigen complexe modellen gebouwd om te voorspellen hoe dit grootboek zal evolueren, in een poging de volgende zet in deze ingewikkelde dans van vraag en aanbod te anticiperen.

Onlangs is een nieuw type kunstmatige intelligentie, bekend als een large language model, begonnen met het toepassen op deze financiële puzzels. Deze modellen worden doorgaans getraind op enorme hoeveelheden tekst om patronen in taal te leren, maar onderzoekers zijn begonnen hen te trainen op sequenties van marktgebeurtenissen. De hoop is dat als een model leert om geldige sequenties van marktorders te genereren — correct simuleren hoe een markt van de ene staat naar de andere beweegt — het de onderliggende mechanica van de markt werkelijk heeft begrepen. Dit roept een diepgaande vraag op: als een machine een perfect verhaal kan schrijven over hoe een markt beweegt, begrijpt het dan echt het verhaal, of imiteert het slechts de syntaxis? Een team van onderzoekers aan de Columbia Business School zette zich af om dit te beantwoorden door te testen of deze kunstmatige intelligenties beschikken over een echt "wereldmodel" van financiële markten of dat ze slechts geavanceerde papegaaien zijn.

De onderzoekers begonnen met het creëren van een vereenvoudigde, gesimuleerde versie van een limit order book. In deze digitale zandbak definieerden zij een vaste set prijsniveaus en regels voor hoe orders geplaatst, uitgevoerd of geannuleerd konden worden. Vervolgens trainden zij een large language model vanaf nul met behulp van data gegenereerd door deze simulatie. Het trainingsproces was rigoureus: het model kreeg een begintoestand van de markt en een doeltoestand, en kreeg de taak om een sequentie van gebeurtenissen te genereren die de markt van het begin naar het einde zou bewegen zonder de regels te breken. Het model blonk uit in deze taak. Wanneer gevraagd werd om een sequentie van transacties te produceren, slaagde het bijna altijd in het creëren van een geldig pad, waarbij het onmogelijke bewegingen vermeed, zoals het verkopen van een aandeel dat niet bestaat of het uitvoeren van een transactie tegen een prijs die de marktregels schendt. Voor een toevallige waarnemer leek het model de logica van de markt te hebben beheerst.

De onderzoekers vermoedden echter dat het succes van het model oppervlakkig was. Ze wilden weten of het model de huidige staat van de markt werkelijk begreep of dat het simpelweg vertrouwde op de geschiedenis van hoe het daar gekomen was. In een echte markt hangt de toekomstige evolutie van het order book volledig af van de huidige staat; het pad dat naar die staat heeft geleid, zou er niet toe moeten doen. Dit is een fundamenteel principe dat bekend staat als de Markov-eigenschap. Om te testen of het model dit principe respecteerde, ontwierpen de onderzoekers een reeks experimenten die verder gingen dan simpelweg het volgen van regels. Ze vroegen het model om te voorspellen wat er vervolgens zou gebeuren, niet alleen om een geldige sequentie te genereren, maar om de waarschijnlijkheden van toekomstige gebeurtenissen te voorspellen.

De resultaten onthulden een aanzienlijk gebrek in het begrip van het model. Hoewel het model geldige sequenties kon genereren, was zijn interne visie op de markt bevooroordeeld en incompleet. Wanneer de onderzoekers de voorspellingen van het model onderzochten, ontdekten ze dat het consequent onjuiste waarschijnlijkheden toekende aan toekomstige gebeurtenissen. Bijvoorbeeld, het model overschatte de waarschijnlijkheid van een annuleringorder op een specifieke prijs, zelfs wanneer de werkelijke wiskundige waarschijnlijkheid veel lager was. Nog verontrustender was dat de voorspellingen van het model werden beïnvloed door de geschiedenis van gebeurtenissen die tot de huidige staat hadden geleid, ook al zou die geschiedenis irrelevant moeten zijn. Als de markt via twee verschillende paden bij een specifieke staat arriveerde, zou een model met een correct begrip exact dezelfde toekomst voor beide paden voorspellen. De kunstmatige intelligentie gaf echter verschillende voorspellingen af afhankelijk van het gevolgde pad, wat suggereerde dat het vasthield aan details uit het verleden die geen voorspellende kracht hadden.

Om deze fout te kwantificeren, ontwikkelden de onderzoekers nieuwe tests die de afstand maten tussen de voorspellingen van het model en de ware wiskundige realiteit van de gesimuleerde markt. Ze ontdekten dat naarmate het model verder in de toekomst keek, de fouten groter werden. Het model leek te geloven dat het patronen in het verleden kon vinden die niet bestonden, een fenomeen dat bekend staat als spurieuze voorspelbaarheid. Het was alsof het model ervan overtuigd was dat een reeks eerdere kooporders een toekomstige verkooporder waarschijnlijker maakte, zelfs wanneer de huidige staat van de markt geen reden voor een dergelijke verschuiving bood. Deze bias was geen kleine glitch; het was een systematisch falen om de kerndynamiek van het systeem te vatten. Het model had de grammatica van de markt geleerd, maar was gefaald om de fysica ervan te leren.

De onderzoekers testten ook of deze problemen specifiek waren voor hun kleine, eenvoudige simulatie of dat ze zouden voortbestaan in complexere omgevingen. Ze herhaalden de experimenten met grotere order books die meer prijsniveaus en diepere liquiditeit hadden. De resultaten waren consistent: naarmate de complexiteit van de markt toenam, verslechterde het vermogen van het model om een correcte interne representatie van de staat te behouden zelfs nog meer. Het model bleef geldige sequenties genereren, maar de voorspellingen werden nog onbetrouwbaarder. Dit suggereert dat het simpelweg trainen van een model op meer data of het groter maken van de marktsimulatie het fundamentele probleem niet zal oplossen. De architectuur van het model worstelt, in haar huidige vorm, om de huidige staat van het systeem te abstraheren van de ruis van de geschiedenis.

Deze bevindingen hebben belangrijke implicaties voor het gebruik van kunstmatige intelligentie in de financiële sector. De studie toont aan dat het vermogen van een model om geldige outputs te genereren geen voldoende bewijs is dat het het systeem dat het simuleert, begrijpt. In de context van financiële markten, waar nauwkeurige voorspelling cruciaal is, kan een model dat patronen vindt waar ze niet bestaan, leiden tot kostbare fouten. De onderzoekers concluderen dat hoewel large language models veelbelovend zijn in het begrijpen van de regels van een systeem, ze momenteel een diep, impliciet begrip missen van de stochastische dynamica die vereist is voor betrouwbare voorspelling. Totdat deze modellen getraind kunnen worden om de staat van de wereld die ze simuleren werkelijk te internaliseren, in plaats van alleen de sequentie van gebeurtenissen die daartoe leidde, blijven hun voorspellingen in complexe, reële markten verdacht. De weg vooruit vereist nieuwe trainingsmethoden en grotere datasets, maar de kernuitdaging blijft: een machine leren de wereld te zien zoals die is, en niet alleen zoals zij die zich herinnert.