💻 computer science

An Ensemble PPO Trading Agent Across Real Limit Order Book and Long-Horizon OHLCV Data: Diagnosis, Correction, and Honest Evaluation

Dit artikel presenteert een transparante empirische studie van een op PPO gebaseerde Bitcoin-handelagent die kritieke trainingsfouten diagnosticeert en corrigeert om een bescheiden prestatie op de lange termijn te behalen ten opzichte van Buy-and-Hold, terwijl het tegelijkertijd aantoont dat real-time limit order book-data vaak een rationair "niet-handelen"-beleid oplevert doordat transactiekosten zwaarder wegen dan micro-prijsbewegingen, wat uiteindelijk pleit voor de waarde van reproduceerbare rapportage van negatieve resultaten boven gepolijste succesverhalen.

Oorspronkelijke auteurs: william darryl towa

Gepubliceerd 2026-07-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: william darryl towa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om in Bitcoin te handelen. Je wilt dat de robot slimmer is dan alleen maar het bezitten en vasthouden van de munt, maar je wilt ook voorkomen dat hij al zijn geld verliest. Dit artikel is een "achter-de-schermen" documentaire van dat proces, waarin de auteur, William Darryl Towa, besluit om volkomen eerlijk te zijn over alles wat er misging, wat er goed ging, en waarom de robot soms gewoon op de bank gaat zitten en niets doet.

Hier is het verhaal van het onderzoek, onderverdeeld in eenvoudige concepten:

1. De twee verschillende trainingskampen

De auteur gebruikte niet slechts één set gegevens. Hij trainde zijn robot in twee zeer verschillende "sportscholen":

Sportschool A (De hogesnelheidsmicroscoop): Deze gebruikte een supergedetailleerd, per seconde view van het Bitcoin orderboek (de lijst van mensen die willen kopen of verkopen) van een specifieke week in 2021. Het is alsof je een racewagenrijder in slow motion bekijkt, waarbij je elke kleine beweging van het stuur ziet.
Sportschool B (De langeafstandssnelweg): Deze gebruikte 2,4 jaar aan uurlijkse prijsgrafieken. Het is alsof je dezelfde rijder over meerdere jaren bekijkt, en ziet hoe hij omgaat met verschillende weersomstandigheden, verkeer en wegcondities.

2. De eerste grote crash: "De bevroren robot"

Toen de auteur voor het eerst probeerde de robot te trainen, ging het direct mis. De robot deed één transactie en daarna, gedurende 195.000 stappen, bevroor hij volledig. Hij stopte met leren en stopte met bewegen.

De diagnose: De auteur vond twee redenen voor deze "bevroren" staat:

Verwarrende getallen: De robot werd gevoed met getallen die extreem verschillend in grootte waren. Stel je voor dat je probeert het gewicht van een veertje (0,001) te vergelijken met het gewicht van een blauwe vinvis (85.000). De robot raakte in de war omdat de vinvis het veertje overstemde. De auteur loste dit op door de data te "normaliseren" (alles op dezelfde schaal te zetten).
Een kapotte scorekaart: De robot werd beoordeeld op een test die wiskundig defect was. Soms gaf de test hem een score van "1.000" en soms "-1.000" voor exact dezelfde actie, puur vanwege een kleine rekenfout. Dit liet de robot geloven dat de wereld chaotisch en onvoorspelbaar was, waardoor hij het opgaf. De auteur verbeterde de wiskunde zodat de scores logisch werden.

3. De "luie" robot: Wanneer niets doen de slimste zet is

Nadat de crash was opgelost, trainde de auteur de robot op de Hogesnelheidsmicroscoop (Sportschool A) data. De robot leerde een zeer vreemde les: Nooit handelen.

Eerst dacht de auteur dat de robot kapot was of niet genoeg data had om te leren. Maar toen besefte hij de waarheid: De robot was eigenlijk heel slim.

De analogie: Stel je voor dat je op een rommelmarkt bent. Elke keer dat je iets koopt en het 10 seconden later weer probeert te verkopen, rekent de markt je een commissie van 30% aan. Zelfs als de prijs van het object met 1% stijgt, maak je nog steeds verlies door de commissie.
De realiteit: In de hogesnelheidsdata bewoog de prijs van Bitcoin in één seconde nauwelijks (vaak 0,00000%). Maar de kosten om te handelen waren enorm (0,30%).
De conclusie: De robot besefte dat elke transactie verlies zou opleveren. Daarom was de meest winstgevende strategie om stil te blijven zitten en niets te doen. De auteur noemt dit "economisch rationele inactiviteit". Het was geen falen; de robot begreep correct dat het spel tegen hem gemanipuleerd was.

4. Het succes op de lange afstand: Een bescheiden overwinning

Toen de auteur de robot trainde op de Langeafstandssnelweg (Sportschool B) data (de 2,4 jaar aan uurlijkse grafieken), deed hij iets anders. Hij leerde te handelen, maar wel heel voorzichtig.

Het resultaat: De markt daalde met ongeveer 21% tijdens de testperiode.
- Als je Bitcoin gewoon had vastgehouden (Buy-and-Hold), verloor je 20,82%.
- De robot verloor 19,42%.
De les: Hij maakte geen fortuin. Hij versloeg de markt niet met een enorme marge. Maar hij verloor minder geld dan de persoon die de munt gewoon had vastgehouden. Het was een kleine, consistente overwinning, zoals een hardloper die een marathon net iets voor de rest van het peloton voltooit in een erg slecht lopende race.

5. De "Ensemble" Filter: Een bewaker die niets deed

De auteur probeerde de twee robots te combineren. Hij bouwde een "bewaker" (een ensemble filter) die de Langeafstand-robot alleen zou laten handelen als de Hogesnelheid-robot een goede kans zag.

De test: Hij testte dit op de ene week waar beide datasets overlapten.
Het resultaat: De bewaker blokkeerde 6 de potentieel winstgevende transacties, maar het veranderde de uiteindelijke uitslag niet. Waarom? Omdat de Langeafstand-robot meestal al met de handen op de knieën zat en niets deed. De bewaker was als een uitsmijter bij een club die al leeg was; hij hield mensen tegen die naar binnen wilden, maar aangezien er toch niemand probeerde binnen te komen, bleef de club leeg.
De eerlijkheid: In plaats van dit "nulresultaat" te verbergen, publiceerde de auteur het. Hij argumenteerde dat toegeven dat "dit deel niet werkte" waardevoller is dan het veinzen van een succes.

6. De grote les: "Eerlijk falen" is beter dan "gepolijste leugens"

Het belangrijkste deel van dit artikel is niet de handelsstrategie; het is de houding.

In de wereld van AI en financiën publiceren onderzoekers vaak alleen de "happy endings" waarbij de robot miljoenen verdient. Dit artikel is anders. Het zegt:

"Hier is precies waarom onze eerste poging crashte."
"Hier is waarom onze tweede robot besloot om niets te doen (en waarom dat eigenlijk correct was)."
"Hier is een deel van ons systeem dat niet werkte, en hier is het bewijs."

De auteur gelooft dat het delen van deze "negatieve resultaten" en "diagnoses" de hele gemeenschap sneller helpt leren dan het delen van een gepolijst, perfect verhaal dat misschien verborgen gebreken verbergt. Hij heeft al zijn code en aantekeningen vrijgegeven zodat iedereen zijn werk kan controleren, wat bewijst dat transparantie de beste manier is om de wetenschap vooruit te helpen.

Kortom: Het artikel is het verhaal van een robot die leerde handelen in Bitcoin, crashte door slechte wiskunde, leerde dat soms de beste transactie een niet-transactie is, en uiteindelijk leerde om iets minder geld te verliezen dan de rest — terwijl de auteur beloofde de volledige waarheid te vertellen, zelfs de gênante delen.

Technische Samenvatting: Een Ensemble PPO Handelsagent over Realistische Limit Order Book en Long-Horizon OHLCV Data

Probleemstelling
Het artikel behandelt de uitdaging van het trainen van Reinforcement Learning (RL) agenten voor cryptohandel onder twee contrasterende dataregimes: een kort venster van echte, hoogfrequente Limit Order Book (LOB) data en een lang venster van lagerfrequente OHLCV data. De studie benadrukt een kritieke methodologische spanning in financiële RL: de verstrekte LOB-datasets (vaak afkomstig van wedstrijden) zijn doorgaans te smal in tijd om sample-efficiënte policies te trainen met statistisch vertrouwen, terwijl nuttige ensemble-methoden lange-horizon data vereisen om meerdere marktregimes te dekken. Bovendien onderzoekt het artikel het fenomeen van "policy collapse", waarbij agenten falen om te leren of convergeren naar degenerat gedrag, en streeft het ernaar om onderscheid te maken tussen trainingsfouten en economisch rationele inactiviteit.

Methodologie
De auteurs stellen een twee-modellenarchitectuur voor die getraind wordt met Proximal Policy Optimization (PPO) binnen een aangepaste Gymnasium-compatibele omgeving, die afwijkt van de officiële wedstrijdsimulator om volledige controle te hebben over de specificaties van staat, actie en beloning.

Databronnen:
- Model A (Short-Horizon/LOB): Getraind op de officiële FinRL-AlphaSeek wedstrijddataset (494.749 second-level snapshots van de BTC orderboekdiepte van april 2021). Kenmerken omvatten order imbalance, cancellation pressure, market-order flow en spread.
- Model B (Long-Horizon/OHLCV): Getraind op 2,4 jaar aan uurlijkse BTC/USDT data van Binance (2024–2026). Kenmerken omvatten log-returns, volatiliteit, volume en momentum.
MDP Formulering: De actieruimte is discreet {SELL, HOLD, BUY} met volledige positie-transities. De beloningsfunctie is een Sortino-ratio proxy op mark-to-market log-returns, gepenaliseerd voor drawdowns.
Diagnostisch Proces: De studie behandelt het trainingsproces als een diagnostische casestudy. Het documenteert een initiële "totale policy collapse" (één enkele transactie gevolgd door 195.000 stappen van bevroren gedrag) en isoleert systematisch de grondoorzaken:
1. Niet-genormaliseerde Inputs: Ruwe prijsniveaus ($85.000) gemengd met kleine kenmerken ( $10^{-3}$ ) creëerden een magnitudeverhouding van $7,1 \times 10^7$ , wat het netwerk destabiliseerde.
2. Numeriek Instabiele Beloning: De Sortino-ratio denominator gebruikte een vloer ( $10^{-8}$ ) die ver onder de empirische volatiliteit lag, wat leidde tot beloningsverzadiging (clipping) op 88–97% van de transities.
3. Hypothese Falsificatie: De auteurs testten of "onvoldoende exploratie" de convergentie naar bijna Buy-and-Hold veroorzaakte door de entropiecoëfficiënt 4x te verhogen, wat de prestaties niet verbeterde, waarmee een tekort aan exploratie werd uitgesloten.
Ensemble Mechanisme: Een voorgestelde filter gebruikt de door Model A (LOB) afgeleide signalen (order imbalance en spread) om de handelsbeslissingen van Model B te filteren tijdens de temporele overlap van de twee datasets.

Belangrijkste Resultaten

Long-Horizon Agent (Model B): Na het corrigeren van de input-normalisatie en beloningsschaling, convergeerde de agent naar een policy die bescheiden maar consistent beter presteerde dan een Buy-and-Hold baseline op de hold-out testdata (een periode met een onderliggende prijsdaling van 21%).
- Rendement: -19,42% (PPO) vs. -20,82% (Buy-and-Hold).
- Risicometrieken: Hogere Sharpe (-1,274 vs. -1,377) en Sortino ratio's, en een lagere maximum drawdown (31,45% vs. 32,54%).
- Gedrag: De verbetering kwam volledig voort uit geleerd instapmoment (één gerealiseerde transactie) in plaats van actieve handelsfrequentie.
Short-Horizon Agent (Model A): De agent getraind op second-level LOB data convergeerde naar een policy van nooit handelen (0 transacties, 0,00% rendement).
- Diagnose: Dit was geen trainingsfout, maar een economisch rationele inferentie. Op één-seconde granulariteit is de mediane prijsbeweging 0,00000%, en zelfs het 99ste percentiel (0,038%) is ongeveer 8x kleiner dan de geconfigureerde round-trip transactiekosten (0,30%). Onder deze economische omstandighedenheden is inactiviteit de optimale policy.
Evaluatie van de Ensemble Filter: In het enkele venster waar de databronnen overlapten (april 2021), onderschepte de filter 64 van de 165 signalen, maar veranderde het nul gerealiseerde transacties. Dit kwam omdat de basispolicy (Model B) op dat specifieke venster redundante "no-op" acties gaf. De auteurs rapporteren dit als een nulresultaat in plaats van het te onderdrukken.

Significantie en Claims
Het artikel beweert dat de primaire bijdrage ligt in de methodologische transparantie in plaats van een state-of-the-art handelsprestatie.

Diagnostische Waarde: Het biedt een nauwkeurige oorzaak-gevolganalyse van PPO policy collapse in financiële settings, waarbij wordt geïdentificeerd dat niet-genormaliseerde kenmerken en slecht geconditioneerde beloningsfuncties kunnen leiden tot degenerat gedrag dat lijkt op "falen", maar eigenlijk een reactie is op signaalverzadiging.
Economische Rationaliteit: Het demonstreert dat een RL-agent die convergeert naar "niet handelen" een correcte inferentie kan zijn over de marktmicrostructuur (specifiek, dat transactiekosten de prijsbewegingen op hoge frequenties domineren), in plaats van een gebrek aan leervermogen.
Rapportage van Negatieve Resultaten: De auteurs betogen dat het rapporteren van nulresultaten (bijv. de ensemble filter die geen effect heeft op het specifieke testvenster) en het falsificeren van hun eigen hypothesen (bijv. schaarste aan samples vs. transactiekosten) waardevoller is voor de onderzoeksgemeenschap dan gepolijste maar onverifieerbare succesverhalen.
Reproduceerbaarheid: De studie benadrukt de release van een volledige codebase, beslissingslogs en evaluatieharnas om reproduceerbaarheid te ondersteën, waarbij wordt opgemerkt dat alle resultaten gebaseerd zijn op een enkele random seed (42) en niet als statistisch robuust moeten worden beschouwd zonder validatie met meerdere seeds.

Het artikel concludeert dat hoewel de long-horizon agent een bescheiden uitmuntendheid vertoonde, de ensemble-aanpak verdere validatie vereist over meerdere marktregimes en seeds voordat de prestatieclaims kunnen worden gegeneraliseerd.