Asset-Universe Design and Action-Space Granularity in Cointegration-Based Deep Reinforcement Learning for Cryptocurrency Statistical Arbitrage

Technische Samenvatting: Ontwerp van het Asset-Universum en Granulariteit van de Actieruimte in Coïntegratie-gebaseerde DRL voor Cryptovaluta Statistische Arbitrage

Probleemstelling
Cryptomarkten bieden een hoge volatiliteit en continue handel, wat kansen creëert voor statistische arbitrage op basis van coïntegratie. Echter, de prestaties van Deep Reinforcement Learning (DRL) frameworks in dit domein worden vaak uitsluitend geëvalueerd op basis van algoritmische keuzes (bijv. DQN versus PPO), waarbij de constructie van het asset-universum en de granulariteit van de actieruimte als vaste, secundaire preprocessing-stappen worden behandeld. Deze studie stelt dat deze twee ontwerpkeuzes cruciale determinanten van prestaties zijn. Specifiek wordt onderzocht of de stabiliteit en verhandelbaarheid van synthetische arbitrageportefeuilles afhangen van de economische coherentie van het geselecteerde asset-universum en of het toestaan van agenten om blootstelling te schalen (granulaire acties) de risicobeheersing verbetert ten opzichte van binaire beslissingen met volledige blootstelling.

Methodologie
De studie maakt gebruik van een coïntegratie-gebaseerd DRL-framework met gebruik van 30-minuten USDT-genommeerde Binance spot-data. Het empirische ontwerp is gestructureerd rond vier verschillende asset-universa om de impact van de omvang en economische coherentie van het universum te testen:

1. Baseline 14-Asset Universum: Een replicatie van een standaard 14-asset set.
2. Breed 20-Asset Universum: Een uitgebreide set om schaalbaarheid en ruis te testen.
3. Payment-Coin 6-Asset Universum: Een gefocuste subset van op betalingen gerichte assets (bijv. BTC, XRP, DOGE).
4. Layer-1 Platform 9-Asset Universum: Een sectorspecifieke subset van blockchain-infrastructuur assets.

Experimenteel Framework:

• Portefeuilleconstructie: Voor elk handelsscenario wordt een 288-observatie (6-daagse) formatievenster gebruikt om coïntegratievectoren te schatten en twee synthetische portefeuilles (A en B) te construeren. Deze gewichten zijn vastgesteld voor de daaropvolgende 48-observatie (1-daagse) handelshorizon.
• DRL Agenten: Drie agenten worden geëvalueerd: Deep Q-Network (DQN), Proximal Policy Optimization (PPO) en Advantage Actor–Critic (A2C).
• Actieruimtes:
  • Binair: Agenten moeten kiezen voor volledige long/short blootstelling ($a_t \in \{-1, 1\}$).
  • Granulair: Agenten kunnen kiezen voor volledige, halve of neutrale blootstelling ($a_t \in \{-1, -0.5, 0, 0.5, 1\}$).
• Beloningsfunctie: Beloningen zijn gebaseerd op de gerealiseerde relatieve log-returns tussen de portefeuilles A en B, gestraft door transactiekosten die proportioneel zijn aan de verandering in blootstelling ($\Delta a_t$).
• Evaluatie: Strategieën worden vergeleken met een niet-DRL coïntegratie-benchmark (COIN) middels out-of-sample testen (december 2024 – mei 2025). De robuustheid wordt beoordeeld over verschillende random seeds (42, 101, 202).

Belangrijkste Bijdragen

1. Asset-Universum als Ontwerpvariabele: De studie behandelt de selectie van het asset-universum niet als een neutrale preprocessing-stap, maar als een kern-empirische variabele. Het toont aan dat de economische coherentie van de asset-set de leerbaarheid van coïntegratierelaties aanzienlijk beïnvloedt.
2. Analyse van Actieruimte-Granulariteit: Het vergelijkt direct binaire versus granulaire actieruimtes binnen hetzelfde coïntegratie-framework, waarbij wordt getest of de mogelijkheid tot gedeeltelijke blootstelling de risico-gecorrigeerde prestaties verbetert of enkel de bruto rendementen vermindert.
3. Robuustheid op Seed-niveau: Het papier gaat verder dan het rapporteren van een enkele run door sleutelmodellen over meerdere random seeds te evalueren om stabiel modelgedrag te onderscheiden van stochastische trainingsartefacten.

Empirische Resultaten

• Impact van Asset-Universum: Prestaties zijn zeer gevoelig voor het ontwerp van het universum.
  • De Payment-Coin 6 en Baseline 14 universa leverden de sterkste resultaten op. In het Payment-Coin universum behaalde DQN met binaire acties een totaalrendement van 32,26% (seed 42). In het Baseline 14 universum behaalde DQN binair 30,24%.
  • Het Brede 20 universum presteerde slecht voor DRL-agenten (alle negatieve rendementen), waarbij de niet-DRL COIN-benchmark (3,25%) alle DRL-strategieën versloeg.
  • Het Layer-1 Platform 9 universum resulteerde in negatieve rendementen over alle strategieën, inclusief de benchmark.
  • Conclusie: Het uitbreiden van het asset-universum verbetert de prestaties niet automatisch; een kleiner, economisch coherent universum biedt vaak stabielere coïntegratiesignalen.
• Impact van Actieruimte-Granulariteit:
  • Binaire acties produceerden hogere bruto rendementen in de sterkste settings (bijv. DQN in Payment-Coin en Baseline 14), wat suggereert dat volledige directionele blootstelling optimaal is wanneer de signalen sterk zijn.
  • Granulaire acties verhoogden niet universeel de rendementen, maar verbeterden de risicobeheersing aanzienlijk in zwakkere omgevingen. Ze stelden agenten in staat om drawdowns en omloopsnelheid te verminderen in scenario's waar de signalen ruisachtig waren (bijv. Layer-1 en Brede 20 universa).
• Robuustheid:
  • Resultaten zijn gevoelig voor stochastische variatie tijdens de training. Hoewel de Payment-Coin DQN binary gemiddeld positief bleef over de seeds (gemiddeld 16,50%), vertoonde het een hoge rendement-dispersie.
  • Het sterke succes van Baseline 14 DQN binary in de seed-42 run hield niet stand in andere seeds (het gemiddelde rendement werd negatief), wat aangeeft dat succes in een enkele run geen stabiliteit garandeert.

Betekenis en Claims
Het papier claimt dat het succes van DRL-gebaseerde cryptovaluta statistische arbitrage niet enkel een functie is van algoritmische superioriteit, maar voortkomt uit de interactie tussen de coïntegratiestructuur, het ontwerp van het asset-universum, de specificatie van de actieruimte en de trainingsstabiliteit.

• Voor Onderzoekers: De studie betoogt dat de evaluatie van DRL-trading niet uitsluitend moet focussen op het best presterende algoritme in een vaste setting, maar dat men ook het ontwerp van het asset-universum, de specificaties van de actieruimte en de seed-gevoeligheid moet rapporteren.
• Voor Praktijkgebruikers: Het suggereert dat assetselectie een primaire modelleringsbeslissing is die bepaalt of een arbitrage-relatie leerbaar is. Bovendien moeten granulaire actieruimtes primair worden beschouwd als risicobeheersingsmechanismen om om te gaan met zwakke signalen of hoge transactiekosten, in plaats van als universele rendementsverhogers.
• Algemene Conclusie: Het ontwerp van de handelsomgeving (universum en actieruimte) is even belangrijk als het DRL-algoritme zelf. DRL kan waarde toevoegen in gunstige settings (bijv. het Payment-Coin universum met DQN), maar het verslaat klassieke coïntegratie-benchmarks niet universeel, vooral wanneer de onderliggende asset-relaties ruisachtig of instabiel zijn.