Asset-Universe Design and Action-Space Granularity in Cointegration-Based Deep Reinforcement Learning for Cryptocurrency Statistical Arbitrage

Résumé Technique : Conception de l'Univers d'Actifs et Granularité de l'Espace d'Action dans l'Arbitrage Statistique par DRL basé sur la Cointégration pour les Cryptomonnaies

Énoncé du Problème
Les marchés de cryptomonnaies offrent une volatilité élevée et un trading continu, créant des opportunités d'arbitrage statistique basées sur la cointégration. Cependant, les performances des cadres de Deep Reinforcement Learning (DRL) dans ce domaine sont souvent évaluées uniquement sur le choix de l'algorithme (par exemple, DQN vs PPO), en traitant la construction de l'univers d'actifs et la granularité de l'espace d'action comme des étapes de prétraitement secondaires et fixes. Cette étude postule que ces deux choix de conception sont des déterminants critiques de la performance. Plus précisément, elle examine si la stabilité et la négociabilité des portefeuilles d'arbitrage synthétiques dépendent de la cohérence économique de l'univers d'actifs sélectionné et si le fait de permettre aux agents de moduler leur exposition (actions granulaires) améliore le contrôle du risque par rapport aux décisions binaires d'exposition totale.

Méthodologie
L'étude utilise un cadre DRL basé sur la cointégration utilisant des données spot Binance libellées en USDT à 30 minutes. La conception empirique est structurée autour de quatre univers d'actifs distincts pour tester l'impact de la taille de l'univers et de la cohérence économique :

1. Univers de Référence de 14 Actifs : Une réplication d'un ensemble standard de 14 actifs.
2. Univers Large de 20 Actifs : Un ensemble élargi pour tester la scalabilité et le bruit.
3. Univers de 6 Actifs de type "Payment-Coin" : Un sous-ensemble focalisé sur les actifs orientés vers les paiements (ex: BTC, XRP, DOGE).
4. Univers de 9 Actifs de type "Plateforme Layer-1" : Un sous-ensemble sectoriel d'actifs d'infrastructure blockchain.

Cadre Expérimental :

• Construction de Portefeuille : Pour chaque scénario de trading, une fenêtre de formation de 288 observations (6 jours) est utilisée pour estimer les vecteurs de cointégration et construire deux portefeuilles synthétiques (A et B). Ces poids sont fixes pour l'horizon de trading de 48 observations (1 jour) suivant.
• Agents DRL : Trois agents sont évalués : Deep Q-Network (DQN), Proximal Policy Optimization (PPO) et Advantage Actor–Critic (A2C).
• Espaces d'Action :
  • Binaire : Les agents doivent choisir une exposition totale longue/courte ($a_t \in \{-1, 1\}$).
  • Granulaire : Les agents peuvent choisir une exposition totale, demi ou nulle ($a_t \in \{-1, -0.5, 0, 0.5, 1\}$).
• Fonction de Récompense : Les récompenses sont basées sur les rendements logarithmiques relatifs réalisés entre les portefeuilles A et B, pénalisés par les coûts de transaction proportionnels au changement d'exposition ($\Delta a_t$).
• Évaluation : Les stratégies sont comparées à un benchmark de cointégration non-DRL (COIN) via des tests hors échantillon (décembre 2024 – mai 2025). La robustesse est évaluée à travers plusieurs graines aléatoires (42, 101, 202).

Principales Contributions

1. L'Univers d'Actifs comme Variable de Conception : L'étude traite la sélection de l'univers d'actifs non pas comme une étape de prétraitement neutre, mais comme une variable empirique centrale. Elle démontre que la cohérence économique de l'ensemble d'actifs influence significativement l'apprentissage des relations de cointégration.
2. Analyse de la Granularité de l'Espace d'Action : Elle compare directement les espaces d'action binaires et granulaires au sein d'un même cadre de cointégration, testant si les capacités d'exposition partielle améliorent le rendement ajusté au risque ou ne font que réduire les rendements bruts.
3. Robustesse au Niveau de la Graine (Seed) : Le papier dépasse le simple rapport de run unique en évaluant les modèles clés à travers plusieurs graines aléatoires pour distinguer le comportement stable du modèle des artefacts stochastiques d'entraînement.

Résultats Empiriques

• Impact de l'Univers d'Actifs : La performance est hautement sensible à la conception de l'univers.
  • Les univers Payment-Coin 6 et Baseline 14 ont produit les résultats les plus solides. Dans l'univers Payment-Coin, le DQN avec actions binaires a atteint un rendement total de 32,26 % (graine 42). Dans l'univers Baseline 14, le DQN binaire a retourné 30,24 %.
  • L'univers Large de 20 Actifs a mal performé pour les agents DRL (rendements tous négatifs), le benchmark non-DRL COIN (3,25 %) surperformant toutes les stratégies DRL.
  • L'univers Layer-1 Platform 9 a entraîné des rendements négatifs pour toutes les stratégies, y compris le benchmark.
  • Conclusion : L'élargissement de l'univers d'actifs n'améliore pas automatiquement la performance ; un univers plus petit et économiquement cohérent fournit souvent des signaux de cointégration plus stables.
• Impact de la Granularité de l'Espace d'Action :
  • Les actions binaires ont produit des rendements bruts plus élevés dans les configurations les plus fortes (ex: DQN dans Payment-Coin et Baseline 14), suggérant qu'une exposition directionnelle totale est optimale lorsque les signaux sont forts.
  • Les actions granulaires n'ont pas universellement augmenté les rendements mais ont considérablement amélioré le contrôle du risque dans les environnements plus faibles. Elles ont permis de réduire les drawdowns et le turnover dans les scénarios où les signaux étaient bruités (ex: universes Layer-1 et Broad 20).
• Robustesse :
  • Les résultats sont sensibles à la variation stochastique de l'entraînement. Bien que le DQN binaire de Payment-Coin soit resté positif en moyenne sur les graines (moyenne de 16,50 %), il présentait une forte dispersion des rendements.
  • La forte performance du DQN binaire de Baseline 14 lors de la run de la graine 42 ne s'est pas maintenue sur les autres graines (le rendement moyen est devenu négatif), indiquant qu'un succès sur un run unique ne garantit pas la stabilité.

Signification et Revendications
Le papier affirme que le succès de l'arbitrage statistique de cryptomonnaies par DRL ne dépend pas uniquement de la supériorité algorithmique, mais émerge de l'interaction entre la structure de cointégration, la conception de l'univers d'actifs, la spécification de l'espace d'action et la stabilité de l'entraînement.

• Pour les Chercheurs : L'étude soutient que les évaluations de trading DRL doivent rapporter la conception de l'univers d'actifs, les spécifications de l'espace d'action et la sensibilité à la graine, plutôt que de se concentrer exclusivement sur le meilleur algorithme dans un cadre fixe.
• Pour les Praticiens : Elle suggère que la sélection des actifs est une décision de modélisation primaire qui détermine si une relation de cointégration est apprenable. De plus, les espaces d'action granulaires doivent être perçus principalement comme des mécanismes de gestion des risques pour gérer les signaux faibles ou les coûts de transaction élevés, plutôt que comme des amplificateurs de rendement universels.
• Conclusion Globale : La conception de l'environnement de trading (univers et espace d'action) importe autant que l'algorithme DRL lui-même. Le DRL peut apporter de la valeur dans des contextes favorables (ex: univers Payment-Coin avec DQN), mais il ne surpasse pas universellement les benchmarks de cointégration classiques, particulièrement lorsque les relations sous-jacentes entre les actifs sont bruitées ou instables.