Zero-shot adaptation to order book dynamics

Résumé technique : Adaptation zero-shot aux dynamiques du carnet d'ordres

Énoncé du problème
Les modèles classiques de market-making d'Avellaneda–Stoikov (AS) offrent un cadre rapide et structurellement robuste, fondé sur un petit ensemble de paramètres interprétables (volatilité, intensités d'arrivée des ordres, aversion au risque d'inventaire et horizon temporel). Cependant, ces modèles reposent généralement sur une fonction objectif fixe définie à l'avance. Si les régimes de marché évoluent ou si les objectifs de trading changent (par exemple, les cibles d'inventaire souhaitées, l'appétit pour le risque ou les pénalités de sélection adverse), le modèle nécessite une réinterprétation manuelle ou un recalibrage. L'article répond au besoin d'un mécanisme adaptatif capable d'ajuster l'objectif de trading en temps réel en fonction des conditions de marché, sans réentraîner l'ensemble du modèle ni abandonner la structure analytique du cadre AS.

Méthodologie
L'architecture proposée sépare les dynamiques de marché de l'objectif de trading, en utilisant un mécanisme d'adaptation de type « mesure successorale » inspiré de l'apprentissage par renforcement zero-shot (spécifiquement les représentations Forward-Backward). Le système fonctionne à travers trois composantes principales :

1. Estimation de l'état de marché ($\xi_t$) :
   L'état actuel du carnet d'ordres limités ($L_t$) est mappé vers un vecteur de faible dimension de paramètres Avellaneda–Stoikov $\xi_t = (\sigma_t, A^b_t, A^a_t, \kappa^b_t, \kappa^a_t, c^b_t, c^a_t)$. Ces paramètres gouvernent les dynamiques locales du marché, incluant la volatilité, les intensités d'arrivée des ordres et les coûts locaux de sélection adverse. Contrairement aux modèles classiques où ils sont fixes, ici ils sont inférés dynamiquement à partir du carnet d'ordres.

2. Estimation de l'objectif adaptatif ($z_t$) :
   Au lieu d'une fonction de récompense fixe, le modèle estime un vecteur d'objectif de faible dimension $z_t$ à partir d'une fenêtre glissante de récompenses réalisées récentes ($W_t$). La récompense est modélisée comme un fonctionnel linéaire de caractéristiques de résultat : $r = z^\top \phi(s, a, s')$, où $\phi$ inclut le profit/perte, le prochain inventaire, l'inventaire au carré et les coûts de sélection adverse.
   Le vecteur d'objectif est estimé en utilisant une représentation backward $B_\psi$ qui mappe les paires état-action passées dans l'espace des coordonnées de récompense. L'estimation est calculée comme une espérance pondérée des récompenses réalisées :
   $$\hat{z}_t = \mathbb{E}_{\rho_t} [r^H(s, a) B_\psi(s, a)]$$
   Cela permet au modèle d'inférer la « direction de récompense » actuelle du marché (par exemple, si le marché rémunère l'accumulation d'inventaire ou pénalise la sélection adverse) directement à partir des données.

3. Représentation Forward de l'HJB et scalarisation :
   L'objet de valeur central est une représentation forward vectorielle de Hamilton-Jacobi-Bellman (HJB), $F_{HJB}(q, \tau, a, z; \xi)$, qui représente les caractéristiques de récompense futures attendues sous des politiques optimales pour un objectif donné $z$.
   La valeur d'action scalaire est obtenue en projetant ce vecteur sur l'objectif adaptatif actuel :
   $$Q_{z_t}(s, a) = F_{HJB}(s, a, z_t; \xi_t)^\top z_t$$
   La politique $\pi_{z_t}$ est dérivée en maximisant cette valeur scalaire. Dans la mise en œuvre sous forme close, cela se traduit par des règles de cotation similaires au AS classique, mais où la valeur de continuation $h_t(q)$ est calculée spécifiquement pour l'objectif inféré $z_t$ :
   $$\delta^{b,\star}_t = \frac{1}{\kappa^b_t} - \frac{h_{z_t}(q_t + v) - h_{z_t}(q_t)}{v} + \frac{c^b_t}{v}$$
   (et de même pour le côté ask).

Contributions clés

• Cadre AS adaptatif : L'article introduit une méthode pour conserver la rapidité analytique et l'interprétabilité du modèle Avellaneda–Stoikov tout en remplaçant l'objectif fixe par un vecteur adaptatif piloté par les données.
• Séparation des dynamiques et des objectifs : Il démontre que les dynamiques de marché (paramètres $\xi_t$) et les objectifs de trading (vecteur $z_t$) peuvent être découplés. Les dynamiques sont inférées à partir du carnet d'ordres, tandis que les objectifs sont inférés à partir des récompenses réalisées.
• Adaptation zero-shot : L'approche permet au modèle de s'adapter aux régimes changeants et aux objectifs sans réentraînement, fonctionnant efficacement comme un apprenant zero-shot pour les objectifs de market-making.
• Solution sous forme close : Les auteurs dérivent une règle de cotation sous forme close qui intègre l'objectif adaptatif dans la structure AS standard, garantissant que le modèle reste efficace sur le plan computationnel.

Résultats expérimentaux
Les auteurs ont évalué la stratégie proposée « Rolling FB-AS HJB » par rapport à deux lignes de base sur un jeu de données de carnet d'ordres limités BTCUSDT reconstruit :

1. Une stratégie Guéant–Lehalle–Fernandez-Tapia (GLFT) à latence fixe.
2. Une stratégie Avellaneda–Stoikov à latence fixe.

Constats :

• Performance : Les deux stratégies de base (grille GLFT et grille AS) ont produit des rendements négatifs et des drawdowns élevés sur la fenêtre d'évaluation. En revanche, la stratégie Rolling FB-AS HJB a atteint des rendements positifs (0,002167) et un ratio de Sharpe significativement plus élevé (28,57 contre des valeurs négatives pour les lignes de base).
• Gestion des risques : La stratégie adaptative a présenté un drawdown maximal substantiellement plus faible (0,000947) par rapport aux lignes de base (~0,0027–0,0028).
• Fréquence de trading : La stratégie adaptative a négocié significativement moins fréquemment (477,85 trades quotidiens) que les lignes de base (~4500–4600 trades quotidiens), suggérant que l'objectif adaptatif et la sélection HJB à horizon fini agissent comme un filtre contre le sur-trading dans des conditions bruyantes.

Portée et affirmations
L'article prétend fournir un « pont interprétable entre le market-making analytique et l'apprentissage par renforcement basé sur les représentations ». En conservant les dynamiques Avellaneda–Stoikov comme noyau physique et en adaptant uniquement un vecteur d'objectif de faible dimension, le cadre évite le caractère de « boîte noire » de l'apprentissage par renforcement profond tout en gagnant la flexibilité de l'adaptation zero-shot.

Les auteurs sont modestes dans leurs affirmations, notant que les résultats proviennent d'une « étude de simulation contrôlée » utilisant des données reconstruites et une attribution de remplissage approximative plutôt que des données natives de bourse. Ils reconnaissent qu'une mise en œuvre de production nécessiterait des données d'événements natives, un étalonnage plus robuste des probabilités de remplissage et une modélisation des coûts plus détaillée. Cependant, l'étude démontre que, dans des conditions de backtest identiques, la règle de cotation adaptative se comporte fondamentalement différemment et de manière plus robuste que les lignes de base à objectif fixe.