Online Market Making and the Value of Observing the Order Book

Résumé Technique : Market Making en Ligne et la Valeur de l'Observation du Livre d'Ordres

Formulation du Problème
Ce papier aborde le problème du market making en ligne, où un agent (le « maker ») publie séquentiellement des prix d'achat ($B_t$) et de vente ($A_t$) pour un actif unique afin d'interagir avec des traders détenant des valorisations privées ($V_t$). L'actif possède une valeur objective de marché ($M_t$) réalisée à la fin de chaque tour. L'objectif de l'agent est de minimiser le regret par rapport à la meilleure stratégie fixe de prix d'achat-vente rétrospective.

Le défi central réside dans la structure de rétroaction. Dans les formulations traditionnelles (par exemple, Cesa-Bianchi et al., 2024), la rétroaction est entièrement censurée (rétroaction de type bandit) : l'agent observe uniquement si un échange a eu lieu. Ce papier introduit un modèle de rétroaction dépendant de l'action novateur, inspiré des vrais livres d'ordres limités (LOB). Le mécanisme de rétroaction est défini comme suit :

• Échange réalisé : Si $V_t \le B_t$ (Le maker achète) ou $V_t \ge A_t$ (Le maker vend), un échange a lieu. L'agent observe le prix de marché $M_t$ mais pas la valorisation privée du trader $V_t$.
• Aucun échange : Si $B_t < V_t < A_t$, aucune transaction ne se produit. Crucialement, l'agent observe la valorisation du trader $V_t$ (ainsi que $M_t$).

Cela crée un régime où une rétroaction informative est obtenue précisément lorsque la récompense instantanée est nulle. L'agent fait face à une tension entre le rétrécissement de l'écart pour maximiser le profit (ce qui risque de faire rater les événements informatifs de « non-échange ») et l'élargissement de l'écart pour recueillir des informations sur la distribution des valorisations.

Méthodologie et Algorithmes
Les auteurs proposent trois algorithmes distincts adaptés à différentes hypothèses concernant le processus de prix de marché $M_t$ :

1. Prix Stochastiques Indépendants (Algorithme 1 : OPSR) :

   • Hypothèse : $M_t$ est une suite i.i.d. avec une moyenne inconnue $\mu$.
   • Approche : L'algorithme Optimistic/Pessimistic Successive Rejects (OPSR). Il maintient un ensemble discret de prix d'achat-vente candidats.
   • Mécanisme : Il utilise une stratégie d'élimination. À chaque étape, il construit des intervalles de confiance optimistes et pessimistes pour la fonction de répartition cumulative (CDF) de $V_t$ et la moyenne de $M_t$.
   • Estimation : Bien que $V_t$ ne soit observé qu'en l'absence d'échange, l'algorithme construit un estimateur de substitution pour la CDF en utilisant des observations « tronquées » ($V^{clip}_t$). Il élimine les actions sous-optimales uniquement lorsque les intervalles de confiance certifient leur sous-optimalité, garantissant que la paire optimale n'est pas écartée prématurément.
   • Complexité : L'algorithme de base a une complexité par étape de $O(\sqrt{T})$. Une variante, LAZY-OPSR, met à jour les estimations uniquement aux puissances de deux pour atteindre une complexité amortie de $O(\log T)$.

2. Prix à Retour vers la Moyenne (Algorithme : LAZY-OPSR) :

   • Hypothèse : $M_t$ suit une large classe de processus à retour vers la moyenne, formalisée via deux conditions :
     • Locale : Un processus AR($k$) (Ornstein-Uhlenbeck discret).
     • Globale : Une condition de type martingale où la déviation future attendue par rapport à la moyenne, étant donné l'historique des déviations cumulées, présente une corrélation non positive avec la déviation cumulative actuelle.
   • Approche : Les auteurs prouvent une nouvelle inégalité de concentration pour la moyenne empirique sous ces conditions globales de retour vers la moyenne. Ils adaptent OPSR en LAZY-OPSR, qui restreint les éliminations d'actions à des étapes temporelles spécifiques (astuce du doublement) pour empêcher que les choix de l'agent ne se corrèlent de manière imprévisible avec la séquence de prix.

3. Prix Adversariaux (Algorithme 2 : ETP) :

   • Hypothèse : $M_t$ est une séquence arbitraire et aveugle (aucune hypothèse stochastique).
   • Approche : L'algorithme Explore-Then-Perturb (ETP).
   • Mécanisme :
     • Phase d'Exploration : Pendant les premiers $\kappa$ tours, l'agent fixe $B_t=0$ et $A_t=1$ pour garantir une estimation uniforme de la CDF $F$ sur tout le domaine.
     • Phase d'Exploitation : L'agent passe à une stratégie « Follow-the-Perturbed-Leader » (FTPL). Au lieu de perturber directement la récompense cumulative, l'algorithme ajoute un bruit aléatoire $\varepsilon$ à la moyenne de prix estimée $\hat{\mu}_t$. Cela stabilise les décisions de l'optimiseur dans un cadre non convexe, empêchant la volatilité des paires d'achat-vente choisies.

Résultats Clés
Le papier établit des bornes de regret à haute probabilité qui améliorent significativement les limites standards de la rétroaction de type bandit :

• Cadres Stochastiques et à Retour vers la Moyenne : Les algorithmes proposés atteignent une borne de regret de $\tilde{O}(\sqrt{T})$ avec une haute probabilité.
  • Ce résultat tient sans nécessiter d'hypothèses de régularité (par exemple, continuité de Lipschitz) sur la distribution des valorisations des traders $F$.
  • À l'inverse, les modèles standards de rétroaction de type bandit dans le cadre stochastique nécessitent généralement des hypothèses de Lipschitz pour atteindre $\tilde{O}(\sqrt{T})$ ; sans elles, ou dans des cadres adversariaux, les bornes inférieures sont $\Omega(T^{2/3})$ ou $\Omega(T)$.
• Cadre Adversarial : L'algorithme ETP garantit un regret espéré de $\tilde{O}(T^{2/3})$.
  • Cela constitue une amélioration par rapport à la borne inférieure de $\Omega(T)$ pour la rétroaction de type bandit dans les cadres adversariaux (sauf si des conditions de Lipschitz sont remplies).
  • La borne tient en espérance, et non avec une haute probabilité, en raison de la nature à queue lourde du bruit de perturbation.

Signification et Contributions
Le papier revendique d'être la première formalisation de cette structure de rétroaction dépendante de l'action spécifique dans l'apprentissage en ligne, où une rétroaction informative est révélée exactement lorsque la récompense est nulle. Les contributions principales sont :

1. Modèle de Rétroaction Novateur : Il quantifie la valeur de l'observation du livre d'ordres (spécifiquement, les ordres limites en attente lorsqu'aucun échange ne se produit). Les résultats démontrent qu'une rétroaction limitée et dépendante de l'action peut améliorer considérablement les garanties théoriques de regret par rapport aux modèles de rétroaction censurée standards.
2. Assouplissement des Hypothèses : Le regret $\tilde{O}(\sqrt{T})$ dans les cadres stochastiques et à retour vers la moyenne est atteint sans hypothèses de régularité sur la distribution des valorisations, ce qui constitue une rupture significative par rapport à la littérature antérieure sur les bandits continus.
3. Nouvelle Inégalité de Concentration : La dérivation d'une inégalité de concentration pour les moyennes empiriques sous une condition globale de retour vers la moyenne (basée sur les déviations cumulées) est présentée comme un résultat d'intérêt indépendant.
4. Conception Algorithmique : L'introduction de stratégies basées sur l'élimination et d'exploration suivie de perturbation, adaptées à la nature hybride de la rétroaction (rétroaction complète sur récompense nulle, rétroaction de type bandit sur récompense non nulle), fournit un nouveau cadre pour gérer l'observabilité partielle dans les marchés financiers.

Les auteurs concluent que, bien que le modèle soit stylisé, il isole le rôle critique de la structure d'information dans le market making, suggérant que la capacité d'observer les ordres non exécutés est une exigence fondamentale pour des stratégies de market making efficaces et à faible regret.