Online Market Making and the Value of Observing the Order Book

Technischer Überblick: Online-Market-Making und der Wert der Beobachtung des Orderbuchs

Problemformulierung
Diese Arbeit behandelt das Online-Market-Making-Problem, bei dem ein Agent (der „Maker") sequenziell Gebotspreise ($B_t$) und Angebotspreise ($A_t$) für ein einzelnes Asset platziert, um mit Händlern zu interagieren, die private Bewertungen ($V_t$) halten. Das Asset besitzt einen objektiven Marktwert ($M_t$), der am Ende jeder Runde realisiert wird. Das Ziel des Agents ist es, das Regret im Vergleich zur besten festen Gebot-Angebots-Strategie im Nachhinein zu minimieren.

Die Kernherausforderung liegt in der Feedback-Struktur. In traditionellen Formulierungen (z. B. Cesa-Bianchi et al., 2024) ist das Feedback vollständig zensiert (Bandit-Feedback): Der Agent beobachtet nur, ob ein Handel stattgefunden hat. Diese Arbeit führt ein neuartiges, aktionsabhängiges Feedback-Modell ein, das von realen Limit-Order-Büchern (LOB) inspiriert ist. Der Feedback-Mechanismus ist wie folgt definiert:

• Handel findet statt: Wenn $V_t \le B_t$ (Maker kauft) oder $V_t \ge A_t$ (Maker verkauft), kommt es zu einem Handel. Der Agent beobachtet den Marktpreis $M_t$, aber nicht die private Bewertung $V_t$ des Händlers.
• Kein Handel: Wenn $B_t < V_t < A_t$, findet keine Transaktion statt. Entscheidend ist, dass der Agent die Bewertung $V_t$ des Händlers (und $M_t$) beobachtet.

Dies schafft ein Regime, in dem informatives Feedback genau dann erhalten wird, wenn die unmittelbare Belohnung null ist. Der Agent steht vor einem Spannungsfeld zwischen der Verengung des Spreads zur Gewinnmaximierung (was das Verpassen informativer „Kein-Handel"-Ereignisse riskiert) und der Verbreiterung des Spreads, um Informationen über die Verteilung der Bewertungen zu sammeln.

Methodik und Algorithmen
Die Autoren schlagen drei verschiedene Algorithmen vor, die auf unterschiedliche Annahmen über den Marktpreisprozess $M_t$ zugeschnitten sind:

1. Stochastische unabhängige Preise (Algorithmus 1: OPSR):

   • Annahme: $M_t$ ist eine i.i.d.-Folge mit unbekanntem Mittelwert $\mu$.
   • Ansatz: Der Optimistic/Pessimistic Successive Rejects (OPSR)-Algorithmus. Er verwaltet eine diskrete Menge von Kandidaten-Gebots- und Angebotspreisen.
   • Mechanismus: Er nutzt eine Eliminationsstrategie. In jedem Schritt konstruiert er optimistische und pessimistische Konfidenzintervalle für die kumulative Verteilungsfunktion (CDF) von $V_t$ und den Mittelwert von $M_t$.
   • Schätzung: Obwohl $V_t$ nur bei Nicht-Stattfinden eines Handels beobachtet wird, konstruiert der Algorithmus einen Surrogat-Schätzer für die CDF unter Verwendung „geclippter" Beobachtungen ($V^{clip}_t$). Er eliminiert suboptimale Aktionen nur, wenn die Konfidenzintervalle deren Suboptimalität zertifizieren, wodurch sichergestellt wird, dass das optimale Paar nicht vorzeitig verworfen wird.
   • Komplexität: Der Basisalgorithmus hat eine Komplexität von $O(\sqrt{T})$ pro Schritt. Eine Variante, LAZY-OPSR, aktualisiert Schätzungen nur bei Potenzen von zwei, um eine amortisierte Komplexität von $O(\log T)$ zu erreichen.

2. Mittelwert-revertierende Preise (Algorithmus: LAZY-OPSR):

   • Annahme: $M_t$ folgt einer breiten Klasse von mittelwert-revertierenden Prozessen, formalisiert durch zwei Bedingungen:
     • Lokal: Ein AR($k$)-Prozess (diskretes Ornstein-Uhlenbeck).
     • Global: Eine Martingal-artige Bedingung, bei der die erwartete zukünftige Abweichung vom Mittelwert, gegeben die Historie der kumulierten Abweichungen, eine nicht-positive Korrelation mit der aktuellen kumulierten Abweichung aufweist.
   • Ansatz: Die Autoren beweisen eine neue Konzentrationsungleichung für den Stichprobenmittelwert unter diesen globalen mittelwert-revertierenden Bedingungen. Sie passen OPSR an LAZY-OPSR an, was die Eliminierung von Aktionen auf bestimmte Zeitschritte beschränkt (Verdopplungs-Trick), um zu verhindern, dass die Entscheidungen des Agents unvorhersehbar mit der Preissequenz korrelieren.

3. Adversarische Preise (Algorithmus 2: ETP):

   • Annahme: $M_t$ ist eine beliebige, oblivious Sequenz (keine stochastischen Annahmen).
   • Ansatz: Der Explore-Then-Perturb (ETP)-Algorithmus.
   • Mechanismus:
     • Explorationsphase: In den ersten $\kappa$ Runden setzt der Agent $B_t=0$ und $A_t=1$, um eine uniforme Schätzung der CDF $F$ über den gesamten Bereich sicherzustellen.
     • Exploitationsphase: Der Agent wechselt zu einer „Follow-the-Perturbed-Leader" (FTPL)-Strategie. Anstatt die kumulierte Belohnung direkt zu stören, fügt der Algorithmus zufälliges Rauschen $\varepsilon$ zum geschätzten Mittelwert $\hat{\mu}_t$ hinzu. Dies stabilisiert die Entscheidungen des Optimierers im nicht-konvexen Setting und verhindert Volatilität bei den gewählten Gebot-Angebots-Paaren.

Hauptergebnisse
Die Arbeit etabliert Regret-Schranken mit hoher Wahrscheinlichkeit, die die Grenzen des Standard-Bandit-Feedbacks signifikant verbessern:

• Stochastische und mittelwert-revertierende Settings: Die vorgeschlagenen Algorithmen erreichen eine Regret-Schranke von $\tilde{O}(\sqrt{T})$ mit hoher Wahrscheinlichkeit.
  • Dieses Ergebnis gilt ohne die Anforderung von Glattheitsannahmen (z. B. Lipschitz-Stetigkeit) für die Verteilung der Händlerbewertungen $F$.
  • Im Gegensatz dazu erfordern Standard-Bandit-Feedback-Modelle im stochastischen Setting typischerweise Lipschitz-Annahmen, um $\tilde{O}(\sqrt{T})$ zu erreichen; ohne diese oder in adversarischen Settings liegen die unteren Schranken bei $\Omega(T^{2/3})$ oder $\Omega(T)$.
• Adversarisches Setting: Der ETP-Algorithmus garantiert ein erwartetes Regret von $\tilde{O}(T^{2/3})$.
  • Dies ist eine Verbesserung gegenüber der unteren Schranke von $\Omega(T)$ für Bandit-Feedback in adversarischen Settings (sofern keine Lipschitz-Bedingungen erfüllt sind).
  • Die Schranke gilt im Erwartungswert, nicht mit hoher Wahrscheinlichkeit, aufgrund der heavy-tailed Natur des Störungsrauschens.

Bedeutung und Beiträge
Die Arbeit beansprucht die erste Formalisierung dieser spezifischen aktionsabhängigen Feedback-Struktur im Online-Learning zu sein, bei der informatives Feedback genau dann offenbart wird, wenn die Belohnung null ist. Die Hauptbeiträge sind:

1. Neues Feedback-Modell: Es quantifiziert den Wert der Beobachtung des Orderbuchs (insbesondere ruhender Limit-Orders, wenn kein Handel stattfindet). Die Ergebnisse zeigen, dass selbst begrenztes, aktionsabhängiges Feedback die theoretischen Regret-Garantien im Vergleich zu Standard-Modellen mit zensiertem Feedback dramatisch verbessern kann.
2. Lockerung von Annahmen: Das $\tilde{O}(\sqrt{T})$-Regret in stochastischen und mittelwert-revertierenden Settings wird ohne Glattheitsannahmen für die Bewertungsverteilung erreicht, was eine signifikante Abkehr von der bisherigen Literatur zu kontinuierlichen Bandits darstellt.
3. Neue Konzentrationsungleichung: Die Herleitung einer Konzentrationsungleichung für Stichprobenmittelwerte unter einer globalen mittelwert-revertierenden Bedingung (basierend auf kumulierten Abweichungen) wird als Ergebnis von eigenständigem Interesse präsentiert.
4. Algorithmisches Design: Die Einführung von eliminationsbasierten und „Explore-Then-Perturb"-Strategien, die auf die hybride Natur des Feedbacks zugeschnitten sind (vollständiges Feedback bei nuller Belohnung, Bandit-Feedback bei nicht-null Belohnung), bietet einen neuen Rahmen für den Umgang mit partieller Beobachtbarkeit in Finanzmärkten.

Die Autoren schließen, dass das Modell zwar stilisiert ist, aber die kritische Rolle der Informationsstruktur im Market-Making isoliert und nahelegt, dass die Fähigkeit, nicht ausgeführte Orders zu beobachten, eine grundlegende Voraussetzung für effektive, low-regret Market-Making-Strategien ist.