Online Market Making and the Value of Observing the Order Book

Technische Samenvatting: Online Market Making en de Waarde van het Observeren van het Orderboek

Probleemformulering
Dit artikel behandelt het online market-making-probleem, waarbij een agent (de "maker") sequentieel bied- ($B_t$) en vraagprijzen ($A_t$) plaatst voor een enkel actief om te interageren met handelaren die private waarderingen ($V_t$) bezitten. Het actief heeft een objectieve marktwaarde ($M_t$) die aan het einde van elke ronde wordt gerealiseerd. Het doel van de agent is om het spijtverlies te minimaliseren ten opzichte van de beste vaste bied-vraagstrategie achteraf.

De kernuitdaging ligt in de feedbackstructuur. In traditionele formuleringen (bijv. Cesa-Bianchi et al., 2024) is feedback volledig gecensureerd (bandit-feedback): de agent observeert alleen of er een transactie heeft plaatsgevonden. Dit artikel introduceert een nieuw actie-afhankelijk feedbackmodel geïnspireerd op echte Limit Order Books (LOB). Het feedbackmechanisme is als volgt gedefinieerd:

• Transactie treedt op: Als $V_t \le B_t$ (Maker koopt) of $V_t \ge A_t$ (Maker verkoopt), vindt er een transactie plaats. De agent observeert de marktprijs $M_t$, maar niet de private waardering $V_t$ van de handelaar.
• Geen transactie: Als $B_t < V_t < A_t$, vindt er geen transactie plaats. Cruciaal is dat de agent wel de waardering $V_t$ van de handelaar (en $M_t$) observeert.

Dit creëert een regime waarin informatieve feedback wordt verkregen precies op het moment dat de instantane beloning nul is. De agent staat voor een spanning tussen het verkleinen van de spread om winst te maximaliseren (wat het risico met zich meebrengt informatieve "geen-transactie"-gebeurtenissen te missen) en het verbreden van de spread om informatie te verzamelen over de verdeling van waarderingen.

Methodologie en Algoritmen
De auteurs stellen drie verschillende algoritmen voor die zijn toegesneden op verschillende aannames over het marktprysproces $M_t$:

1. Stochastische Onafhankelijke Prijzen (Algoritme 1: OPSR):

   • Aanname: $M_t$ is een i.i.d.-reeks met een onbekend gemiddelde $\mu$.
   • Aanpak: Het Optimistic/Pessimistic Successive Rejects (OPSR)-algoritme. Het onderhoudt een discrete set van kandidaat bied- en vraagprijzen.
   • Mechanisme: Het maakt gebruik van een eliminatiestrategie. In elke stap worden optimistische en pessimistische betrouwbaarheidsintervallen geconstrueerd voor de cumulatieve verdelingsfunctie (CDF) van $V_t$ en het gemiddelde van $M_t$.
   • Schatting: Hoewel $V_t$ alleen wordt waargenomen wanneer er geen transactie plaatsvindt, construeert het algoritme een surrogaatschatter voor de CDF met behulp van "geknipte" observaties ($V^{clip}_t$). Het elimineert suboptimale acties alleen wanneer betrouwbaarheidsintervallen hun suboptimaliteit certificeren, zodat het optimale paar niet voortijdig wordt verworpen.
   • Complexiteit: Het basisalgoritme heeft een complexiteit per stap van $O(\sqrt{T})$. Een variant, LAZY-OPSR, werkt schattingen alleen bij machten van twee bij om een geamortiseerde complexiteit van $O(\log T)$ te bereiken.

2. Gemiddelde-reverterende Prijzen (Algoritme: LAZY-OPSR):

   • Aanname: $M_t$ volgt een brede klasse van gemiddelde-reverterende processen, geformaliseerd via twee voorwaarden:
     • Lokaal: Een AR($k$)-proces (discrete Ornstein-Uhlenbeck).
     • Globaal: Een martingaal-achtige voorwaarde waarbij de verwachte toekomstige afwijking van het gemiddelde, gegeven de geschiedenis van cumulatieve afwijkingen, een niet-positieve correlatie heeft met de huidige cumulatieve afwijking.
   • Aanpak: De auteurs bewijzen een nieuwe concentratieongelijkheid voor het steekproefgemiddelde onder deze globale gemiddelde-reverterende voorwaarden. Zij passen OPSR aan tot LAZY-OPSR, wat actie-eliminaties beperkt tot specifieke tijdstappen (verdubbelingstruc) om te voorkomen dat de keuzes van de agent op onvoorspelbare wijze correleren met de prijsreeks.

3. Adversariële Prijzen (Algoritme 2: ETP):

   • Aanname: $M_t$ is een willekeurige, onbewuste reeks (geen stochastische aannames).
   • Aanpak: Het Explore-Then-Perturb (ETP)-algoritme.
   • Mechanisme:
     • Verkenningfase: Gedurende de eerste $\kappa$ rondes stelt de agent $B_t=0$ en $A_t=1$ om een uniforme schatting van de CDF $F$ over het hele domein te garanderen.
     • Exploitatiefase: De agent schakelt over naar een "Follow-the-Perturbed-Leader" (FTPL)-strategie. In plaats van de cumulatieve beloning direct te verstoren, voegt het algoritme willekeurige ruis $\varepsilon$ toe aan de geschatte gemiddelde prijs $\hat{\mu}_t$. Dit stabiliseert de beslissingen van de optimizer in de niet-convexe setting en voorkomt volatiliteit in de gekozen bied-vraagparen.

Belangrijkste Resultaten
Het artikel stelt hoogstwaarschijnlijke spijtbegrenzingen vast die aanzienlijk verbeteren op standaard bandit-feedbacklimieten:

• Stochastische en Gemiddelde-reverterende Settings: De voorgestelde algoritmen bereiken een spijtbegrenzing van $\tilde{O}(\sqrt{T})$ met hoge waarschijnlijkheid.
  • Dit resultaat geldt zonder vereisten voor gladheid (bijv. Lipschitz-continuïteit) voor de verdeling van handelarenwaarderingen $F$.
  • In tegenstelling hiermee vereisen standaard bandit-feedbackmodellen in de stochastische setting doorgaans Lipschitz-voorwaarden om $\tilde{O}(\sqrt{T})$ te bereiken; zonder deze, of in adversariële settings, zijn de ondergrenzen $\Omega(T^{2/3})$ of $\Omega(T)$.
• Adversariële Setting: Het ETP-algoritme garandeert een verwachte spijt van $\tilde{O}(T^{2/3})$.
  • Dit is een verbetering ten opzichte van de $\Omega(T)$-ondergrens voor bandit-feedback in adversariële settings (tenzij Lipschitz-voorwaarden worden voldaan).
  • De begrenzing geldt in verwachting, niet met hoge waarschijnlijkheid, vanwege het zwaarstaartige karakter van de verstoringruis.

Betekenis en Bijdragen
Het artikel claimt de eerste formalisering te zijn van deze specifieke actie-afhankelijke feedbackstructuur in online learning, waarbij informatieve feedback precies wordt onthuld wanneer de beloning nul is. De belangrijkste bijdragen zijn:

1. Nieuw Feedbackmodel: Het kwantificeert de waarde van het observeren van het orderboek (specifiek, rustende limitorders wanneer er geen transactie plaatsvindt). De resultaten tonen aan dat zelfs beperkte, actie-afhankelijke feedback de theoretische spijtbegrenzingen aanzienlijk kan verbeteren ten opzichte van standaard gecensureerde feedbackmodellen.
2. Verzachting van Aannames: De $\tilde{O}(\sqrt{T})$-spijt in stochastische en gemiddelde-reverterende settings wordt bereikt zonder gladheidsaannames over de waarderingverdeling, een significante afwijking van eerdere continue bandit-literatuur.
3. Nieuwe Concentratieongelijkheid: De afleiding van een concentratieongelijkheid voor steekproefgemiddelden onder een globale gemiddelde-reverterende voorwaarde (gebaseerd op cumulatieve afwijkingen) wordt gepresenteerd als een resultaat van onafhankelijk belang.
4. Algoritmisch Ontwerp: De introductie van op eliminatie gebaseerde en explore-then-perturb-strategieën die zijn toegesneden op het hybride karakter van de feedback (volledige feedback bij nul beloning, bandit-feedback bij niet-nul beloning) biedt een nieuw kader voor het hanteren van partiële waarneembaarheid in financiële markten.

De auteurs concluderen dat, hoewel het model gestileerd is, het de kritieke rol van de informatiestructuur in market making isoleert, wat suggereert dat het vermogen om niet-uitgevoerde orders te observeren een fundamentele vereiste is voor effectieve, laag-spijt market-making-strategieën.