Zero-shot adaptation to order book dynamics

Technische Samenvatting: Zero-shot Adaptatie aan Orderboekdynamiek

Probleemstelling
Klassieke Avellaneda–Stoikov (AS) market-making-modellen bieden een snel, structureel robuust raamwerk dat gebaseerd is op een klein aantal interpreteerbare parameters (volatiliteit, intensiteiten van orderaankomst, voorraadrisico-aversie en tijdsbestek). Deze modellen vertrouwen echter doorgaans op een vooraf gedefinieerde, vaste doelfunctie. Als marktreferenties verschuiven of handelsdoelstellingen veranderen (bijvoorbeeld gewenste voorraaddoelen, risicobereidheid of straffen voor adverse selection), vereist het model een handmatige herinterpretatie of herberekening. Het artikel adresseert de behoefte aan een adaptief mechanisme dat de handelsdoelstelling in real-time kan aanpassen aan marktomstandigheden zonder het volledige model opnieuw te trainen of de analytische structuur van het AS-raamwerk te verlaten.

Methodologie
De voorgestelde architectuur scheidt marktdynamiek van de handelsdoelstelling, waarbij gebruik wordt gemaakt van een aanpassingsmechanisme in de stijl van "successor measure", geïnspireerd op zero-shot versterkende leer (specifiek Forward-Backward representaties). Het systeem werkt via drie hoofdbestanddelen:

1. Schatting van Marktoestand ($\xi_t$):
   De huidige staat van het limit orderboek ($L_t$) wordt gemapt naar een laagdimensionale vector van Avellaneda–Stoikov parameters $\xi_t = (\sigma_t, A^b_t, A^a_t, \kappa^b_t, \kappa^a_t, c^b_t, c^a_t)$. Deze parameters beheersen de lokale marktdynamiek, inclusief volatiliteit, intensiteiten van orderaankomst en lokale kosten voor adverse selection. In tegenstelling tot klassieke modellen, waarin deze vaststaan, worden ze hier dynamisch afgeleid uit het orderboek.

2. Adaptieve Schatting van Doelstelling ($z_t$):
   In plaats van een vaste beloningsfunctie, schat het model een laagdimensionale doelvector $z_t$ af op basis van een rollend venster van recent gerealiseerde beloningen ($W_t$). De beloning wordt gemodelleerd als een lineaire functionaal van uitkomstkenmerken: $r = z^\top \phi(s, a, s')$, waarbij $\phi$ winst/verlies, volgende voorraad, gekwadrateerde voorraad en kosten voor adverse selection omvat.
   De doelvector wordt geschat met behulp van een backward representatie $B_\psi$ die eerdere state-action paren afbeeldt op de ruimte van beloningscoördinaten. De schatting wordt berekend als een gewogen verwachting van gerealiseerde beloningen:
   $$\hat{z}_t = \mathbb{E}_{\rho_t} [r^H(s, a) B_\psi(s, a)]$$
   Dit stelt het model in staat om de huidige "beloningsrichting" van de markt direct uit de data af te leiden (bijvoorbeeld of de markt betaalt voor voorraadopbouw of straft voor adverse selection).

3. HJB Forward Representatie en Scalarisatie:
   Het kernwaardeobject is een vectorwaardige Hamilton-Jacobi-Bellman (HJB) forward representatie, $F_{HJB}(q, \tau, a, z; \xi)$, die de verwachte toekomstige beloningskenmerken onder optimale beleidslijnen voor een gegeven doelstelling $z$ vertegenwoordigt.
   De scalar actie-waarde wordt verkregen door deze vector te projecteren op de huidige adaptieve doelstelling:
   $$Q_{z_t}(s, a) = F_{HJB}(s, a, z_t; \xi_t)^\top z_t$$
   Het beleid $\pi_{z_t}$ wordt afgeleid door deze scalarwaarde te maximaliseren. In de gesloten-vorm implementatie resulteert dit in biedregels die lijken op de klassieke AS, maar waarbij de continuatiewaarde $h_t(q)$ specifiek wordt berekend voor de afgeleide doelstelling $z_t$:
   $$\delta^{b,\star}_t = \frac{1}{\kappa^b_t} - \frac{h_{z_t}(q_t + v) - h_{z_t}(q_t)}{v} + \frac{c^b_t}{v}$$
   (en analoog voor de ask-zijde).

Belangrijkste Bijdragen

• Adaptief AS-raamwerk: Het artikel introduceert een methode om de analytische snelheid en interpreteerbaarheid van het Avellaneda–Stoikov-model te behouden, terwijl de vaste doelstelling wordt vervangen door een datagedreven, adaptieve vector.
• Scheiding van Dynamiek en Doelen: Het toont aan dat marktdynamiek (parameters $\xi_t$) en handelsdoelen (vector $z_t$) kunnen worden ontkoppeld. De dynamiek worden afgeleid uit het orderboek, terwijl de doelen worden afgeleid uit gerealiseerde beloningen.
• Zero-shot Adaptatie: De aanpak stelt het model in staat om zich aan te passen aan veranderende regimes en doelen zonder opnieuw te trainen, waardoor het effectief fungeert als een zero-shot leraar voor market-making-doelen.
• Gesloten-vorm Oplossing: De auteurs leiden een gesloten-vorm biedregel af die de adaptieve doelstelling integreert in de standaard AS-structuur, waardoor het model computatie-efficiënt blijft.

Experimentele Resultaten
De auteurs evalueerden de voorgestelde "Rolling FB-AS HJB"-strategie tegen twee baselines op een gereconstrueerd BTCUSDT limit-order-book dataset:

1. Een vaste-latentie Guéant–Lehalle–Fernandez-Tapia (GLFT)-strategie.
2. Een vaste-latentie Avellaneda–Stoikov-strategie.

Vondsten:

• Prestatie: Beide baseline-strategieën (GLFT-grid en AS-grid) leverden negatieve rendementen en hoge drawdowns op tijdens het evaluatievenster. Daarentegen behaalde de Rolling FB-AS HJB-strategie positieve rendementen (0,002167) en een aanzienlijk hogere Sharpe-ratio (28,57 versus negatieve waarden voor de baselines).
• Risicobeheer: De adaptieve strategie vertoonde een aanzienlijk lagere maximale drawdown (0,000947) in vergelijking met de baselines (~0,0027–0,0028).
• Handelsfrequentie: De adaptieve strategie handelde aanzienlijk minder frequent (477,85 dagelijkse trades) dan de baselines (~4500–4600 dagelijkse trades), wat suggereert dat de adaptieve doelstelling en de selectie van een HJB met eindige horizon fungeren als een filter tegen over-handelen in ruisige omstandigheden.

Betekenis en Claims
Het artikel claimt een "interpreteerbare brug te slaan tussen analytisch market making en representatie-gebaseerde versterkende leer". Door de Avellaneda–Stoikov-dynamiek als fysieke kern te behouden en slechts een laagdimensionale doelvector aan te passen, vermijdt het raamwerk het "black box"-karakter van diepe versterkende leer, terwijl het de flexibiliteit van zero-shot adaptatie wint.

De auteurs zijn bescheiden in hun claims en merken op dat de resultaten afkomstig zijn uit een "gecontroleerde simulatiestudie" met gebruik van gereconstrueerde data en benaderende fill-toewijzing in plaats van native exchange-data. Zij erkennen dat een productie-implementatie native event-data, sterkere kalibratie van fill-kansen en gedetailleerdere kostenmodellen vereist. De studie toont echter aan dat onder identieke backtest-omstandigheden de adaptieve biedregel fundamenteel anders en robuuster gedraagt dan baselines met vaste doelstellingen.