Zero-shot adaptation to order book dynamics

Riepilogo Tecnico: Adattamento Zero-shot alle Dinamiche del Libro degli Ordini

Enunciazione del Problema
I modelli classici di market making di Avellaneda–Stoikov (AS) offrono un framework rapido e strutturalmente robusto basato su un piccolo insieme di parametri interpretabili (volatilità, intensità di arrivo degli ordini, avversione al rischio di inventario e orizzonte temporale). Tuttavia, questi modelli dipendono tipicamente da una funzione obiettivo fissa definita in anticipo. Se i regimi di mercato si spostano o gli obiettivi di trading cambiano (ad esempio, target di inventario desiderati, propensione al rischio o penalità per selezione avversa), il modello richiede una reinterpretazione manuale o una ricalibrazione. Il documento affronta la necessità di un meccanismo adattivo in grado di aggiustare l'obiettivo di trading in tempo reale in base alle condizioni di mercato, senza riaddestrare l'intero modello o abbandonare la struttura analitica del framework AS.

Metodologia
L'architettura proposta separa le dinamiche di mercato dall'obiettivo di trading, utilizzando un meccanismo di adattamento in stile "misura successore" ispirato all'apprendimento per rinforzo zero-shot (in particolare le rappresentazioni Forward-Backward). Il sistema opera attraverso tre componenti principali:

1. Stima dello Stato di Mercato ($\xi_t$):
   Lo stato corrente del libro degli ordini a limite ($L_t$) viene mappato in un vettore a bassa dimensionalità di parametri di Avellaneda–Stoikov $\xi_t = (\sigma_t, A^b_t, A^a_t, \kappa^b_t, \kappa^a_t, c^b_t, c^a_t)$. Questi parametri governano le dinamiche locali di mercato, inclusa la volatilità, le intensità di arrivo degli ordini e i costi locali di selezione avversa. A differenza dei modelli classici in cui questi sono fissi, qui vengono inferiti dinamicamente dal libro degli ordini.

2. Stima dell'Obiettivo Adattivo ($z_t$):
   Invece di una funzione di ricompensa fissa, il modello stima un vettore obiettivo a bassa dimensionalità $z_t$ da una finestra mobile di ricompense realizzate recenti ($W_t$). La ricompensa è modellata come un funzionale lineare delle caratteristiche dell'esito: $r = z^\top \phi(s, a, s')$, dove $\phi$ include profitto/perdita, inventario successivo, inventario al quadrato e costi di selezione avversa.
   Il vettore obiettivo viene stimato utilizzando una rappresentazione inversa $B_\psi$ che mappa le coppie stato-azione passate nello spazio delle coordinate della ricompensa. La stima è calcolata come un'aspettativa pesata delle ricompense realizzate:
   $$\hat{z}_t = \mathbb{E}_{\rho_t} [r^H(s, a) B_\psi(s, a)]$$
   Ciò permette al modello di inferire la "direzione della ricompensa" corrente del mercato (ad esempio, se sta remunerando l'accumulo di inventario o penalizzando la selezione avversa) direttamente dai dati.

3. Rappresentazione Forward HJB e Scalarizzazione:
   L'oggetto valore centrale è una rappresentazione forward vettoriale Hamilton-Jacobi-Bellman (HJB), $F_{HJB}(q, \tau, a, z; \xi)$, che rappresenta le caratteristiche della ricompensa futura attesa sotto politiche ottimali per un dato obiettivo $z$.
   Il valore d'azione scalare è ottenuto proiettando questo vettore sull'obiettivo adattivo corrente:
   $$Q_{z_t}(s, a) = F_{HJB}(s, a, z_t; \xi_t)^\top z_t$$
   La politica $\pi_{z_t}$ è derivata massimizzando questo valore scalare. Nell'implementazione in forma chiusa, ciò risulta in regole di quotazione simili all'AS classico, ma dove il valore di continuazione $h_t(q)$ è calcolato specificamente per l'obiettivo inferito $z_t$:
   $$\delta^{b,\star}_t = \frac{1}{\kappa^b_t} - \frac{h_{z_t}(q_t + v) - h_{z_t}(q_t)}{v} + \frac{c^b_t}{v}$$
   (e analogamente per il lato ask).

Contributi Chiave

• Framework AS Adattivo: Il documento introduce un metodo per mantenere la velocità analitica e l'interpretabilità del modello di Avellaneda–Stoikov, sostituendo l'obiettivo fisso con un vettore adattivo guidato dai dati.
• Separazione di Dinamiche e Obiettivi: Dimostra che le dinamiche di mercato (parametri $\xi_t$) e gli obiettivi di trading (vettore $z_t$) possono essere disaccoppiati. Le dinamiche sono inferite dal libro degli ordini, mentre gli obiettivi sono inferiti dalle ricompense realizzate.
• Adattamento Zero-shot: L'approccio permette al modello di adattarsi a regimi e obiettivi mutevoli senza riaddestramento, funzionando efficacemente come un apprenditore zero-shot per gli obiettivi di market making.
• Soluzione in Forma Chiusa: Gli autori derivano una regola di quotazione in forma chiusa che integra l'obiettivo adattivo nella struttura standard AS, garantendo che il modello rimanga computazionalmente efficiente.

Risultati Sperimentali
Gli autori hanno valutato la strategia proposta "Rolling FB-AS HJB" contro due baseline su un dataset ricostruito del libro degli ordini BTCUSDT:

1. Una strategia Guéant–Lehalle–Fernandez-Tapia (GLFT) a latenza fissa.
2. Una strategia Avellaneda–Stoikov a latenza fissa.

Risultati:

• Prestazioni: Entrambe le strategie baseline (griglia GLFT e griglia AS) hanno prodotto rendimenti negativi e alti drawdown sulla finestra di valutazione. Al contrario, la strategia Rolling FB-AS HJB ha ottenuto rendimenti positivi (0.002167) e un rapporto di Sharpe significativamente più alto (28.57 contro valori negativi per le baseline).
• Gestione del Rischio: La strategia adattiva ha mostrato un drawdown massimo sostanzialmente inferiore (0.000947) rispetto alle baseline (~0.0027–0.0028).
• Frequenza di Trading: La strategia adattiva ha operato con frequenza significativamente inferiore (477.85 scambi giornalieri) rispetto alle baseline (~4500–4600 scambi giornalieri), suggerendo che l'obiettivo adattivo e la selezione HJB a orizzonte finito agiscono come un filtro contro il trading eccessivo in condizioni rumorose.

Significato e Affermazioni
Il documento afferma di fornire un "ponte interpretabile tra il market making analitico e l'apprendimento per rinforzo basato su rappresentazioni". Mantenendo le dinamiche di Avellaneda–Stoikov come nucleo fisico e adattando solo un vettore obiettivo a bassa dimensionalità, il framework evita la natura "scatola nera" dell'apprendimento per rinforzo profondo, guadagnando al contempo la flessibilità dell'adattamento zero-shot.

Gli autori sono moderati nelle loro affermazioni, notando che i risultati provengono da uno "studio di simulazione controllato" che utilizza dati ricostruiti e attribuzione di riempimento approssimativa piuttosto che dati nativi degli exchange. Riconoscono che un'implementazione produttiva richiederebbe dati di eventi nativi, una calibrazione più forte delle probabilità di riempimento e una modellazione dei costi più dettagliata. Tuttavia, lo studio dimostra che, in condizioni di backtest identiche, la regola di quotazione adattiva si comporta in modo fondamentalmente diverso e più robusto rispetto alle baseline a obiettivo fisso.