Zero-shot adaptation to order book dynamics

Resumen Técnico: Adaptación Zero-shot a la Dinámica del Libro de Órdenes

Enunciado del Problema
Los modelos clásicos de market making de Avellaneda–Stoikov (AS) ofrecen un marco rápido y estructuralmente robusto basado en un pequeño conjunto de parámetros interpretables (volatilidad, intensidades de llegada de órdenes, aversión al riesgo de inventario y horizonte temporal). Sin embargo, estos modelos suelen depender de una función objetivo fija definida con antelación. Si los regímenes de mercado cambian o los objetivos de trading varían (por ejemplo, objetivos de inventario deseados, apetito de riesgo o penalizaciones por selección adversa), el modelo requiere una reinterpretación o recalibración manual. El artículo aborda la necesidad de un mecanismo adaptativo que pueda ajustar el objetivo de trading en tiempo real según las condiciones del mercado, sin reentrenar todo el modelo ni abandonar la estructura analítica del marco AS.

Metodología
La arquitectura propuesta separa la dinámica del mercado del objetivo de trading, utilizando un mecanismo de adaptación de estilo "medida sucesora" inspirado en el aprendizaje por refuerzo zero-shot (específicamente representaciones Forward-Backward). El sistema opera a través de tres componentes principales:

1. Estimación del Estado del Mercado ($\xi_t$):
   El estado actual del libro de órdenes limitado ($L_t$) se mapea a un vector de baja dimensión de parámetros de Avellaneda–Stoikov $\xi_t = (\sigma_t, A^b_t, A^a_t, \kappa^b_t, \kappa^a_t, c^b_t, c^a_t)$. Estos parámetros gobiernan la dinámica local del mercado, incluyendo volatilidad, intensidades de llegada de órdenes y costos locales de selección adversa. A diferencia de los modelos clásicos donde estos son fijos, aquí se infieren dinámicamente a partir del libro de órdenes.

2. Estimación Adaptativa del Objetivo ($z_t$):
   En lugar de una función de recompensa fija, el modelo estima un vector de objetivo de baja dimensión $z_t$ a partir de una ventana deslizante de recompensas realizadas recientes ($W_t$). La recompensa se modela como un funcional lineal de características de resultado: $r = z^\top \phi(s, a, s')$, donde $\phi$ incluye beneficio/pérdida, inventario siguiente, inventario al cuadrado y costos de selección adversa.
   El vector de objetivo se estima utilizando una representación inversa $B_\psi$ que mapea pares estado-acción pasados al espacio de coordenadas de recompensa. La estimación se calcula como una esperanza ponderada de recompensas realizadas:
   $$\hat{z}_t = \mathbb{E}_{\rho_t} [r^H(s, a) B_\psi(s, a)]$$
   Esto permite que el modelo infiera la "dirección de recompensa" actual del mercado (por ejemplo, si está pagando por la acumulación de inventario o penalizando la selección adversa) directamente desde los datos.

3. Representación Forward de HJB y Escalarización:
   El objeto de valor central es una representación forward vectorial de Hamilton-Jacobi-Bellman (HJB), $F_{HJB}(q, \tau, a, z; \xi)$, que representa las características de recompensa futura esperada bajo políticas óptimas para un objetivo dado $z$.
   El valor de acción escalar se obtiene proyectando este vector sobre el objetivo adaptativo actual:
   $$Q_{z_t}(s, a) = F_{HJB}(s, a, z_t; \xi_t)^\top z_t$$
   La política $\pi_{z_t}$ se deriva maximizando este valor escalar. En la implementación de forma cerrada, esto resulta en reglas de cotización similares a las AS clásicas, pero donde el valor de continuación $h_t(q)$ se calcula específicamente para el objetivo inferido $z_t$:
   $$\delta^{b,\star}_t = \frac{1}{\kappa^b_t} - \frac{h_{z_t}(q_t + v) - h_{z_t}(q_t)}{v} + \frac{c^b_t}{v}$$
   (y de manera similar para el lado de ask).

Contribuciones Clave

• Marco AS Adaptativo: El artículo introduce un método para mantener la velocidad analítica y la interpretabilidad del modelo de Avellaneda–Stoikov, reemplazando el objetivo fijo con un vector adaptativo basado en datos.
• Separación de Dinámicas y Objetivos: Demuestra que la dinámica del mercado (parámetros $\xi_t$) y los objetivos de trading (vector $z_t$) pueden desacoplarse. Las dinámicas se infieren del libro de órdenes, mientras que los objetivos se infieren de las recompensas realizadas.
• Adaptación Zero-shot: El enfoque permite que el modelo se adapte a regímenes cambiantes y objetivos sin reentrenamiento, funcionando efectivamente como un aprendiz zero-shot para objetivos de market making.
• Solución de Forma Cerrada: Los autores derivan una regla de cotización de forma cerrada que integra el objetivo adaptativo en la estructura AS estándar, asegurando que el modelo permanezca computacionalmente eficiente.

Resultados Experimentales
Los autores evaluaron la estrategia propuesta "Rolling FB-AS HJB" contra dos líneas base en un conjunto de datos reconstruido del libro de órdenes BTCUSDT:

1. Una estrategia Guéant–Lehalle–Fernandez-Tapia (GLFT) de latencia fija.
2. Una estrategia Avellaneda–Stoikov de latencia fija.

Hallazgos:

• Rendimiento: Ambas estrategias de línea base (cuadrícula GLFT y cuadrícula AS) produjeron retornos negativos y drawdowns altos en la ventana de evaluación. En contraste, la estrategia Rolling FB-AS HJB logró retornos positivos (0.002167) y un ratio de Sharpe significativamente mayor (28.57 frente a valores negativos para las líneas base).
• Gestión de Riesgos: La estrategia adaptativa exhibió un drawdown máximo sustancialmente menor (0.000947) en comparación con las líneas base (~0.0027–0.0028).
• Frecuencia de Trading: La estrategia adaptativa operó significativamente menos frecuentemente (477.85 operaciones diarias) que las líneas base (~4500–4600 operaciones diarias), lo que sugiere que el objetivo adaptativo y la selección de HJB de horizonte finito actúan como un filtro contra el sobre-trading en condiciones ruidosas.

Significado y Afirmaciones
El artículo afirma proporcionar un "puente interpretable entre el market making analítico y el aprendizaje por refuerzo basado en representaciones". Al mantener las dinámicas de Avellaneda–Stoikov como el núcleo físico y adaptar solo un vector de objetivo de baja dimensión, el marco evita la naturaleza de "caja negra" del aprendizaje por refuerzo profundo mientras gana la flexibilidad de la adaptación zero-shot.

Los autores son modestos en sus afirmaciones, señalando que los resultados provienen de un "estudio de simulación controlado" utilizando datos reconstruidos y atribución de ejecuciones aproximada en lugar de datos nativos de la bolsa. Reconocen que una implementación en producción requeriría datos de eventos nativos, una calibración más fuerte de las probabilidades de ejecución y un modelado de costos más detallado. Sin embargo, el estudio demuestra que, bajo condiciones de backtest idénticas, la regla de cotización adaptativa se comporta de manera fundamentalmente diferente y más robusta que las líneas base de objetivo fijo.