Zero-shot adaptation to order book dynamics

Resumo Técnico: Adaptação Zero-shot às Dinâmicas do Livro de Ofertas

Declaração do Problema
Os modelos clássicos de market making de Avellaneda–Stoikov (AS) oferecem um framework rápido e estruturalmente robusto, baseado em um pequeno conjunto de parâmetros interpretáveis (volatilidade, intensidades de chegada de ordens, aversão ao risco de inventário e horizonte temporal). No entanto, esses modelos geralmente dependem de uma função objetivo fixa definida previamente. Se os regimes de mercado mudarem ou os objetivos de negociação se alterarem (por exemplo, alvos de inventário desejados, apetite ao risco ou penalidades de seleção adversa), o modelo requer reinterpretação manual ou recalibração. O artigo aborda a necessidade de um mecanismo adaptativo que possa ajustar o objetivo de negociação em tempo real com base nas condições de mercado, sem re-treinar todo o modelo ou abandonar a estrutura analítica do framework AS.

Metodologia
A arquitetura proposta separa as dinâmicas de mercado do objetivo de negociação, utilizando um mecanismo de adaptação no estilo de "medida sucessora" inspirado no aprendizado por reforço zero-shot (especificamente representações Forward-Backward). O sistema opera através de três componentes principais:

1. Estimação do Estado de Mercado ($\xi_t$):
   O estado atual do livro de ordens limitado ($L_t$) é mapeado para um vetor de baixa dimensionalidade de parâmetros de Avellaneda–Stoikov $\xi_t = (\sigma_t, A^b_t, A^a_t, \kappa^b_t, \kappa^a_t, c^b_t, c^a_t)$. Esses parâmetros governam as dinâmicas locais de mercado, incluindo volatilidade, intensidades de chegada de ordens e custos locais de seleção adversa. Diferentemente dos modelos clássicos, onde esses são fixos, aqui eles são inferidos dinamicamente a partir do livro de ordens.

2. Estimação do Objetivo Adaptativo ($z_t$):
   Em vez de uma função de recompensa fixa, o modelo estima um vetor de objetivo de baixa dimensionalidade $z_t$ a partir de uma janela rolante de recompensas realizadas recentes ($W_t$). A recompensa é modelada como um funcional linear de características de resultado: $r = z^\top \phi(s, a, s')$, onde $\phi$ inclui lucro/prejuízo, próximo inventário, inventário ao quadrado e custos de seleção adversa.
   O vetor de objetivo é estimado usando uma representação backward $B_\psi$ que mapeia pares estado-ação passados para o espaço de coordenadas de recompensa. A estimativa é computada como uma expectativa ponderada de recompensas realizadas:
   $$\hat{z}_t = \mathbb{E}_{\rho_t} [r^H(s, a) B_\psi(s, a)]$$
   Isso permite que o modelo infira a "direção de recompensa" atual do mercado (por exemplo, se está pagando pela acumulação de inventário ou penalizando a seleção adversa) diretamente a partir dos dados.

3. Representação Forward de HJB e Escalarização:
   O objeto de valor central é uma representação forward de Hamilton-Jacobi-Bellman (HJB) de valor vetorial, $F_{HJB}(q, \tau, a, z; \xi)$, que representa as características de recompensa futura esperada sob políticas ótimas para um dado objetivo $z$.
   O valor de ação escalar é obtido projetando esse vetor sobre o objetivo adaptativo atual:
   $$Q_{z_t}(s, a) = F_{HJB}(s, a, z_t; \xi_t)^\top z_t$$
   A política $\pi_{z_t}$ é derivada maximizando esse valor escalar. Na implementação de forma fechada, isso resulta em regras de cotação semelhantes às AS clássicas, mas onde o valor de continuação $h_t(q)$ é computado especificamente para o objetivo inferido $z_t$:
   $$\delta^{b,\star}_t = \frac{1}{\kappa^b_t} - \frac{h_{z_t}(q_t + v) - h_{z_t}(q_t)}{v} + \frac{c^b_t}{v}$$
   (e similarmente para o lado de oferta).

Principais Contribuições

• Framework AS Adaptativo: O artigo introduz um método para manter a velocidade analítica e a interpretabilidade do modelo de Avellaneda–Stoikov, substituindo o objetivo fixo por um vetor adaptativo orientado por dados.
• Separação de Dinâmicas e Objetivos: Demonstra que as dinâmicas de mercado (parâmetros $\xi_t$) e os objetivos de negociação (vetor $z_t$) podem ser desacoplados. As dinâmicas são inferidas a partir do livro de ordens, enquanto os objetivos são inferidos a partir de recompensas realizadas.
• Adaptação Zero-shot: A abordagem permite que o modelo se adapte a regimes e objetivos em mudança sem re-treinamento, funcionando efetivamente como um aprendiz zero-shot para objetivos de market making.
• Solução de Forma Fechada: Os autores derivam uma regra de cotação de forma fechada que integra o objetivo adaptativo à estrutura padrão AS, garantindo que o modelo permaneça computacionalmente eficiente.

Resultados Experimentais
Os autores avaliaram a estratégia proposta "Rolling FB-AS HJB" contra duas linhas de base em um conjunto de dados reconstruído do livro de ordens limitado BTCUSDT:

1. Uma estratégia Guéant–Lehalle–Fernandez-Tapia (GLFT) de latência fixa.
2. Uma estratégia Avellaneda–Stoikov de latência fixa.

Descobertas:

• Desempenho: Ambas as estratégias de linha de base (grade GLFT e grade AS) produziram retornos negativos e altos drawdowns na janela de avaliação. Em contraste, a estratégia Rolling FB-AS HJB alcançou retornos positivos (0,002167) e um índice de Sharpe significativamente maior (28,57 versus valores negativos para as linhas de base).
• Gestão de Risco: A estratégia adaptativa exibiu um drawdown máximo substancialmente menor (0,000947) em comparação com as linhas de base (~0,0027–0,0028).
• Frequência de Negociação: A estratégia adaptativa negociou significativamente menos frequentemente (477,85 negociações diárias) do que as linhas de base (~4500–4600 negociações diárias), sugerindo que o objetivo adaptativo e a seleção HJB de horizonte finito atuam como um filtro contra o excesso de negociação em condições ruidosas.

Significado e Alegações
O artigo afirma fornecer uma "ponte interpretável entre market making analítico e aprendizado por reforço baseado em representações". Ao manter as dinâmicas de Avellaneda–Stoikov como o núcleo físico e adaptar apenas um vetor de objetivo de baixa dimensionalidade, o framework evita a natureza de "caixa preta" do aprendizado por reforço profundo, ganhando ao mesmo tempo a flexibilidade da adaptação zero-shot.

Os autores são modestos em suas alegações, observando que os resultados são de um "estudo de simulação controlado" usando dados reconstruídos e atribuição aproximada de preenchimento, em vez de dados nativos de bolsa. Eles reconhecem que uma implementação de produção exigiria dados de eventos nativos, calibração mais forte das probabilidades de preenchimento e modelagem de custos mais detalhada. No entanto, o estudo demonstra que, sob condições de backtest idênticas, a regra de cotação adaptativa se comporta fundamentalmente de maneira diferente e mais robusta do que as linhas de base de objetivo fixo.