Online Market Making and the Value of Observing the Order Book

Resumo Técnico: Criação de Mercado Online e o Valor da Observação do Livro de Ofertas

Formulação do Problema
Este artigo aborda o problema da criação de mercado online, onde um agente (o "criador") publica sequencialmente preços de compra ($B_t$) e venda ($A_t$) para um único ativo, interagindo com traders que possuem avaliações privadas ($V_t$). O ativo possui um valor de mercado objetivo ($M_t$) realizado ao final de cada rodada. O objetivo do agente é minimizar o arrependimento em relação à melhor estratégia fixa de compra e venda em retrospecto.

O desafio central reside na estrutura de feedback. Nas formulações tradicionais (por exemplo, Cesa-Bianchi et al., 2024), o feedback é totalmente censurado (feedback de bandit): o agente apenas observa se uma negociação ocorreu. Este artigo introduz um modelo de feedback dependente da ação inovador, inspirado nos Livros de Ofertas Limitadas (LOB) reais. O mecanismo de feedback é definido da seguinte forma:

• Negociação Ocorre: Se $V_t \le B_t$ (Criador compra) ou $V_t \ge A_t$ (Criador vende), uma negociação acontece. O agente observa o preço de mercado $M_t$, mas não observa a avaliação privada do trader $V_t$.
• Sem Negociação: Se $B_t < V_t < A_t$, nenhuma transação ocorre. Crucialmente, o agente observa a avaliação do trader $V_t$ (e $M_t$).

Isso cria um regime em que feedback informativo é obtido precisamente quando a recompensa instantânea é zero. O agente enfrenta uma tensão entre estreitar o spread para maximizar o lucro (o que arrisca perder eventos informativos de "sem negociação") e ampliar o spread para coletar informações sobre a distribuição das avaliações.

Metodologia e Algoritmos
Os autores propõem três algoritmos distintos, adaptados a diferentes suposições sobre o processo de preço de mercado $M_t$:

1. Preços Estocásticos Independentes (Algoritmo 1: OPSR):

   • Suposição: $M_t$ é uma sequência i.i.d. com média desconhecida $\mu$.
   • Abordagem: O algoritmo Optimistic/Pessimistic Successive Rejects (OPSR). Ele mantém um conjunto discreto de preços candidatos de compra e venda.
   • Mecanismo: Utiliza uma estratégia de eliminação. Em cada passo, constrói intervalos de confiança otimistas e pessimistas para a função de distribuição acumulada (CDF) de $V_t$ e para a média de $M_t$.
   • Estimação: Embora $V_t$ seja observado apenas quando não ocorre negociação, o algoritmo constrói um estimador substituto para a CDF usando observações "recortadas" ($V^{clip}_t$). Elimina ações subótimas apenas quando os intervalos de confiança certificam sua subotimalidade, garantindo que o par ótimo não seja descartado prematuramente.
   • Complexidade: O algoritmo base tem complexidade por passo de $O(\sqrt{T})$. Uma variante, LAZY-OPSR, atualiza estimativas apenas em potências de dois para alcançar complexidade amortizada de $O(\log T)$.

2. Preços de Reversão à Média (Algoritmo: LAZY-OPSR):

   • Suposição: $M_t$ segue uma ampla classe de processos de reversão à média, formalizada através de duas condições:
     • Local: Um processo AR($k$) (Ornstein-Uhlenbeck discreto).
     • Global: Uma condição do tipo martingale onde o desvio futuro esperado da média, dado o histórico de desvios cumulativos, tem uma correlação não positiva com o desvio cumulativo atual.
   • Abordagem: Os autores provam uma nova desigualdade de concentração para a média amostral sob essas condições globais de reversão à média. Adaptam o OPSR para LAZY-OPSR, que restringe eliminações de ações a passos de tempo específicos (truque de duplicação) para evitar que as escolhas do agente se correlacionem de forma imprevisível com a sequência de preços.

3. Preços Adversariais (Algoritmo 2: ETP):

   • Suposição: $M_t$ é uma sequência arbitrária e não observadora (sem suposições estocásticas).
   • Abordagem: O algoritmo Explore-Then-Perturb (ETP).
   • Mecanismo:
     • Fase de Exploração: Nas primeiras $\kappa$ rodadas, o agente define $B_t=0$ e $A_t=1$ para garantir uma estimativa uniforme da CDF $F$ em todo o domínio.
     • Fase de Exploração: O agente muda para uma estratégia "Follow-the-Perturbed-Leader" (FTPL). Em vez de perturbar diretamente a recompensa cumulativa, o algoritmo adiciona ruído aleatório $\varepsilon$ à média de preço estimada $\hat{\mu}_t$. Isso estabiliza as decisões do otimizador no cenário não convexo, prevenindo volatilidade nos pares de compra e venda escolhidos.

Resultados Chave
O artigo estabelece limites de arrependimento de alta probabilidade que melhoram significativamente os limites padrão de feedback de bandit:

• Cenários Estocásticos e de Reversão à Média: Os algoritmos propostos alcançam um limite de arrependimento de $\tilde{O}(\sqrt{T})$ com alta probabilidade.
  • Este resultado vale sem exigir suposições de suavidade (por exemplo, continuidade de Lipschitz) sobre a distribuição das avaliações dos traders $F$.
  • Em contraste, modelos de feedback de bandit padrão no cenário estocástico geralmente exigem suposições de Lipschitz para alcançar $\tilde{O}(\sqrt{T})$; sem elas, ou em cenários adversariais, os limites inferiores são $\Omega(T^{2/3})$ ou $\Omega(T)$.
• Cenário Adversarial: O algoritmo ETP garante um arrependimento esperado de $\tilde{O}(T^{2/3})$.
  • Isso representa uma melhoria sobre o limite inferior de $\Omega(T)$ para feedback de bandit em cenários adversariais (a menos que condições de Lipschitz sejam atendidas).
  • O limite vale em expectativa, não com alta probabilidade, devido à natureza de cauda pesada do ruído de perturbação.

Significado e Contribuições
O artigo afirma ser a primeira formalização desta estrutura de feedback dependente da ação específica em aprendizado online, onde feedback informativo é revelado exatamente quando a recompensa é zero. As principais contribuições são:

1. Modelo de Feedback Inovador: Quantifica o valor de observar o livro de ofertas (especificamente, ordens limitadas em espera quando não ocorre negociação). Os resultados demonstram que mesmo feedback limitado e dependente da ação pode melhorar dramaticamente as garantias teóricas de arrependimento em comparação com modelos de feedback censurado padrão.
2. Relaxação de Suposições: O arrependimento $\tilde{O}(\sqrt{T})$ em cenários estocásticos e de reversão à média é alcançado sem suposições de suavidade sobre a distribuição de avaliações, um desvio significativo da literatura anterior de bandits contínuos.
3. Nova Desigualdade de Concentração: A derivação de uma desigualdade de concentração para médias amostrais sob uma condição global de reversão à média (baseada em desvios cumulativos) é apresentada como um resultado de interesse independente.
4. Design Algorítmico: A introdução de estratégias baseadas em eliminação e de exploração seguida de perturbação, adaptadas à natureza híbrida do feedback (feedback completo em recompensa zero, feedback de bandit em recompensa não zero), fornece um novo quadro para lidar com observabilidade parcial em mercados financeiros.

Os autores concluem que, embora o modelo seja estilizado, ele isola o papel crítico da estrutura de informação na criação de mercado, sugerindo que a capacidade de observar ordens não executadas é um requisito fundamental para estratégias de criação de mercado eficazes e de baixo arrependimento.