Reinforcement Learning for Execution under Dynamic Fees in a Closed-Loop DEX Simulator

Resumo Técnico: Aprendizado por Reforço para Execução sob Taxas Dinâmicas em um Simulador de DEX de Ciclo Fechado

1. Definição do Problema

O artigo aborda uma limitação fundamental na avaliação de taxas dinâmicas voltadas ao trader em AMMs (Automated Market Makers). Embora taxas dinâmicas sejam propostas para proteger os Provedores de Liquidez (LPs), os dados históricos não conseguem determinar como o fluxo de ordens responde a tais taxas porque:

1. Taxas Estáticas: As taxas históricas não variaram significativamente.
2. Tipos Latentes: Tipos de traders e decisões de roteamento não são observados.
3. Natureza Não Sequencial: A reprodução de fitas históricas não constitui um ambiente de decisão sequencial onde ações influenciam estados futuros.

Consequentemente, perguntas contrafatuais — como "o que o fluxo de ordens faria se as taxas se movessem contra ele?" — não podem ser respondidas por estudos de eventos históricos. Tentativas anteriores de aplicar Aprendizado por Reforço (RL) a fitas de negociação históricas falharam porque a fita carece de um núcleo de transição dependente de ação; a ação de um agente em uma reprodução não pode alterar o estado subsequente do mercado.

2. Metodologia

Para superar a falta de sinais contrafatuais nos dados históricos, os autores constroem um simulador de ciclo fechado mínimo onde o sinal existe por construção. A metodologia é definida por uma disciplina de avaliação rigorosa, em vez de um algoritmo de aprendizado específico.

O Simulador de Mercado:

• Estrutura: Dois pools de produto constante (linhagem Uniswap) e uma Corretora Centralizada (CEX) externa.
• Agentes:
  • Agente de Execução: Negocia uma ordem alvo ao longo de um horizonte finito.
  • Traders de Ruído: Roteiam o fluxo com base em custos de execução efetivos (softmax sobre o custo).
  • Arbitrador: Fecha lacunas CEX-AMM em forma fechada sempre que for lucrativo (menos o gás).
• Regra de Taxa Dinâmica: As taxas são reajustadas a cada passo com base em um fechamento inspirado em equilíbrio (linearização de estruturas de taxas de Nash). As taxas dependem de:
  • Desequilíbrio de inventário do próprio pool.
  • Estado do pool rival.
  • Lacuna de preço do Oracle.
• Dinâmicas de Transição: O ambiente é um Processo de Decisão de Markov (MDP) de horizonte finito. A função de transição compõe a ação do agente com operadores de mercado (atualização de taxa, atualização de oracle, arbitragem, fluxo de ruído) em uma ordem fixa e declarada. Crucialmente, a posição intra-passo do agente (ex: agir antes ou depois da arbitragem) é uma variável de design explícita.

Protocolo de Avaliação:

• Objetivo: Minimizar o Déficit de Implementação (IS) sob uma regra de conclusão terminal forçada (todo o inventário deve ser executado, com o inventário residual liquidado imediatamente no passo final).
• Escada de Benchmarks: Em vez de uma única linha de base, o estudo compara aprendizes contra uma "escada" de heurísticas ajustadas para descartar explicações alternativas para qualquer vantagem de desempenho:
  • Baselines de Cronograma: TWAP, liquidação mais rápida, roteamento aleatório.
  • Lookahead: Controle de um passo ajustado com um termo de urgência de marcação a mercado (proxy para custos futuros).
  • Planejadores (Planners): Planejadores determinísticos de K-passos de equivalência de certeza e planejadores de rollout estocástico.
  • Aprendizes Tabulares: Controle de Monte Carlo on-policy com estados discretizados.
  • DQN: Deep Q-Network com aproximação de função.
• Congelamento Rigoroso: Todos os hiperparâmetros, ajuste de baseline e escolhas de design são congelados em um bloco de validação. Os resultados principais finais são derivados exclusivamente de um bloco reservado de 1.000 sementes nunca vistas durante o desenvolvimento.

3. Principais Contribuições

1. Construção de Simulador de Ciclo Fechado: O artigo fornece um simulador mínimo e reproduzível onde as ações de execução influenciam diretamente o inventário do pool, as cotações e as taxas dinâmicas, criando um ambiente de decisão sequencial válido para RL.
2. Disciplina de Avaliação: Estabelece um protocolo para avaliar o controle model-free em mercados de ciclo fechado, enfatizando comparações pareadas contra heurísticas ajustadas, semântica de conclusão estrita e separação de blocos de treinamento/validação/avaliação final.
3. Evidência Contrafatual: Gera evidência condicionada ao modelo sobre o controle de execução em AMMs, isolando especificamente o impacto das taxas dinâmicas nas estratégias de execução.

4. Resultados

O estudo avalia um pequeno DQN contra a escada de benchmarks no bloco final reservado (1.000 sementes) sob conclusão forçada.

• Vantagem de Desempenho: O DQN é o único política avaliada cuja melhoria pareada sobre um benchmark de lookahead de um passo ajustado exclui o zero.
  • Ordenação Agente-Primeiro (Agent-First): O DQN reduz o déficit de implementação em 13,3 bps (pontos de base) do valor nocional da ordem em comparação com o benchmark de lookahead.
  • Ordenação Agente-Último (Agent-Last): A vantagem é de 14,9 bps.
  • Ordenação Aleatória: A vantagem é de 5,6 bps (a menor, mas ainda significativa).
• Falha de Alternativas:
  • Planejamento: Planejadores rasos (determinísticos e estocásticos) falham em fechar a lacuna com o benchmark de lookahead. Seu desempenho é estatisticamente indistinguível ou pior que o lookahead de um passo ajustado.
  • Aprendizado Tabular: Um aprendiz tabular de 450 estados tem desempenho inferior ao lookahead. Um aprendiz tabular de 1.440 estados mostra uma diferença pareada de -0,42 bps, mas o intervalo de confiança de 95% contém o zero.
• Atribuição da Vantagem:
  • A vantagem está concentrada em ambientes de taxas dinâmicas. Sob taxas constantes, a diferença pareada entre o DQN e a heurística é indistinguível de zero.
  • O DQN aprende a cronar negociações em estados de taxas baixas e rotear com base em lacunas de taxas, explorando a correlação entre cotações baratas e taxas baixas.
• Robustez:
  • A vantagem persiste através de variações nos custos de gás, velocidade de arbitragem e intensidade de ruído.
  • Transferência vs. Re-resolução: Uma política congelada treinada sob uma ordenação (ex: agente-primeiro) perde sua vantagem quando avaliada sob uma ordenação diferente (ex: agente-último). No entanto, o retreinamento do DQN sob a nova ordenação restaura a vantagem, indicando que a perda foi devido ao desajuste entre política e ambiente, e não por falta de estrutura explorável.

5. Significância e Alegações

O artigo é modesto em seu escopo, definindo explicitamente o que os resultados sustentam e o que não sustentam:

• O que Sustenta:

  • No ambiente construído específico, o controle de execução model-free (DQN) pode superar heurísticas de roteamento de um passo fortes e ajustadas quando a conclusão estrita é aplicada.
  • A vantagem de desempenho é aprendida especificamente da estrutura de taxas dinâmicas; ela não existe em ambientes de taxas constantes.
  • O planejamento raso (determinístico ou estocástico) é insuficiente para capturar o valor do cronograma de taxas dinâmicas nesta configuração.

• O que Não Sustenta:

  • Comportamento Histórico: Os resultados não são evidência de como os traders históricos se comportariam, pois os dados são sintéticos.
  • Lucro Implantável: Os resultados não provam que uma estratégia implantada seria lucrativa em um mercado real, pois o simulador é um modelo mínimo.
  • Jogo de Equilíbrio: A regra de taxa dinâmica é usada como um princípio de fechamento para fazer o ambiente "defender a si mesmo", não como uma certificação de que a regra de taxa é um equilíbrio de Nash.
  • Bem-estar do LP: O artigo não afirma que as taxas dinâmicas são ótimas para os Provedores de Liquidez.

Conclusão:
O artigo demonstra que, em um mercado de ciclo fechado com taxas dinâmicas, um agente model-free pode aprender estratégias de execução que superam heurísticas de lookahead ao explorar variações de estado de taxas. No entanto, essa vantagem é contingente à estrutura específica dos mercados (taxas dinâmicas) e ao alinhamento entre o ambiente de treinamento do agente e a ordenação de execução. O trabalho serve como uma prova de conceito para o uso de simulação de ciclo fechado para estudar o controle de execução em AMMs, em vez de um roteiro para implantação imediata.