An Ensemble PPO Trading Agent Across Real Limit Order Book and Long-Horizon OHLCV Data: Diagnosis, Correction, and Honest Evaluation

Resumo Técnico: Um Agente de Negociação PPO em Conjunto com Dados Reais de Livro de Ofertas Limitadas e Dados OHLCV de Longo Horizonte

Definição do Problema
O artigo aborda o desafio de treinar agentes de Aprendizado por Reforço (RL) para negociação de criptomoedas sob dois regimes de dados contrastantes: uma janela curta de dados de alta frequência de Livro de Ofertas Limitadas (LOB - Limit Order Book) reais e uma janela longa de dados OHLCV de menor frequência. O estudo destaca uma tensão metodológica crítica no RL financeiro: os conjuntos de dados de LOB fornecidos (frequentemente de concursos) são tipicamente estreitos demais no tempo para treinar políticas com eficiência de amostragem com confiança estatística, enquanto métodos de conjunto (ensemble) úteis requerem dados de longo horizonte para cobrir múltiplos regimes de mercado. Além disso, o artigo investiga o fenômeno do "colapso da política", onde os agentes falham em aprender ou convergem para comportamentos degenerados, e busca distinguir entre falhas de treinamento e inação economicamente racional.

Metodologia
Os autores propõem uma arquitetura de dois modelos treinada usando Otimização de Política Próxima (PPO) dentro de um ambiente customizado compatível com o Gymnasium, divergindo do simulador oficial do concurso para permitir controle total sobre as especificações de estado, ação e recompensa.

• Fontes de Dados:
  • Modelo A (Curto Horizonte/LOB): Treinado no conjunto de dados oficial do concurso FinRL-AlphaSeek (494.749 snapshots de nível de segundo do livro de ordens de BTC de abril de 2021). As características incluem desequilíbrio de ordens, pressão de cancelamento, fluxo de ordens de mercado e spread.
  • Modelo B (Longo Horizonte/OHLCV): Treinado em 2,4 anos de dados horários de BTC/USDT da Binance (2024–2026). As características incluem retornos logarítmicos, volatilidade, volume e momentum.
• Formulação MDP: O espaço de ação é discreto {SELL, HOLD, BUY} com transições de posição total. A função de recompensa é uma aproximação da razão de Sortino sobre os retornos logarítmicos de marcação a mercado (mark-to-mark), penalizada por drawdowns.
• Processo de Diagnóstico: O estudo trata o processo de treinamento como um estudo de caso diagnóstico. Ele documenta um "colapso total da política" inicial (uma única operação seguida por 195.000 passos de comportamento congelado) e isola sistematicamente as causas raízes:
  1. Entradas Não Normalizadas: Níveis de preço brutos ($85.000) misturados com características pequenas ($10^{-3}$) criaram uma razão de magnitude de $7,1 \times 10^7$, desestabilizando a rede.
  2. Recompensa Numericamente Instável: O denominador da razão de Sortino utilizou um piso ($10^{-8}$) muito abaixo da volatilidade empírica, causando saturação de recompensa (clipping) em 88–97% das transições.
  3. Falsificação de Hipótese: Os autores testaram se a "exploração insuficiente" causou a convergência próxima ao Buy-and-Hold ao aumentar o coeficiente de entropia em 4x, o que falhou em melhorar o desempenho, descartando a deficiência de exploração.
• Mecanismo de Conjunto (Ensemble): Um filtro proposto utiliza os sinais derivados de LOB do Modelo A (desequilíbrio de ordens e spread) para controlar as decisões de negociação do Modelo B durante a sobreposição temporal dos dois conjuntos de dados.

Principais Resultados

• Agente de Longo Horizonte (Modelo B): Após corrigir a normalização de entrada e a escala de recompensa, o agente convergiu para uma política que superou modestamente, mas consistentemente, a linha de base Buy-and-Hold em dados de teste não vistos (um período com um declínio de preço subjacente de 21%).
  • Retorno: -19,42% (PPO) vs. -20,82% (Buy-and-Hold).
  • Métricas de Risco: Razões de Sharpe (-1,274 vs. -1,377) e Sortino mais altas, e drawdown máximo menor (31,45% vs. 32,54%).
  • Comportamento: A melhoria decorreu inteiramente do tempo de entrada aprendido (uma operação realizada) em vez da frequência de negociação ativa.
• Agente de Curto Horizonte (Modelo A): O agente treinado em dados de LOB de nível de segundo convergiu para uma política de nunca negociar (0 operações, 0,00% de retorno).
  • Diagnóstico: Isso não foi uma falha de treinamento, mas uma inferência economicamente racional. Em granularidade de um segundo, o movimento de preço mediano é 0,00000%, e mesmo o percentil 99 (0,038%) é aproximadamente 8 vezes menor do que o custo de transação de ida e volta configurado (0,30%). Sob esta economia, a inação é a política ótima.
• Avaliação do Filtro de Conjunto: Na única janela onde os dados se sobrepuseram (abril de 2021), o filtro interceptou 64 de 165 sinais, mas alterou zero operações realizadas. Isso ocorreu porque a política base (Modelo B) emitiu ações redundantes de "não-operação" (no-op) naquela janela específica. Os autores relatam isso como um resultado nulo, em vez de suprimir o fato.

Significância e Alegações
O artigo alega que sua principal contribuição é a transparência metodológica, e não o desempenho de negociação de estado da arte.

• Valor Diagnóstico: Fornece uma análise precisa de causa raiz do colapso da política PPO em ambientes financeiros, identificando que características não normalizadas e funções de recompensa mal condicionadas podem levar a comportamentos degenerados que imitam "falha", mas que são, na verdade, uma resposta à saturação de sinal.
• Racionalidade Econômica: Demonstra que um agente de RL que converge para "não negociar" pode ser uma inferência correta sobre a microestrutura do mercado (especificamente, custos de transação dominando os movimentos de preço em altas frequências), em vez de uma falta de capacidade de aprendizado.
• Relato de Resultados Negativos: Os autores argumentam que relatar resultados nulos (por exemplo, o filtro de conjunto não tendo efeito na janela de teste específica) e falsificar suas próprias hipóteses (por exemplo, escassez de amostra vs. custos de transação) é mais valioso para a comunidade de pesquisa do que narrativas de sucesso polidas mas não verificáveis.
• Reprodutibilidade: O estudo enfatiza a liberação de um código completo, registros de decisão e um mecanismo de avaliação para apoiar a reprodutibilidade, observando que todos os resultados são baseados em uma única semente aleatória (42) e não devem ser considerados estatisticamente robustos sem validação de múltiplas sementes.

O artigo conclui que, embora o agente de longo horizonte tenha mostrado uma superação modesta, a abordagem de conjunto requer validação adicional através de múltiplos regimes de mercado e sementes antes que as alegações de desempenho possam ser generalizadas.