Asset-Universe Design and Action-Space Granularity in Cointegration-Based Deep Reinforcement Learning for Cryptocurrency Statistical Arbitrage

Resumo Técnico: Design do Universo de Ativos e Granularidade do Espaço de Ação em DRL Baseado em Cointegração para Arbitragem Estatística de Criptomoedas

Definição do Problema
Os mercados de criptomoedas oferecem alta volatilidade e negociação contínua, criando oportunidades para arbitragem estatística baseada em cointegração. No entanto, o desempenho de frameworks de Aprendizado por Reforço Profundo (DRL) neste domínio é frequentemente avaliado exclusivamente pela escolha algorítmica (ex: DQN vs. PPO), tratando a construção do universo de ativos e a granularidade do espaço de ação como etapas de pré-processamento secundárias e fixas. Este estudo postula que essas duas escolhas de design são determinantes críticos de desempenho. Especificamente, investiga-se se a estabilidade e a negociabilidade de portfólios de arbitragem sintéticos dependem da coerência econômica do universo de ativos selecionado e se permitir que os agentes escalonem a exposição (ações granulares) melhora o controle de risco em comparação com decisões binárias de exposição total.

Metodologia
O estudo emprega um framework de DRL baseado em cointegração utilizando dados de spot da Binance denominados em USDT com intervalos de 30 minutos. O design empírico é estruturado em torno de quatro universos de ativos distintos para testar o impacto do tamanho do universo e da coerência econômica:

1. Universo de 14 Ativos (Baseline): Uma replicação de um conjunto padrão de 14 ativos.
2. Universo Amplo de 20 Ativos: Um conjunto expandido para testar escalabilidade e ruído.
3. Universo de 6 Ativos de Moedas de Pagamento: Um subconjunto focado em ativos orientados a pagamentos (ex: BTC, XRP, DOGE).
4. Universo de 9 Ativos de Plataformas Layer-1: Um subconjunto setorial de ativos de infraestrutura blockchain.

Estrutura Experimental:

• Construção de Portfólio: Para cada cenário de negociação, uma janela de formação de 288 observações (6 dias) é usada para estimar vetores de cointegração e construir dois portfólios sintéticos (A e B). Esses pesos são fixos para o subsequente horizonte de negociação de 48 observações (1 dia).
• Agentes de DRL: Três agentes são avaliados: Deep Q-Network (DQN), Proximal Policy Optimization (PPO) e Advantage Actor–Critic (A2C).
• Espaços de Ação:
  • Binário: Agentes devem escolher exposição total longa/curta ($a_t \in \{-1, 1\}$).
  • Granular: Agentes podem escolher exposição total, metade ou neutra ($a_t \in \{-1, -0.5, 0, 0.5, 1\}$).
• Função de Recompensa: As recompensas são baseadas nos retornos logarítmicos relativos realizados entre os portfólios A e B, penalizados por custos de transação proporcionais à mudança na exposição ($\Delta a_t$).
• Avaliação: As estratégias são comparadas contra um benchmark de cointegração não-DRL (COIN) usando testes fora da amostra (Dez 2024 – Mai 2025). A robustez é avaliada através de sementes aleatórias (42, 101, 202).

Principais Contribuições

1. Universo de Ativos como Variável de Design: O estudo trata a seleção do universo de ativos não como um passo de pré-processamento neutro, mas como uma variável empírica central. Demonstra que a coerência econômica do conjunto de ativos influencia significativamente a capacidade de aprendizado das relações de cointegração.
2. Análise de Granularidade do Espaço de Ação: Compara diretamente espaços de ação binários versus granulares dentro do mesmo framework de cointegração, testando se as capacidades de exposição parcial melhoram o desempenho ajustado ao risco ou apenas reduzem os retornos brutos.
3. Robustez ao Nível de Semente: O artigo vai além do relato de execução única ao avaliar os principais modelos através de múltiplas sementes aleatórias para distinguir o comportamento estável do modelo de artefatos estocásticos de treinamento.

Resultados Empíricos

• Impacto do Universo de Ativos: O desempenho é altamente sensível ao design do universo.
  • Os universos Payment-Coin 6 e Baseline 14 produziram os resultados mais fortes. No universo Payment-Coin, o DQN com ações binárias alcançou um retorno total de 32,26% (semente 42). No universo Baseline 14, o DQN binário retornou 30,24%.
  • O universo Amplo de 20 Ativos apresentou desempenho ruim para agentes DRL (retornos negativos), com o benchmark COIN não-DRL (3,25%) superando todas as estratégias de DRL.
  • O universo Layer-1 Platform 9 resultou em retornos negativos em todas as estratégias, incluindo o benchmark.
  • Conclusão: Expandir o universo de ativos não melhora automaticamente o desempenho; um universo menor e economicamente coerente frequentemente fornece sinais de cointegração mais estáveis.
• Impacto da Granularidade do Espaço de Ação:
  • Ações binárias produziram maiores retornos brutos nos cenários mais fortes (ex: DQN em Payment-Coin e Baseline 14), sugerindo que a exposição direcional total é ideal quando os sinais são fortes.
  • Ações granulares não aumentaram universalmente os retornos, mas melhoraram significativamente o controle de risco em ambientes mais fracos. Elas permitiram que os agentes reduzissem os drawdowns e o turnover em cenários onde os sinais eram ruidosos (ex: universos Layer-1 e Broad 20).
• Robustez:
  • Os resultados são sensíveis à variação estocástica do treinamento. Embora o DQN binário de Payment-Coin tenha permanecido positivo em média nas sementes (média de 16,50%), ele exibiu alta dispersão de retornos.
  • O forte desempenho do DQN binário do Baseline 14 na execução da semente-42 não se manteve em outras sementes (o retorno médio tornou-se negativo), indicando que o sucesso de execução única não garante estabilidade.

Significância e Alegações
O artigo alega que o sucesso da arbitragem estatística de criptomoedas baseada em DRL não é apenas uma função da superioridade algorítmica, mas emerge da interação entre a estrutura de cointegração, o design do universo de ativos, a especificação do espaço de ação e a estabilidade do treinamento.

• Para Pesquisadores: O estudo argumenta que as avaliações de trading de DRL devem reportar o design do universo de ativos, as especificações do espaço de ação e a sensibilidade da semente, em vez de focar exclusivamente no algoritmo com melhor desempenho em um cenário fixo.
• Para Profissionais: Sugere que a seleção de ativos é uma decisão de modelagem primária que determina se uma relação de arbitragem é aprendível. Além disso, espaços de ação granulares devem ser vistos primariamente como mecanismos de gestão de risco para lidar com sinais fracos ou altos custos de transação, e não como melhoradores universais de retornos.
• Conclusão Geral: O design do ambiente de negociação (universo e espaço de ação) importa tanto quanto o próprio algoritmo de DRL. O DRL pode adicionar valor em configurações favoráveis (ex: universo Payment-Coin com DQN), mas não supera universalmente os benchmarks clássicos de cointegração, particularmente quando as relações subjacentes entre os ativos são ruidosas ou instáveis.