Asset-Universe Design and Action-Space Granularity in Cointegration-Based Deep Reinforcement Learning for Cryptocurrency Statistical Arbitrage

Resumen Técnico: Diseño del Universo de Activos y Granularidad del Espacio de Acción en el Arbitraje Estadístico de Criptomonedas basado en Cointegración mediante DRL

Planteamiento del Problema
Los mercados de criptomonedas ofrecen una alta volatilidad y un comercio continuo, lo que crea oportunidades para el arbitraje estadístico basado en la cointegración. Sin embargo, el rendimiento de los marcos de Aprendizaje por Refuerzo Profundo (DRL) en este dominio se evalúa a menudo únicamente en función de la elección algorítmica (por ejemplo, DQN frente a PPO), tratando la construcción del universo de activos y la granularidad del espacio de acción como pasos de preprocesamiento secundarios y fijos. Este estudio postula que estas dos decisiones de diseño son determinantes críticos del rendimiento. Específicamente, investiga si la estabilidad y la capacidad de negociación de las carteras de arbitraje sintéticas dependen de la coherencia económica del universo de activos seleccionado y si permitir que los agentes escalen su exposición (acciones granulares) mejora el control de riesgos en comparación con las decisiones binarias de exposición total.

Metodología
El estudio emplea un marco de DRL basado en la cointegración utilizando datos de Binance spot denominados en USDT con intervalos de 30 minutos. El diseño empírico está estructurado en torno a cuatro universos de activos distintos para probar el impacto del tamaño del universo y la coherencia económica:

1. Universo de 14 Activos Base: Una replicación de un conjunto estándar de 14 activos.
2. Universo Ampliado de 20 Activos: Un conjunto expandido para probar la escalabilidad y el ruido.
3. Universo de 6 Activos de Monedas de Pago: Un subconjunto enfocado en activos orientados al pago (por ejemplo, BTC, XRP, DOGE).
4. Universo de 9 Activos de Plataformas de Capa 1: Un subconjunto sectorial de activos de infraestructura blockchain.

Marco Experimental:

• Construcción de la Cartera: Para cada escenario de trading, se utiliza una ventana de formación de 288 observaciones (6 días) para estimar los vectores de cointegración y construir dos carteras sintéticas (A y B). Estos pesos son fijos para el horizonte de negociación subsiguiente de 48 observaciones (1 día).
• Agentes de DRL: Se evalúan tres agentes: Deep Q-Network (DQN), Proximal Policy Optimization (PPO) y Advantage Actor–Critic (A2C).
• Espacios de Acción:
  • Binario: Los agentes deben elegir una exposición completa de largo/corto ($a_t \in \{-1, 1\}$).
  • Granular: Los agentes pueden elegir exposición total, media o nula ($a_t \in \{-1, -0.5, 0, 0.5, 1\}$).
• Función de Recompensa: Las recompensas se basan en los rendimientos logarítmicos relativos realizados entre las carteras A y B, penalizados por los costes de transacción proporcionales al cambio en la exposición ($\Delta a_t$).
• Evaluación: Las estrategias se comparan contra un benchmark de cointegración no-DRL (COIN) mediante pruebas fuera de la muestra (diciembre 2024 – mayo 2025). La robustez se evalúa a través de semillas aleatorias (42, 101, 202).

Contribuciones Clave

1. El Universo de Activos como Variable de Diseño: El estudio trata la selección del universo de activos no como un paso de preprocesamiento neutral, sino como una variable empírica central. Demuestra que la coherencia económica del conjunto de activos influye significativamente en la capacidad de aprendizaje de las relaciones de cointegración.
2. Análisis de la Granularidad del Espacio de Acción: Compara directamente espacios de acción binarios frente a granulares dentro del mismo marco de cointegración, probando si las capacidades de exposición parcial mejoran el rendimiento ajustado al riesgo o simplemente reducen los rendimientos brutos.
3. Robustez a Nivel de Semilla: El documento va más allá del reporte de una sola ejecución al evaluar los modelos clave a través de múltiples semillas aleatorias para distinguir el comportamiento estable del modelo de los artefactos estocásticos del entrenamiento.

Resultados Empíricos

• Impacto del Universo de Activos: El rendimiento es altamente sensible al diseño del universo.
  • Los universos Payment-Coin 6 y Baseline 14 arrojaron los resultados más sólidos. En el universo Payment-Coin, el DQN con acciones binarias logró un rendimiento total del 32.26% (semilla 42). En el universo Baseline 14, el DQN binario obtuvo un 30.24%.
  • El universo Broad 20 funcionó mal para los agentes de DRL (rendimientos negativos), donde el benchmark COIN no-DRL (3.25%) superó a todas las estrategias de DRL.
  • El universo Layer-1 Platform 9 resultó en rendimientos negativos en todas las estrategias, incluido el benchmark.
  • Conclusión: Expandir el universo de activos no mejora automáticamente el rendimiento; un universo más pequeño y económicamente coherente suele proporcionar señales de cointegración más estables.
• Impacto de la Granularidad del Espacio de Acción:
  • Las acciones binarias produjeron mayores rendimientos brutos en los entornos más fuertes (por ejemplo, DQN en Payment-Coin y Baseline 14), lo que sugiere que la exposición direccional completa es óptima cuando las señales son fuertes.
  • Las acciones granulares no aumentaron universalmente los rendimientos, pero mejoraron significamente el control de riesgos en entornos más débiles. Permitieron a los agentes reducir las caídas (drawdowns) y la rotación en escenarios donde las señales eran ruidosas (por ejemplo, universos Layer-1 y Broad 20).
• Robustez:
  • Los resultados son sensibles a la variación estocástica del entrenamiento. Aunque el DQN binario de Payment-Coin se mantuvo positivo en promedio a través de las semillas (media de 16.50%), exhibió una alta dispersión de rendimientos.
  • El fuerte rendimiento del DQN binario de Baseline 14 en la ejecución de la semilla 42 no se mantuvo en otras semillas (la media de retorno se volvió negativa), lo que indica que el éxito de una sola ejecución no garantiza la estabilidad.

Significancia y Reivindicaciones
El documento sostiene que el éxito del arbitraje estadístico de criptomonedas basado en DRL no es solo una función de la superioridad algorítmica, sino que emerge de la interacción entre la estructura de cointegración, el diseño del universo de activos, la especificación del espacio de acción y la estabilidad del entrenamiento.

• Para Investigadores: El estudio argumenta que las evaluaciones de trading de DRL deben reportar el diseño del universo de activos, las especificaciones del espacio de acción y la sensibilidad a la semilla, en lugar de centrarse exclusivamente en el algoritmo con mejor rendimiento en un entorno fijo.
• Para Profesionales: Sugiere que la selección de activos es una decisión de modelado primaria que determina si una relación de cointegración es aprendible. Además, los espacios de acción granulares deben verse principalmente como mecanismos de gestión de riesgos para manejar señales débiles o costes de transacción elevados, más que como mejoradores universales de rendimientos.
• Conclusión General: El diseño del entorno de trading (universo y espacio de acción) importa tanto como el algoritmo de DRL mismo. El DRL puede añadir valor en entornos favorables (por ejemplo, el universo Payment-Coin con DQN), pero no supera universalmente a los benchmarks de cointegración clásica, particularmente cuando las relaciones subyacentes de los activos son ruidosas o inestables.