An Ensemble PPO Trading Agent Across Real Limit Order Book and Long-Horizon OHLCV Data: Diagnosis, Correction, and Honest Evaluation

Resumen Técnico: Un Agente de Trading PPO de Conjunto (Ensemble) a través de Datos Reales de Libro de Órdenes Limitado y OHLCV de Largo Horizonte

Planteamiento del Problema
El artículo aborda el desafío de entrenar agentes de Aprendizaje por Refuerzo (RL) para el trading de criptomonedas bajo dos regímenes de datos contrastantes: una ventana corta de datos de Libro de Órdenes Limitado (LOB) de alta frecuencia y una ventana larga de datos OHLCV de menor frecuencia. El estudio destaca una tensión metodológica crítica en el RL financiero: los conjuntos de datos LOB proporcionados (a menudo de concursos) son típicamente demasiado estrechos en el tiempo para entrenar políticas con eficiencia de muestra y confianza estadística, mientras que los métodos de conjunto útiles requieren datos de largo horizonte para cubrir múltiples regímenes de mercado. Además, el artículo investiga el fenómeno del "colapso de la política", donde los agentes fallan al aprender o convergen hacia comportamientos degenerados, y busca distinguir entre fallos de entrenamiento y la inacción económicamente racional.

Metodología
Los autores proponen una arquitectura de dos modelos entrenada mediante Optimización de Política Próxima (PPO) dentro de un entorno personalizado compatible con Gymnasium, alejándose del simulador oficial del concurso para permitir un control total sobre las especificaciones de estado, acción y recompensa.

• Fuentes de Datos:
  • Modelo A (Horizonte Corto/LOB): Entrenado en el conjunto de datos oficial del concurso FinRL-AlphaSeek (494,749 instantáneas de nivel de segundo del libro de órdenes de BTC de abril de 2021). Las características incluyen desequilibrio de órdenes, presión de cancelación, flujo de órdenes de mercado y diferencial (spread).
  • Modelo B (Largo Horizonte/OHLCV): Entrenado en 2.4 años de datos horarios de BTC/USDT de Binance (2024–2026). Las características incluyen rendimientos logarítmicos, volatilidad, volumen y momentum.
• Formulación MDP: El espacio de acciones es discreto {VENTA, MANTENER, COMPRA} con transiciones de posición completa. La función de recompensa es una aproximación del ratio de Sortino sobre los rendimientos logarítmicos mark-to-market, penalizada por las caídas (drawdowns).
• Proceso de Diagnóstico: El estudio trata el proceso de entrenamiento como un caso de estudio diagnóstico. Documenta un "colapso total de la política" inicial (una única operación seguida de 195,000 pasos de comportamiento congelado) y aísla sistemáticamente las causas raíz:
  1. Entradas No Normalizadas: Niveles de precios brutos ($85,000) mezclados con características pequeñas ($10^{-3}$) crearon una relación de magnitud de $7.1 \times 10^7$, desestabilizando la red.
  2. Recompensa Numéricamente Inestable: El denominador del ratio de Sortino utilizó un suelo ($10^{-8}$) muy por debajo de la volatilidad empírica, causando la saturación de la recompensa (clipping) en el 88–97% de las transiciones.
  3. Falsificación de Hipótesis: Los autores probaron si la "exploración insuficiente" causaba la convergencia cercana a Buy-and-Hold aumentando el coeficiente de entropía 4 veces, lo cual no logró mejorar el rendimiento, descartando así la deficiencia de exploración.
• Mecanismo de Conjunto (Ensemble): Un filtro propuesto utiliza las señales derivadas del LOB del Modelo A (desequilibrio de órdenes y spread) para regular las decisiones de trading del Modelo B durante el solapamiento temporal de los dos conjuntos de datos.

Resultos Clave

• Agente de Largo Horizonte (Modelo B): Tras corregir la normalización de entradas y el escalado de recompensas, el agente convergió a una política que superó de forma modesta pero consistente a la línea base de Buy-and-Hold en los datos de prueba no vistos (un periodo con una caída de precio subyacente del 21%).
  • Retorno: -19.42% (PPO) vs. -20.82% (Buy-and-Hold).
  • Métricas de Riesgo: Ratios de Sharpe (-1.274 vs. -1.377) y Sortino más altos, y un maximum drawdown menor (31.45% vs. 32.54%).
  • Comportamiento: La mejora provino enteramente del tiempo de entrada aprendido (una operación realizada) en lugar de la frecuencia de trading activa.
• Agente de Corto Horizonte (Modelo A): El agente entrenado en datos LOB de nivel de segundo convergió a una política de no operar nunca (0 operaciones, 0.00% de retorno).
  • Diagnóstico: Esto no fue un fallo de entrenamiento, sino una inferencia económicamente racional. A una granularidad de un segundo, el movimiento de precio mediano es 0.00000%, e incluso el percentil 99 (0.038%) es aproximadamente 8 veces menor que el costo de transacción de ida y vuelta configurado (0.30%). Bajo esta economía, la inacción es la política óptima.
• Evaluación del Filtro de Conjunto: En la única ventana donde los datos se solapaban (abril de 2021), el filtro interceptó 64 de 165 señales pero cambió cero operaciones realizadas. Esto ocurrió porque la política base (Modelo B) emitió acciones de "no-op" redundantes en esa ventana específica. Los autores reportan esto como un resultado nulo en lugar de suprimirlo.

Significancia y Reivindicaciones
El artículo afirma que su principal contribución es la transparencia metodológica más que el rendimiento de trading de vanguardia.

• Valor Diagnóstico: Proporciona un análisis preciso de la causa raíz del colapso de la política PPO en entornos financieros, identificando que las características no normalizadas y las funciones de recompensa mal condicionadas pueden conducir a un comportamiento degenerado que imita un "fallo", pero que es en realidad una respuesta a la saturación de la señal.
• Racionalidad Económica: Demuestra que un agente de RL que converge a "no operar" puede ser una inferencia correcta sobre la microestructura del mercado (específicamente, cuando los costos de transacción dominan los movimientos de precios a altas frecuencias), en lugar de una falta de capacidad de aprendizaje.
• Reporte de Resultados Negativos: Los autores argumentan que reportar resultados nulos (por ejemplo, que el filtro de conjunto no tuvo efecto en la ventana de prueba específica) y falsificar sus propias hipótesis (por ejemplo, escasez de muestras vs. costos de transacción) es más valioso para la comunidad de investigación que las narrativas de éxito pulidas pero inverificables.
• Reproducibilidad: El estudio enfatiza la liberación de un código completo, registros de decisiones y un armazón de evaluación para apoyar la reproducibilidad, señalando que todos los resultados se basan en una única semilla aleatoria (42) y no deben considerarse estadísticamente robustos sin una validación de múltiples semillas.

El artículo concluye que, si bien el agente de largo horizonte mostró una mejora modesta, el enfoque de conjunto requiere una validación adicional a través de múltiples regímenes de mercado y semillas antes de que las afirmaciones de rendimiento puedan generalizarse.