Resumen Técnico: FinPILOT – Optimización en Tiempo de Inferencia para Agentes de Trading por Aprendizaje por Refuerzo

Declaración del Problema

El aprendizaje por refuerzo para trading financiero (RLFT) se ha consolidado como un marco para la toma de decisiones secuenciales de cartera. Sin embargo, los enfoques actuales adolecen de una desconexión entre la previsión y la toma de decisiones. Los métodos existentes suelen caer en dos hilos independientes:

1. Previsión Supervisada: Los modelos predicen retornos a corto plazo, pero delegan el problema de decisión en heurísticas externas.
2. Aprendizaje por Refuerzo: Los agentes se entrenan como políticas estáticas. Aunque pueden ingerir predicciones de precios como características de estado durante el entrenamiento, no utilizan las previsiones como una señal de planificación para adaptar el comportamiento en tiempo de inferencia.

Además, aunque existen el Control Predictivo por Modelo (MPC) y el RL basado en modelos del mundo (por ejemplo, Dreamer, MuZero), generalmente asumen dinámicas de alta fidelidad adecuadas para la robótica o requieren un diseño conjunto de la política con el modelo del mundo. No ofrecen un mecanismo para mejorar un agente de RL preentrenado arbitrario en el despliegue utilizando un pronosticador entrenado por separado sin reentrenar al agente.

El desafío central abordado es: ¿Cómo puede optimizarse la política en tiempo de inferencia impulsada por un pronosticador de precios entrenado por separado sin reentrenar al agente de RL?

Metodología: FinPILOT

Los autores proponen FinPILOT (Aprendizaje en Tiempo de Inferencia como Plugin Financiero para Trading Óptimo), un marco de plugin inspirado en el Control Predictivo por Modelo (MPC). La idea estructural clave es que, en los mercados financieros, los precios futuros son en gran medida independientes de la asignación de cartera de un solo agente. Esto permite el uso de un modelo predictivo para generar trayectorias de precios de múltiples pasos sin la necesidad de despliegues iterativos condicionados a la acción, típicos en el RL estándar.

Componentes Principales

1. Agente Preentrenado: Un agente estándar de RL sin modelo (por ejemplo, PPO, SAC) entrenado con datos históricos sin acceso a previsiones futuras de precios.
2. Pronosticador Exógeno ($F$): Un modelo separado (por ejemplo, XGBoost) entrenado con datos históricos estrictamente anteriores a la ventana de prueba. Genera una trayectoria de precios de $H$ pasos.
3. Bucle MPC en Tiempo de Inferencia: En cada paso de decisión $t$:
   • El pronosticador predice una trayectoria de estados futuros $\{\hat{s}_{t+1}, \dots, \hat{s}_{t+H}\}$.
   • El actor preentrenado $\pi_\theta$ se adapta optimizando un objetivo imaginado $J_t$ sobre esta trayectoria predicha.
   • Solo la primera acción resultante se ejecuta en el entorno real; los parámetros de la política se restablecen o actualizan para el siguiente paso.

El Objetivo Imaginado

El marco define un retorno sustituto sobre el horizonte de planificación $H$. Para manejar la incertidumbre de las previsiones y mejorar el rendimiento ajustado al riesgo, el objetivo incluye una penalización por riesgo a la baja:
$$J_t(\theta) = \bar{J}_t - \lambda \sqrt{D_t + \epsilon}$$
Donde:

• $\bar{J}_t$ es el retorno medio a través de $K$ partículas (muestras de Monte Carlo).
• $D_t$ es la varianza a la baja (semi-desviación) de los retornos por partícula.
• $\lambda$ es un coeficiente de aversión al riesgo.
• Inyección de Ruido de Pronóstico: Para evitar el sobreajuste a una única estimación puntual, se añade ruido gaussiano a las trayectorias predichas. La escala del ruido se calibra en función de la varianza de las predicciones del pronosticador, no de la verdad fundamental, asegurando que el método permanezca agnóstico al pronosticador.

Despliegue en Dos Fases

El método explota el hecho de que las transiciones de precios son independientes de las acciones del agente para dividir el despliegue:

1. Fase 1 (Sin Gradientes): Precomputar la trayectoria de pronóstico determinista y generar $K$ partículas ruidosas. Evaluar la estimación del valor terminal $V_\theta$ para cada una.
2. Fase 2 (Ascenso por Gradiente): Iterar sobre las partículas almacenadas en caché para calcular la recompensa imaginada utilizando la ecuación de retorno de cartera de forma cerrada. Los gradientes se rastrean solo a través de los parámetros del actor $\theta$ para actualizar la política.

Contribuciones Clave

1. Marco FinPILOT: Un marco de plugin de MPC en tiempo de inferencia compatible con cualquier agente de RL preentrenado, que presenta una variante penalizada por riesgo a la baja. No requiere modificaciones en el procedimiento de entrenamiento.
2. Validación Empírica: Demostró mejoras consistentes en el retorno total y las métricas ajustadas al riesgo (Sharpe, Sortino, Calmar) en cinco algoritmos de RL (PPO, SAC, A2C, TD3, DDPG) utilizando el benchmark TradeMaster DJ30, con un pronosticador XGBoost práctico y con poder predictivo modesto ($R^2 \approx 0.01$).
3. Generalización: El marco se transfiere al conjunto de datos de Divisas (FX) sin reajuste de hiperparámetros, lo que sugiere robustez a través de clases de activos.
4. Metodología de Experimentos de "Trampa": Un enfoque diagnóstico que construye previsiones sintéticas en niveles calibrados de $R^2$ para medir la escala de las ganancias de la política frente a la calidad del pronóstico.

Resultados Experimentales

Evaluado en el benchmark TradeMaster DJ30 (29 acciones, 2012–2021) y el conjunto de datos de FX:

• Ganancias de Rendimiento: Con un pronosticador XGBoost práctico ($R^2 \approx 0.01$), FinPILOT produjo ganancias consistentes.
  • PPO: El retorno total aumentó del 17.74% al 23.46%.
  • SAC: El retorno total aumentó del 17.78% al 22.21%.
  • Métricas Ajustadas al Riesgo: Se observaron mejoras significativas en los ratios Sharpe, Sortino y Calmar, particularmente para políticas estocásticas (PPO, SAC).
• Estocástico vs. Determinista: Las políticas estocásticas (PPO, SAC) se beneficiaron significativamente más de la optimización en tiempo de inferencia que las deterministas (TD3, DDPG).
• Escala de Calidad del Pronóstico: Los "experimentos de trampa" revelaron un comportamiento tipo umbral. Las ganancias de rendimiento fueron casi indistinguibles entre $R^2 = 0.001$ y $R^2 = 0.01$, pero continuaron mejorando a medida que $R^2$ aumentaba hacia 0.8. Esto sugiere que incluso señales débiles y económicamente significativas son suficientes para impulsar los beneficios del marco.
• Sensibilidad al Horizonte: Se encontró que un horizonte de planificación de $H=50$ días era óptimo, equilibrando la necesidad de capturar regímenes estructurales del mercado frente al ruido de alta frecuencia.

Significado y Afirmaciones

El artículo afirma que FinPILOT cierra la brecha entre la previsión y la toma de decisiones en RLFT sin el costo computacional de reentrenar agentes. Al tratar al pronosticador de precios como un modelo del mundo sustituto, el marco permite que los agentes preentrenados "planifiquen" contra futuros imaginados en tiempo de inferencia.

Los autores enfatizan que la propiedad estructural de los mercados financieros (recompensas de forma cerrada y suposiciones de tomador de precios) simplifica el modelado del mundo a la pura previsión de precios. El marco se presenta como una solución de plugin: no altera el entrenamiento del agente de RL, lo que lo hace aplicable a una amplia gama de algoritmos existentes.

Los resultados sugieren que el rendimiento de los agentes de trading por RL no está limitado por la necesidad de modelos del mundo de alta fidelidad (que son difíciles de aprender en finanzas), sino más bien por la capacidad de aprovechar incluso señales predictivas modestas ($R^2 \approx 0.01$) a través de la adaptación en tiempo de inferencia. Los autores concluyen que a medida que los modelos de previsión financiera mejoren, el rendimiento de los agentes que utilizan FinPILOT debería mejorar en consecuencia.

Limitaciones: Los autores señalan que, aunque las métricas ajustadas al riesgo mejoraron, el máximo drawdown aumentó ligeramente para algunas políticas estocásticas (PPO, SAC) en relación con las líneas base, lo que indica un compromiso entre el retorno total y la exposición a la baja que sigue siendo una dirección para trabajos futuros. La evaluación se limita a dos benchmarks (DJ30 y FX) y depende de pruebas de retroceso (backtesting), lo cual no tiene en cuenta el impacto en el mercado ni la latencia en el trading en vivo.