Data-Driven Merton's Strategies via Policy Randomization

Resumen Técnico Detallado: Estrategias de Merton Basadas en Datos mediante Randomización de Políticas

Este documento presenta un resumen técnico del artículo "Data-Driven Merton's Strategies via Policy Randomization" de Dai, Dong, Jia y Zhou. El trabajo aborda el problema clásico de maximización de utilidad esperada de Merton en un mercado incompleto, proponiendo una solución basada en Aprendizaje por Refuerzo (RL) continuo que evita la estimación de parámetros del modelo.

1. El Problema: Maximización de Utilidad en Mercados Incompletos sin Conocimiento del Modelo

El problema central es la maximización de la utilidad esperada de la riqueza terminal para un inversor (tomador de precios) en un mercado incompleto.

• Entorno: Existe un activo libre de riesgo y una acción cuyo precio sigue un proceso de difusión estocástica. Además, existe un proceso de factor de mercado observable ($X_t$) que impulsa tanto la tasa de retorno instantánea ($\mu$) como la volatilidad ($\sigma$).
• Desafío: Las formas funcionales de los parámetros del modelo ($\mu, \sigma, m, \nu$) son desconocidas.
• Limitación de los Métodos Tradicionales: El enfoque convencional ("plug-in" o separación) requiere estimar estadísticamente los parámetros del modelo y luego resolver la ecuación diferencial parcial de Hamilton-Jacobi-Bellman (HJB). Este método falla debido a:
  1. La dificultad de estimar con precisión la tasa de retorno esperada con datos históricos limitados.
  2. La alta sensibilidad de las estrategias óptimas a pequeños errores de estimación (propagación de errores).
  3. La no estacionariedad de los mercados financieros.

2. Metodología: Randomización de Políticas y RL Continuo

Los autores proponen un enfoque "model-free" (libre de modelo) y "data-driven" (basado en datos) utilizando Aprendizaje por Refuerzo en tiempo continuo.

A. Problema Auxiliar con Políticas Aleatorizadas

En lugar de buscar una política determinista directa, se formula un problema auxiliar donde el agente elige acciones (porcentajes de inversión) muestreando de una distribución de probabilidad (política estocástica).

• Clase de Políticas: Se restringe el espacio de búsqueda a políticas Gaussianas con una estructura de varianza específica:
  $$\pi_t \sim \mathcal{N}\left(u(t, w, x), \frac{\lambda}{\gamma \sigma^2(t, x)}\right)$$
  Donde $u$ es la media (la política determinista a aprender), $\gamma$ es la aversión al riesgo, $\sigma$ es la volatilidad observable, y $\lambda \geq 0$ es un parámetro de "temperatura" que controla el grado de aleatorización.
• Dinámica de la Riqueza: La aleatorización introduce un ruido adicional en la ecuación diferencial estocástica (SDE) de la riqueza, modelado mediante un movimiento browniano independiente.

B. Conexión Teórica (Teorema 1)

El resultado teórico fundamental es que la media de la política óptima del problema auxiliar coincide exactamente con la política óptima del problema original de Merton.

• Esto justifica el uso de políticas aleatorizadas no como una herramienta de exploración para obtener información (ya que el inversor es pequeño y no afecta los precios), sino como una herramienta técnica para resolver el problema de optimización.
• Se demuestra que el costo de usar una política aleatorizada (pérdida de utilidad relativa) es cuantificable y depende de $\lambda$ y del horizonte temporal $T$, pero es aceptable a cambio de la capacidad de aprendizaje.

C. Algoritmos Actor-Critic en Tiempo Continuo

Basándose en la teoría de RL continuo desarrollada por Wang y Zhou, se diseñan algoritmos Actor-Critic:

1. Critic (Evaluación de Política): Aprende la función de valor asociada a la política actual. Se utiliza una condición de ortogonalidad de martingala (Teorema 3) para estimar la función de valor sin conocer los coeficientes del modelo.
2. Actor (Mejora de Política): Actualiza la media de la política ($u$) basándose en la función de valor aprendida.
3. Condición de Martingala: La actualización de los parámetros se guía por mantener la propiedad de martingala de ciertos procesos estocásticos, permitiendo el aprendizaje tanto en línea (online) como fuera de línea (offline).

D. El Rol del Parámetro de Temperatura ($\lambda$)

El análisis teórico y numérico revela una compensación crítica (bias-variance tradeoff):

• Si $\lambda \to 0$ (política determinista), la varianza de la señal de aprendizaje (el gradiente) se vuelve infinita, impidiendo la convergencia del algoritmo.
• Un $\lambda > 0$ introduce ruido que estabiliza la varianza de la señal de aprendizaje, permitiendo que el algoritmo converja, aunque introduce un sesgo pequeño.
• El algoritmo requiere $\lambda > 0$ para funcionar; no puede aprender directamente políticas deterministas en este marco.

3. Contribuciones Clave

1. Justificación Teórica de la Aleatorización: Demuestran que la aleatorización de políticas es necesaria no solo para la exploración, sino como un mecanismo técnico para resolver problemas de control estocástico que son intratables con políticas deterministas puras en un marco de aprendizaje.
2. Algoritmos Convergentes: Proponen algoritmos Actor-Critic específicos para el problema de Merton con utilidad CRRA (aversión al riesgo constante relativa), aprovechando las propiedades homotéticas de la utilidad para mejorar la eficiencia computacional.
3. Prueba de Convergencia: Establecen tasas de convergencia óptimas ($O(n^{-1} \log n)$) para el algoritmo en el mercado Black-Scholes, demostrando que el error de la pérdida de riqueza relativa converge a cero.
4. Superioridad sobre Métodos "Plug-in": Muestran teóricamente y empíricamente que el enfoque RL evita los errores catastróficos asociados a la estimación de parámetros en modelos complejos (como volatilidad estocástica), donde pequeños errores en la estimación pueden llevar a estrategias inviables (apalancamiento infinito).

4. Resultados Empíricos y Numéricos

Los autores validan su método mediante estudios de simulación con datos sintéticos y un estudio empírico con datos reales del mercado (S&P 500 y VIX).

A. Simulación (Datos Sintéticos - Modelo 3/2)

• Escenario: Se utiliza un modelo de volatilidad estocástica no afín (modelo 3/2).
• Comparación: Se comparan:
  • Solución Óptima (Omnisciente).
  • Buy-and-Hold (B-H).
  • Estimación + Plug-in (Est-SV): Estima parámetros y resuelve la ODE analítica.
  • Minimización de Riesgo Empírico (ERM).
  • RL propuesto (con forma paramétrica específica y con Redes Neuronales).
• Hallazgos:
  • El método RL supera consistentemente a Est-SV y ERM, especialmente cuando los datos son limitados o ruidosos.
  • El método Est-SV es extremadamente sensible al ruido en los datos de volatilidad; pequeños errores en la estimación de parámetros degradan drásticamente su rendimiento.
  • El método RL es robusto frente a la contaminación de datos de volatilidad, ya que aprende la política directamente sin estimar los parámetros subyacentes.

B. Estudio Empírico (Datos Reales S&P 500 y VIX, 1990-2025)

• Configuración: Uso de datos históricos para pre-entrenamiento y aprendizaje en línea posterior.
• Métricas: Retorno, volatilidad, Ratio de Sharpe, Ratio de Sortino, Drawdown Máximo (MDD) y Tiempo de Recuperación.
• Resultados:
  • Las estrategias RL (especialmente con redes neuronales) logran Ratios de Sharpe y Sortino superiores a los métodos tradicionales y a Buy-and-Hold.
  • Robustez en Mercados Bajistas: Durante periodos de crisis (2000-2002, 2008), las estrategias RL redujeron significativamente la exposición al riesgo y recuperaron el capital mucho más rápido que los métodos basados en modelos (Est-SV) o Buy-and-Hold.
  • El método Est-SV falló al no adaptarse rápidamente a los cambios de régimen del mercado debido a la rigidez de sus parámetros estimados.

5. Significado e Implicaciones

Este trabajo resuelve una paradoja fundamental en la aplicación de RL a las finanzas: ¿Por qué usar políticas aleatorias si el inversor es pequeño y no necesita "explorar" para obtener información?

La respuesta es que la aleatorización actúa como un regularizador técnico que hace posible el aprendizaje de políticas óptimas en un entorno de control estocástico continuo sin conocimiento del modelo.

• Cambio de Paradigma: Se aleja del enfoque "estimar luego optimizar" (que es frágil) hacia un enfoque "aprender directamente la política" (que es robusto).
• Aplicabilidad: El método es aplicable a mercados incompletos con factores latentes y es superior cuando los datos son escasos o el modelo subyacente es desconocido o mal especificado.
• Futuro: Abre la puerta a la aplicación de RL continuo en otros problemas de optimización financiera donde la estimación de parámetros es un cuello de botella, validando el uso de RL no solo como herramienta de IA, sino como una metodología matemática robusta para la teoría de carteras.

En conclusión, el paper demuestra que el Aprendizaje por Refuerzo, impulsado por la randomización de políticas, ofrece una solución superior, más robusta y teóricamente fundamentada para el problema de Merton en comparación con los métodos econométricos tradicionales.