Resumen Técnico: RG-ResMoE (Mixture-of-Experts Residual con Compuerta de Régimen) para la Predicción de la Volatilidad Transversal

Planteamiento del Problema

La volatilidad financiera es inherentemente dependiente de los regímenes, con relaciones entre las observaciones históricas y la volatilidad futura que cambian a través de los estados del mercado (por ejemplo, calma, crisis, recuperación). Si bien las redes neuronales profundas han mejorado la predicción de la volatilidad al aprender relaciones no lineales a partir de grandes paneles de renta variable, la incorporación de información de régimen sigue siendo un desafío. Los enfoques existentes suelen introducir variables de régimen anexándolas directamente a las entradas del modelo o mediante el cambio entre diferentes predictores basados en los estados del mercado. Sin embargo, estos métodos suelen confundir la presencia de la información de régimen con la vía de integración, lo que dificulta determinar si las mejoras en el rendimiento provienen de la información en sí o de cómo esta entra en el modelo. Además, añadir variables de régimen directamente a las entradas puede desestabilizar el entrenamiento y degradar el rendimiento predictivo en arquitecturas neuronales compactas.

Metodología

Los autores proponen RG-ResMoE (Regime-Gated Residual Mixture-of-Experts), una arquitectura novedosa diseñada para aislar el efecto de la vía de integración. El estudio emplea un marco de comparación riguroso e informado por la información, donde las variables de régimen, la capacidad del modelo, los hiperparámetros y los protocolos de evaluación se mantienen constantes, variando únicamente el punto de integración.

Datos y Tarea

• Datasets: Un panel primario de 1,027 acciones de EE. UU. (2018–2025) y un panel de replicación de 1,552 acciones japonesas.
• Tarea: Predecir la volatilidad realizada proyectada a cinco días (anualizada) para paneles transversales de renta variable.
• Entradas:
  • Características de la acción ($x$): 16 características que incluyen volatilidad realizada, retornos, RSI y retornos logarítmicos.
  • Variables de Régimen ($z$): Dos indicadores — volatilidad de mercado (volatilidad móvil de 20 días de los retornos del mercado con ponderación igualitaria) y volatilidad idiosincrática (volatilidad móvil de 20 días de los retornos residuales).

Diseño de la Arquitectura

La innovación central reside en la separación de la predicción base de las correcciones dependientes del régimen:

1. Red Base Congelada: Un MLP estándar de dos capas ocultas predice el nivel de volatilidad base ($\hat{y}_{base}$) utilizando únicamente las características de la acción ($x$). Esta red se entrena primero y luego se congela.
2. Expertos Residuales: Un conjunto de $K=4$ redes de expertos (también MLPs) que predicen correcciones residuales ($r_k(x)$) en lugar de pronósticos completos. Estos expertos se inicializan con capas de salida cero para asegurar que el modelo comience como el pronóstico base.
3. Enrutamiento por Compuerta de Régimen: Una red de compuerta ($g$) toma tanto las características de la acción ($x$) como las variables de régimen ($z$) como entrada. Produce una distribución de probabilidad suave ($\pi$) sobre los expertos.
4. Predicción Final: El pronóstico final es la suma de la predicción base y la suma ponderada de los residuales de los expertos:
   $$\hat{y} = \hat{y}_{base} + \sum_{k=1}^{K} \pi_k r_k(x)$$
   Crucialmente, las variables de régimen $z$ influyen en la predicción únicamente a través de los pesos de enrutamiento $\pi$, no alterando directamente la entrada a las redes de pronóstico.

Entrenamiento y Regularización

El entrenamiento procede en dos etapas:

1. Entrenar la red base.
2. Congelar la base y entrenar conjuntamente los expertos y la compuerta.
   La función de pérdida incluye:

• Error Cuadrático Medio (MSE) sobre la predicción final.
• Una penalización de contracción (shrinkage) sobre la magnitud de la corrección residual agregada para mantener las predicciones cerca de la base.
• Una penalización de equilibrio de carga (load-balancing) para evitar el colapso del enrutamiento (concentración en un solo experto).

Principales Contribuciones

1. Descubrimiento de la Vía de Integración: El artículo demuestra que la ubicación de la información de régimen es decisiva. Anexar las variables de régimen directamente a las entradas degrada la precisión y la estabilidad, mientras que utilizarlas exclusivamente para el enrutamiento de los residuales mejora tanto la precisión como la estabilidad.
2. Arquitectura MoE Residual: Los autores muestran que, en modelos compactos de pronóstico financiero, el valor de la Mezcla de Expertos (MoE) reside menos en aumentar la capacidad total del modelo y más en controlar cómo la información no estacionaria modula un pronóstico base estable mediante el aprendizaje residual.
3. Enrutamiento Suave vs. Duro: El enrutamiento suave continuo (distribuciones de probabilidad aprendidas) supera consistentemente al enrutamiento duro (asignaciones discretas basadas en compuertas aprendidas de top-1 o particiones de mercado manuales).
4. Estabilidad del Entrenamiento: La arquitectura RG-ResMoE mejora significamente la estabilidad del entrenamiento en comparación con el MoE estándar y los MLP de entrada directa, eliminando las ejecuciones de entrenamiento "colapsadas" donde los modelos fallan en converger.

Resultados

Evaluado mediante un marco de marcha hacia adelante rodante (rolling walk-forward) en 30 ventanas de prueba no superpuestas para 1,027 acciones de EE. UU.:

• Precisión de Pronóstico: RG-ResMoE alcanzó el Coeficiente de Información más alto (IC: 0.5469), el RMSE más bajo (0.2304) y el $R^2$ fuera de la muestra más alto (0.292) entre todos los modelos neuronales. Superó significativamente a un MLP de gran capacidad (MLP-L) y al MoE estándar.
• Estabilidad: RG-ResMoE tuvo 0 semillas colapsadas de 30, mientras que el MoE Estándar colapsó en 24/30 ejecuciones, y el MLP-L(+z) colapsó en 30/30 ejecuciones.
• Calibración de Riesgo: RG-ResMoE proporcionó una mejor calibración de Valor en Riesgo (VaR), particularmente durante periodos de alta volatilidad, mostrando menores tasas de rechazo en las pruebas de cobertura de Kupiec en comparación con los modelos base.
• Desempeño en Estrés de Mercado: La ventaja del modelo fue más pronunciada durante periodos de elevada volatilidad (por ejemplo, la crisis del COVID en 2020, donde la ganancia de IC fue 6.7 veces el promedio de toda la muestra).
• Replicación en Otros Mercados: Los resultados se replicaron con éxito en el panel de la Bolsa de Tokio (TSE Prime) en Japón, confirmando que los beneficios del enrutamiento residual no son específicos de un mercado.

Significado y Afirmaciones

El artículo argumenta que, para los pronosticadores de volatilidad neuronales compactos, el valor principal de los modelos MoE conscientes del régimen no es expandir la capacidad del modelo, sino controlar cómo la información de régimen no estacionaria influye en la predicción.

Los autores sostienen un principio de diseño simple: la información de régimen es más efectiva cuando guía el enrutamiento residual en lugar de ser tratada como una entrada predictiva ordinaria. Este enfoque permite al modelo adaptarse a los estados del mercado modulando las correcciones a un pronóstico base estable, mejorando así tanto la precisión predictiva como la robustez del entrenamiento. El estudio sugiere que este principio se extiende más allá de la arquitectura específica de RG-ResMoE para guiar la incorporación de información de estado de mercado en futuros modelos de pronóstico neuronal.

Las limitaciones señaladas por los autores incluyen el enfoque en mercados de renta variable y un esqueleto MLP compacto; la generalizabilidad a otras tareas financieras, modelos de secuencia más grandes o definiciones alternativas de estado sigue siendo un área abierta para trabajos futuros.