📈 economía

CBGA-SAC: A CVaR-Constrained Deep Reinforcement Learning Framework for Portfolio Optimization

Este artículo propone CBGA-SAC, un marco de aprendizaje por refuerzo profundo unificado que integra CNN-BiLSTM-Attention para la extracción de riesgos temporales y Redes de Atención de Grafos para las correlaciones dinámicas de activos con el fin de optimizar el reequilibrio de carteras bajo restricciones de Valor en Riesgo Condicional, demostrando rendimientos ajustados al riesgo y robustez superiores durante cambios de régimen de mercado en comparación con los modelos tradicionales y de aprendizaje profundo de referencia.

Autores originales: R Lavanya, Shivani Agarwal, Vinay Dwivedi, Pavan Kumar Varma Kothapalli, Venkata Sandeep Dhullipalla, Megha Sharma, Nisha Kundu

Publicado 2026-10-16

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: R Lavanya, Shivani Agarwal, Vinay Dwivedi, Pavan Kumar Varma Kothapalli, Venkata Sandeep Dhullipalla, Megha Sharma, Nisha Kundu

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El mundo de las finanzas suele imaginarse como un lugar de crecimiento constante, pero para quienes gestionan el dinero, la realidad es un paisaje de cambios constantes e impredecibles. Los mercados no se mueven en líneas rectas; aumentan, se estancan y, a veces, colapsan de formas que desafían la predicción simple. El desafío central para los inversores no es solo encontrar activos que crezcan, sino hacerlo sin exponer su capital a una pérdida catastrófica. Los métodos tradicionales para gestionar este riesgo suelen basarse en promedios históricos, asumiendo que el futuro será muy parecido al pasado. Sin embargo, cuando los mercados cambian repentinamente, estos viejos mapas fallan. Para navegar esto, los investigadores están recurriendo a la inteligencia artificial, específicamente a un tipo de aprendizaje que imita cómo los humanos aprenden mediante el ensayo y error, con la esperanza de construir sistemas que puedan adaptarse a nuevos peligros en tiempo real.

En este contexto, un equipo de investigadores ha desarrollado un nuevo marco llamado CBGA-SAC, diseñado para tomar decisiones más inteligentes sobre cómo repartir el dinero entre diferentes acciones. El sistema fue construido para resolver un problema específico: la mayoría de las herramientas existentes tratan la tarea de predecir el riesgo y la tarea de decidir cuánto invertir como dos tareas separadas. Podrían usar un programa informático para adivinar qué tan volátil será una acción, y luego alimentar esa suposición en un segundo programa separado para decidir la mezcla de la cartera. Esta separación significa que, si el primer programa comete un error, el segundo nunca sabe cómo ajustarse. Además, muchos sistemas ignoran cómo las acciones se influyen entre sí, tratándolas como islas aisladas en lugar de una red conectada donde un choque en una puede propagarse a través de las otras.

Los investigadores propusieron una solución unificada que combina tres capacidades distintas en un único proceso fluido. Primero, el sistema utiliza una estructura de aprendizaje profundo para escanear el historial de los precios de las acciones, buscando tanto patrones a corto plazo como tendencias a largo plazo que los analistas humanos podrían pasar por alto. Presta especial atención a los momentos más críticos de los datos, de forma muy similar a como un lector hojea un informe largo para encontrar las frases más importantes. Segundo, en lugar de asumir que la relación entre las acciones es fija, el sistema construye un mapa dinámico de cómo están conectadas. Aprende, día tras día, qué acciones tienden a moverse juntas y cuáles no, actualizando este mapa a medida que las condiciones del mercado cambian. Finalmente, esta comprensión combinada del tiempo y la conexión se introduce en un agente de aprendizaje por refuerzo. Este agente actúa como un operador que aprende haciendo, ajustando constantemente su estrategia para maximizar las ganancias mientras evita estrictamente las peores pérdidas posibles.

Para entrenar este sistema, los investigadores utilizaron un vasto conjunto de datos de treinta de las principales acciones estadounidenses, que cubría un periodo que incluyó una caída significativa del mercado en 2022 seguida de una recuperación. Este periodo específico fue elegido porque representó un "cambio de régimen", un cambio repentino en las reglas del mercado que pondría a prueba si el sistema podía adaptarse o si colapsaría bajo la presión. El sistema fue enseñado con una función de recompensa que no solo miraba cuánto dinero se ganaba, sino que penalizaba fuertemente el riesgo de pérdidas extremas, conocido como riesgo de cola. También tuvo en cuenta el coste de operar, asegurando que el sistema no desperdiciara dinero en cambios innecesarios en la cartera.

Los resultados de las pruebas de este marco frente a los métodos tradicionales y otros algoritmos avanzados fueron sorprendentes. En el entorno simulado, el nuevo sistema logró un retorno total superior al de sus competidores, mientras sufría pérdidas menos severas cuando el mercado giraba. Específicamente, mostró un ratio de retorno frente a riesgo más alto, lo que significa que generó más beneficio por cada unidad de peligro asumido. Quizás lo más importante es que, cuando el mercado colapsó en 2022, el sistema se recuperó más rápido y perdió menos valor que los otros métodos. Los investigadores descubrieron que la capacidad del sistema para aprender las conexiones cambiantes entre las acciones y su enfoque estricto en evitar pérdidas catastróficas fueron las razones principales de este éxito. Cuando eliminaron estas características específicas del modelo, su rendimiento cayó significamente, confirmando que estos componentes eran esenciales.

Sin embargo, los investigadores son cuidadosos al señalar los límites de sus hallazgos. El éxito se demostró en un entorno de backtesting controlado, una simulación donde las reglas del trading son idealizadas y no incluyen las realidades desordenadas del mundo real, como el retraso en la ejecución de órdenes o el coste adicional de mover grandes cantidades de dinero. Si bien el sistema demostró que podía adaptarse a un mercado cambiante en la simulación, los autores afirman que su rendimiento en un entorno de trading real y en vivo está por verse. Sugieren que el trabajo futuro debe probar el sistema contra la fricción real del mercado y a través de diferentes tipos de activos para ver si las ventajas se mantienen fuera del laboratorio.

En última instancia, este trabajo representa un paso hacia un enfoque más integrado de la seguridad financiera. Al fusionar la predicción del riesgo con la decisión de cómo invertir, y al tratar el mercado como una red viva y cambiante en lugar de un conjunto estático de números, los investigadores han creado una herramienta que es más sensible a la realidad de las finanzas modernas. El estudio sugiere que el futuro de la gestión de riesgos no reside en separar estas tareas, sino en entrelazarlas en un sistema inteligente único que pueda observar, aprender y ajustarse a medida que el mundo cambia a su alrededor.

Resumen Técnico de CBGA-SAC: Un Marco de Aprendizaje por Refuerzo Profundo con Restricción de CVaR para la Optimización de Carteras

1. Planteamiento del Problema

El artículo aborda las limitaciones de los modelos actuales de gestión de riesgos financieros y optimización de carteras para manejar cambios rápidos en los regímenes de mercado. Los métodos clásicos, como la optimización de media-varianza de Markowitz y el Valor en Riesgo (VaR) paramétrico, a menudo asumen retornos estacionarios, lineales o de distribución elíptica, los cuales fallan bajo condiciones de estrés de mercado. Además, las soluciones existentes de aprendizaje profundo suelen desacoplar la estimación del riesgo de la asignación de activos. Frecuentemente dependen de matrices de covarianza estáticas que no capturan correlaciones dinámicas y específicas de cada activo, y a menudo optimizan para la varianza o el retorno en lugar de apuntar explícitamente al riesgo de cola (pérdidas extremas). Los autores identifican cuatro brechas específicas en la literatura:

Procesos Desacoplados: La evaluación del riesgo y la asignación de la cartera se tratan como etapas separadas en lugar de un flujo unificado.
Dependencias Estáticas: Las correlaciones entre activos se modelan mediante estimaciones históricas fijas en lugar de estructuras aprendidas y variables en el tiempo.
Riesgo de Cola Implícito: Los recompensas del aprendizaje por refuerzo (RL) carecen de restricciones explícitas de Valor en Riesgo Condicional (CVaR), dependiendo en su lugar de un control de la parte baja implícito.
Backtesting Estático: La mayoría de los sistemas se validan en datos históricos de una sola pasada sin probar la adaptabilidad a cambios de régimen en tiempo real o inferencia de flujo continuo.

2. Metodología: El Marco CBGA-SAC

Los autores proponen CBGA-SAC, una arquitectura híbrida unificada que integra la extracción de características temporales, el modelado de correlación basado en grafos dinámicos y el aprendizaje por refuerzo con restricción de CVaR. El marco opera como un flujo de extremo a extremo con los siguientes componentes:

Extracción de Características de Riesgo Temporal (CNN-BiLSTM-Attention):
- Entrada: Datos temporales multiescala que incluyen retornos logarítmicos, volatilidad rodante, RSI, MACD y volumen.
- Arquitectura: Una Red Neuronal Convolucional 1D (CNN) captura patrones locales de corto plazo. Estas características se introducen en una red de Memoria de Largo Corto Plazo Bidireccional (BiLSTM) para extraer dependencias temporales de largo alcance tanto en dirección hacia adelante como hacia atrás.
- Mecanismo de Atención: Una capa de atención temporal pondera los estados ocultos de la BiLSTM, resaltando los pasos de tiempo más relevantes para la situación de riesgo actual, produciendo un vector de contexto $c_t$ .
Modelado de Correlación Dinámica de Activos (Red de Atención de Grafos - GAT):
- Construcción del Grafo: Los activos se tratan como nodos en un grafo totalmente conectado.
- Mecanismo: En lugar de una matriz de covarianza estática, una Red de Atención de Grafos aprende estructuras de dependencia dinámicas y basadas en datos. Calcula coeficientes de atención ( $\alpha_{ij}$ ) entre los activos $i$ y $j$ basados en sus vectores de contexto aprendidos.
- Salida: Un embedding de grafo $g_i$ para cada activo que refleja dependencias inter-activos de orden superior y dinámicas.
Representación de Riesgo Fusionada:
- El vector de contexto temporal ( $c_i$ ) y el embedding del grafo ( $g_i$ ) se concatenan y se pasan a través de una capa totalmente conectada para generar una puntuación de riesgo unificada. Esta representación fusionada se utiliza simultáneamente para la previsión de riesgo (estimación de VaR/CVaR) y como entrada de estado para el agente de RL.
Optimización de Cartera (Soft Actor-Critic con Restricción de CVaR):
- Agente: Se emplea un agente Soft Actor-Critic (SAC) para la optimización continua de los pesos de la cartera.
- Espacio de Acción: El agente genera un vector continuo de pesos de la cartera, proyectado sobre el simplex mediante una capa softmax.
- Función de Recompensa: La recompensa está diseñada explícitamente para penalizar el riesgo de cola y los costes de transacción:
  $R_t = R_{p,t} - \lambda_1 \cdot \text{CVaR}_\alpha(R_{p,t}) - \lambda_2 \cdot \sum |w_{i,t} - w_{i,t-1}|$
  Donde $\lambda_1$ y $\lambda_2$ son coeficientes ajustables. El término CVaR se calcula utilizando una aproximación normal basada en la media y la desviación estándar de la cartera predicha, derivadas de la representación fusionada.
- Restricción: Durante el entrenamiento, las políticas que violan un umbral máximo tolerable de CVaR reciben un "recorte de recompensa" (reward clip), penalizando efectivamente el riesgo de cola excesivo.
Inferencia: El sistema opera mediante una ventana rodante, actualizando las representaciones de riesgo y reequilibrando las carteras en tiempo real a medida que llega nueva información.

3. Configuración Experimental

Conjunto de Datos: Un universo diversificado de 30 acciones de alta capitalización de EE. UU. (subconjunto del DJIA) con datos diarios de OHLCV desde enero de 2015 hasta diciembre de 2024.
División: Entrenamiento (2015–2020), Validación (2021) y Prueba Fuera de la Muestra (2022–2024). El periodo de prueba incluye específicamente la caída del mercado de 2022 y la recuperación posterior para evaluar la adaptabilidad al cambio de régimen.
Líneas Base (Baselines): El marco se compara contra:
1. Optimización de Media-Varianza de Markowitz (MVO).
2. Previsión con LSTM con una capa de MVO superpuesta.
3. Deep Deterministic Policy Gradient (DDPG).
4. Twin Delayed DDPG (TD3).
Métricas: Retorno Acumulado/Anualizado, Ratio de Sharpe, Ratio de Sortino, Máxima Caída (MDD), 95% CVaR y Error de Previsión de Riesgo (RMSE).

4. Resultados Clave

Desempeño: CBGA-SAC superó a todas las líneas base en el periodo de prueba fuera de la muestra (2022–2024).
- Retornos: Logró el mayor Retorno Acumulado (58.3%) y Retorno Anualizado (16.2%).
- Métricas de Riesgo Ajustado: Alcanzó el mejor Ratio de Sharpe (0.87) y Ratio de Sortino (1.19).
- Control de Riesgo: Demostró la menor Máxima Caída (MDD) (-13.6%) y el 95% CVaR (-1.68%) en comparación con las líneas base (por ejemplo, el MDD de MVO fue de -24.1%).
Previsión de Riesgo: La cabeza de previsión de riesgo propuesta logró el RMSE más bajo (3.21) y el $R^2$ más alto (0.754) en comparación con los modelos de solo LSTM y de CNN-LSTM.
Estudio de Ablación:
- Eliminar la penalización de CVaR de la función de recompensa causó la degradación más significativa en las métricas de riesgo de cola (el CVaR empeoró de -1.68% a -2.26%), confirmando que la conciencia explícita del riesgo de cola es la elección de diseño más crítica.
- Eliminar la Red de Atención de Grafos (reemplazándola por concatenación) redujo el ratio de Sharpe de 0.87 a 0.74, resaltando la importancia del modelado de correlación dinámica.
- Eliminar la Atención Temporal también provocó una degradación del desempeño, aunque menos severa que la eliminación del CVaR.

5. Significancia y Reivindicaciones

El artículo afirma que CBGA-SAC proporciona un marco más potente y parcialmente interpretable para la gestión de riesgos financieros al:

Unificar Riesgo y Asignación: Elimina el desacoplamiento de la predicción de riesgo y la asignación de carteras, permitiendo que la política reaccione al riesgo predicho en lugar de a la volatilidad realizada rezagada.
Correlación Dinámica: Reemplaza las matrices de covarianza estáticas con una estructura de grafo aprendida y variable en el tiempo que se adapta a los cambios de régimen de mercado.
Control Explícito del Riesgo de Cola: Al integrar el CVaR directamente en la función de recompensa de RL, el marco penaliza explícitamente las pérdidas de cola, lo que conduce a una protección superior contra las caídas.
Adaptabilidad de Régimen: El marco demostró una recuperación más rápida y caídas menos profundas durante el cambio de régimen simulado de 2022 en comparación con los modelos tradicionales y otros baselines de DRL.

Limitaciones y Direcciones Futuras:
Los autores declaran explícitamente que la validación actual se realizó en un entorno de backtesting controlado con ejecución de órdenes idealizada y costes de transacción fijos. Reconocen que la validación de despliegue en vivo, que involucra impacto de mercado, deslizamiento (slippage) y restricciones de latencia, sigue siendo una dirección abierta. Además, la estimación actual de CVaR se basa en una aproximación normal; el trabajo futuro sugiere utilizar estimadores no paramétricos o de la teoría de valores extremos para distribuciones de cola pesada. El artículo concluye que, si bien el marco aborda tres de las cuatro brechas de investigación identificadas, la cuarta (validación de trading en vivo en tiempo real) se aborda parcialmente pero requiere mayor prueba empírica.