📈 economia

CBGA-SAC: A CVaR-Constrained Deep Reinforcement Learning Framework for Portfolio Optimization

Este artigo propõe o CBGA-SAC, um framework unificado de aprendizado por reforço profundo que integra CNN-BiLSTM-Attention para extração de risco temporal e Redes de Atenção em Grafos para correlações dinâmicas de ativos para otimizar o rebalanceamento de portfólio sob restrições de Valor em Risco Condicional, demonstrando retornos ajustados ao risco e robustez superiores durante mudanças de regime de mercado em comparação com modelos tradicionais e modelos de aprendizado profundo de base.

Autores originais: R Lavanya, Shivani Agarwal, Vinay Dwivedi, Pavan Kumar Varma Kothapalli, Venkata Sandeep Dhullipalla, Megha Sharma, Nisha Kundu

Publicado 2026-10-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: R Lavanya, Shivani Agarwal, Vinay Dwivedi, Pavan Kumar Varma Kothapalli, Venkata Sandeep Dhullipalla, Megha Sharma, Nisha Kundu

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O mundo das finanças é frequentemente imaginado como um lugar de crescimento constante, mas para aqueles que gerem dinheiro, a realidade é um cenário de mudança constante e imprevisível. Os mercados não se movem em linhas retas; eles sobem, estagnam e, por vezes, colapsam de formas que desafiam a previsão simples. O desafio central para os investidores não é apenas encontrar ativos que cresçam, mas fazê-lo sem expor o seu capital a uma perda catastrófica. Os métodos tradicionais para gerir este risco baseiam-se frequentemente em médias históricas, assumindo que o futuro será muito semelhante ao passado. No entanto, quando os mercados mudam subitamente, estes mapas antigos falham. Para navegar nesta situação, investigadores estão a recorrer à inteligência artificial, especificamente a um tipo de aprendizagem que imita a forma como os humanos aprendem através de tentativa e erro, esperando construir sistemas que possam se adaptar a novos perigos em tempo real.

Neste contexto, uma equipa de investigadores desenvolveu um novo framework chamado CBGA-SAC, concebido para tomar decisões mais inteligentes sobre como dividir o dinheiro entre diferentes ações. O sistema foi construído para resolver um problema específico: a maioria das ferramentas existentes trata a tarefa de prever o risco e a tarefa de decidir quanto investir como duas tarefas separadas. Podem usar um programa de computador para adivinhar quão volátil será uma ação e, depois, alimentar esse palpite num segundo programa, separado, para decidir a composição da carteira. Esta separação significa que, se o primeiro programa cometer um erro, o segundo nunca saberá que deve ajustar-se. Além disso, muitos sistemas ignoram como as ações se influenciam mutuamente, tratando-as como ilhas isoladas em vez de uma rede conectada onde um choque numa pode propagar-se pelas outras.

Os investigadores propuseram uma solução unificada que combina três capacidades distintas num único processo fluido. Primeiro, o sistema utiliza uma estrutura de aprendizagem profunda para analisar o histórico dos preços das ações, procurando tanto padrões de curto prazo como tendências de longo prazo que os analistas humanos possam perder. Presta especial atenção aos momentos mais críticos dos dados, tal como um leitor que percorre rapidamente um relatório longo para encontrar as frases mais importantes. Segundo, em vez de assumir que a relação entre as ações é fixa, o sistema constrói um mapa dinâmico de como elas estão conectadas. Aprende, dia após dia, quais as ações que tendem a mover-se juntas e quais não, atualizando este mapa à medida que as condições de mercado mudam. Finalmente, esta compreensão combinada do tempo e da conexão é alimentada num agente de aprendizagem por reforço. Este agente atua como um trader que aprende fazendo, ajustando constantemente a sua estratégia para maximizar o lucro enquanto evita rigorosamente as piores perdas possíveis.

Para treinar este sistema, os investigadores utilizaram um vasto conjunto de dados de trinta das principais ações americanas, cobrindo um período que incluiu uma queda significativa do mercado em 2022 seguida de uma recuperação. Este período específico foi escolhido porque representou uma "mudança de regime", uma mudança súbita nas regras do mercado que testaria se o sistema conseguiria adaptar-se ou se desmoronaria sob pressão. O sistema foi ensinado com uma função de recompensa que não olhava apenas para quanto dinheiro era ganho, mas penalizava fortemente o risco de perdas extremas, conhecido como risco de cauda. Também contabilizou o custo de negociação, garantindo que o sistema não desperdiçasse dinheiro em mudanças desnecessárias na carteira.

Os resultados do teste deste framework contra métodos tradicionais e outros algoritmos avançados foram impressionantes. No ambiente simulado, o novo sistema alcançou um retorno total superior aos seus concorrentes, enquanto sofreu perdas menos severas quando o mercado virou. Especificamente, mostrou uma maior relação entre retorno e risco, o que significa que gerou mais lucro para cada unidade de perigo assumido. Talvez o mais importante seja que, quando o mercado colapsou em 2022, o sistema recuperou mais rapidamente e perdeu menos valor do que os outros métodos. Os investigadores descobriram que a capacidade do sistema de aprender as conexões mutáveis entre as ações e o seu foco rigoroso em evitar perdas catastróficas foram as principais razões para este sucesso. Quando removeram estas características específicas do modelo, o seu desempenho caiu significativamente, confirmando que estes componentes eram essenciais.

No entanto, os investigadores são cuidadosos ao notar os limites das suas descobertas. O sucesso foi demonstrado num ambiente de backtesting controlado, uma simulação onde as regras de negociação são idealizadas e não incluem as realidades complexas do mundo real, como o atraso na execução de ordens ou o custo extra de movimentar grandes quantidades de dinheiro. Embora o sistema tenha provado que consegue adaptar-se a um mercado em mudança na simulação, os autores afirmam que o seu desempenho num ambiente de negociação real e em tempo real ainda está por ver. Eles sugerem que o trabalho futuro deve testar o sistema contra o atrito real do mercado e através de diferentes tipos de ativos para ver se as vantagens se mantêm fora do laboratório.

Em última análise, este trabalho representa um passo em direção a uma abordagem mais integrada da segurança financeira. Ao fundir a previsão do risco com a decisão de como investir, e ao tratar o mercado como uma rede viva e mutável em vez de um conjunto estático de números, os investigadores criaram uma ferramenta que é mais responsiva à realidade das finanças modernas. O estudo sugere que o futuro da gestão de risco não reside em separar estas tarefas, mas em tecê-las num único sistema inteligente que possa observar, aprender e ajustar-se à medida que o mundo muda ao seu redor.

Resumo Técnico do CBGA-SAC: Um Framework de Aprendizado por Reforço Profundo com Restrição de CVaR para Otimização de Portfólio

1. Definição do Problema

O artigo aborda as limitações dos modelos atuais de gestão de risco financeiro e otimização de portfólio ao lidar com mudanças rápidas nos regimes de mercado. Métodos clássicos, como a otimização média-variância de Markowitz e o VaR (Value-at-Risk) paramétrico, frequentemente assumem retornos estacionários, lineares ou de distribuição elíptica, que falham sob estresse de mercado. Além disso, as soluções existentes de aprendizado profundo tipicamente desacoplam a estimativa de risco da alocação de ativos. Elas frequentemente dependem de matrizes de covariância estáticas que não capturam correlações dinâmicas e específicas de cada ativo, e frequentemente otimizam para variância ou retorno em vez de visar explicitamente o risco de cauda (perdas extremas). Os autores identificam quatro lacunas específicas na literatura:

Processos Desacoplados: A avaliação de risco e a alocação de portfólio são tratadas como estágios separados, em vez de um pipeline unificado.
Dependências Estáticas: As correlações entre ativos são modeladas usando estimativas históricas fixas em vez de estruturas aprendidas e variantes no tempo.
Risco de Cauda Implícito: As recompensas de aprendizado por reforço (RL) muitas vezes carecem de restrições explícitas de CVaR (Conditional Value-at-Risk), baseando-se apenas em controle de baixa (downside) implícito.
Backtesting Estático: A maioria dos sistemas é validada em dados históricos de passagem única, sem testar a adaptabilidade a mudanças de regime em tempo real ou inferência de fluxo (streaming).

2. Metodologia: O Framework CBGA-SAC

Os autores propõem o CBGA-SAC, uma arquitetura híbrida unificada que integra extração de características temporais, modelagem de correlação baseada em grafos dinâmicos e aprendizado por reforço com restrição de CVaR. O framework opera como um pipeline de ponta a ponta com os seguintes componentes:

Extração de Características de Risco Temporal (CNN-BiLSTM-Attention):
- Entrada: Dados temporais de múltiplas escalas, incluindo retornos logarítmicos, volatilidade móvel, RSI, MACD e volume.
- Arquitetura: Uma Rede Neural Convolucional 1D (CNN) captura padrões locais de curto prazo. Essas características são alimentadas em uma rede Bidirecional de Longa Memória de Curto Prazo (BiLSTM) para extrair dependências temporais de longo alcance tanto na direção direta quanto na reversa.
- Mecanismo de Atenção: Uma camada de atenção temporal pondera os estados ocultos da BiLSTM, destacando os passos de tempo mais relevantes para a situação de risco atual, produzindo um vetor de contexto $c_t$ .
Modelagem de Correlação Dinâmica de Ativos (Rede de Atenção de Grafos - GAT):
- Construção do Grafo: Os ativos são tratados como nós em um grafo totalmente conectado.
- Mecanismo: Em vez de uma matriz de covariância estática, uma Rede de Atenção de Grafos aprende estruturas de dependência variantes no tempo e baseadas em dados. Ela calcula coeficientes de atenção ( $\alpha_{ij}$ ) entre os ativos $i$ e $j$ com base em seus vetores de contexto aprendidos.
- Saída: Um embedding de grafo $g_i$ para cada ativo que reflete dependências inter-ativos de ordem superior e dinâmicas.
Representação de Risco Fundida:
- O vetor de contexto temporal ( $c_i$ ) e o embedding do grafo ( $g_i$ ) são concatenados e passados por uma camada totalmente conectada para gerar um score de risco unificado. Esta representação fundida é usada simultaneamente para previsão de risco (estimativa de VaR/CVaR) e como entrada de estado para o agente de RL.
Otimização de Portfólio (Soft Actor-Critic com Restrição de CVaR):
- Agente: Um agente Soft Actor-Critic (SAC) é empregado para a otimização contínua de pesos do portfólio.
- Espaço de Ação: O agente produz um vetor contínuo de pesos do portfólio, projetado no simpléks via uma camada softmax.
- Função de Recompensa: A recompensa é explicitamente desenhada para penalizar o risco de cauda e os custos de transação:
  $R_t = R_{p,t} - \lambda_1 \cdot \text{CVaR}_\alpha(R_{p,t}) - \lambda_2 \cdot \sum |w_{i,t} - w_{i,t-1}|$
  Onde $\lambda_1$ e $\lambda_2$ são coeficientes ajustáveis. O termo CVaR é calculado usando uma aproximação normal baseada na média e desvio padrão do portfólio previstos a partir da representação fundida.
- Restrição: Durante o treinamento, políticas que violam um limite máximo tolerável de CVaR recebem um "clip de recompensa" (reward clip), penalizando efetivamente o risco de cauda excessivo.
Inferência: O sistema opera em uma janela deslizante (rolling window), atualizando as representações de risco e rebalanceando portfólios em tempo real conforme novos dados chegam.

3. Configuração Experimental

Dataset: Um universo diversificado de 30 ações blue-chip dos EUA (subconjunto do DJIA) com dados diários de OHLCV de janeiro de 2015 a dezembro de 2024.
Divisão: Treinamento (2015–2020), Validação (2021) e Teste Fora da Amostra (2022–2024). O período de teste inclui especificamente o drawdown do mercado de 2022 e a recuperação subsequente para avaliar a adaptabilidade a mudanças de regime.
Baselines: O framework é comparado contra:
1. Otimização Média-Variância de Markowitz (MVO).
2. Previsão com LSTM com sobreposição de MVO.
3. Deep Deterministic Policy Gradient (DDPG).
4. Twin Delayed DDPG (TD3).
Métricas: Retorno Acumulado/Anualizado, Índice Sharpe, Índice Sortino, Máximo Drawdown (MDD), 95% CVaR e Erro de Previsão de Risco (RMSE).

4. Principais Resultados

Desempenho: O CBGA-SAC superou todos os baselines no período de teste fora da amostra (2022–2024).
- Retornos: Alcançou o maior Retorno Acumulado (58,3%) e Retorno Anualizado (16,2%).
- Métricas de Risco Ajustado: Obteve o melhor Índice Sharpe (0,87) e Índice Sortino (1,19).
- Controle de Risco: Demonstrou o menor Máximo Drawdown (-13,6%) e 95% CVaR (-1,68%) em comparação aos baselines (ex: o MDD do MVO foi de -24,1%).
Previsão de Risco: A cabeça de previsão de risco proposta alcançou o menor RMSE (3,21) e o maior $R^2$ (0,754) em comparação com os modelos apenas de LSTM e CNN-LSTM.
Estudo de Ablação:
- Remover a penalidade de CVaR da função de recompensa causou a degradação mais significativa nas métricas de risco de cauda (o CVaR piorou de -1,68% para -2,26%), confirmando que a consciência explícita do risco de cauda é a escolha de design mais crítica.
- Remover a Rede de Atenção de Grafos (substituindo por concatenação) reduziu o Índice Sharpe de 0,87 para 0,74, destacando a importância da modelagem de correlação dinâmica.
- Remover a Atenção Temporal também levou à degradação do desempenho, embora menos severa do que a remoção do CVaR.

5. Significância e Alegações

O artigo afirma que o CBGA-SAC fornece um framework mais poderoso e parcialmente interpretável para a gestão de risco financeiro ao:

Unificar Risco e Alocação: Elimina o desacoplamento entre a previsão de risco e a alocação de portfólio, permitindo que a política reaja ao risco previsto em vez da volatilidade realizada defasada.
Correlação Dinâmica: Substitui matrizes de covariância estáticas por uma estrutura de grafo aprendida e variante no tempo que se adapta a mudanças de regime de mercado.
Controle Explícito de Risco de Cauda: Ao integrar o CVaR diretamente na função de recompensa do RL, o framework penaliza explicitamente perdas de cauda, levando a uma proteção de baixa superior.
Adaptabilidade de Regime: O framework demonstrou uma recuperação mais rápida e drawdowns mais rasos durante o regime de mudança de 2022 simulado em comparação com o MVO e outros baselines de DRL.

Limitações e Direções Futuras:
Os autores afirmam explicitamente que a validação atual foi realizada em um ambiente de backtesting controlado com execução de ordens idealizada e custos de transação fixos. Eles reconhecem que a validação de implementação ao vivo envolvendo impacto de mercado, slippage e restrições de latência permanece uma direção aberta. Além disso, a estimativa de CVaR atual depende de uma aproximação normal; trabalhos futuros sugerem o uso de estimadores não paramétricos ou de teoria de valor extremo para distribuições de cauda pesada (fat-tailed). O artigo conclui que, embora o framework aborde três das quatro lacunas de pesquisa identificadas, a quarta (validação de negociação ao vivo em tempo real) é parcialmente abordada, mas requer prova empírica adicional.