Mean--Variance Portfolio Selection by Continuous-Time Reinforcement Learning: Algorithms, Regret Analysis, and Empirical Study

1. Problema Investigado

O artigo aborda o problema de seleção de carteiras (alocação de ativos) com horizonte finito em mercados de negociação contínua, onde o investidor busca eficiência no sentido Média-Variância (MV).

• Contexto de Mercado: O mercado é modelado como um processo de difusão (Itô) onde os preços das ações são impulsionados por fatores observáveis (também processos de difusão).
• Desafio Principal: Os coeficientes desses processos (drifts, volatilidades e covariâncias) são desconhecidos. O agente não possui um modelo estatístico preciso da dinâmica de mercado.
• Limitações das Abordagens Tradicionais:
  • Métodos baseados em modelos ("plug-in") exigem a estimativa de parâmetros (médias e covariâncias), o que é notoriamente difícil e sensível a erros de estimação, especialmente para retornos esperados.
  • Estratégias estáticas de Markowitz são ineficientes em ambientes dinâmicos.
  • A literatura existente de Aprendizado por Reforço (RL) para finanças muitas vezes carece de garantias teóricas rigorosas ou é baseada em adaptações ad-hoc de algoritmos genéricos.

O objetivo é desenvolver uma abordagem livre de modelo (model-free) que aprenda a estratégia de investimento ótima diretamente dos dados, sem estimar os parâmetros do mercado, garantindo convergência e desempenho.

---

2. Metodologia e Abordagem

O papel propõe uma estrutura de Aprendizado por Reforço (RL) em Tempo Contínuo, baseada na teoria desenvolvida por Wang et al. (2020) e Jia e Zhou (2022a,b).

2.1. Paradigma Livre de Modelo

Diferente da abordagem tradicional que primeiro estima o modelo e depois otimiza (exploração seguida de exploração), o RL realiza exploração e exploração simultaneamente. O agente interage diretamente com o ambiente desconhecido para aprender a política ótima.

2.2. Políticas Estocásticas e Regularização de Entropia

• Para facilitar a exploração e a diferenciação matemática, a política ótima é tratada como uma distribuição de probabilidade sobre as ações (carteiras), e não apenas um valor determinístico.
• Introduz-se um regularizador de entropia na função objetivo. Isso incentiva a exploração e suaviza o espaço de políticas, permitindo o uso de métodos de gradiente.
• A função objetivo otimizada é uma versão regularizada do problema de variância mínima sujeita a uma restrição de retorno esperado, transformada via multiplicador de Lagrange ($w$).

2.3. Algoritmo Proposto (CTRL)

O artigo desenvolve um algoritmo específico para o ambiente de mercado de Black-Scholes (sem fatores, mas generalizável):

• Avaliação de Política (Critic): Utiliza condições de martingale para estimar a função valor (valor esperado do retorno ajustado ao risco) sem conhecer os parâmetros do mercado.
• Gradiente de Política (Actor): Atualiza os parâmetros da política estocástica para maximizar o retorno esperado ajustado ao risco.
• Atualização do Multiplicador de Lagrange: Ajusta o parâmetro $w$ para garantir que a restrição de retorno esperado seja satisfeita.
• Estrutura Paramétrica: Aproxima-se a função valor e a política usando formas funcionais específicas inspiradas nas soluções teóricas de Black-Scholes (distribuição normal com média afim na riqueza e covariância dependente do tempo).

2.4. Análise Teórica de Arrependimento (Regret)

Um dos pilares do trabalho é a prova teórica de que o algoritmo converge e possui um limite de arrependimento sublinear:

• Definição de Arrependimento: A diferença cumulativa entre o Sharpe Ratio da estratégia ótima (que conhece o mercado) e a estratégia aprendida pelo RL ao longo de $N$ episódios.
• Resultado Teórico: O algoritmo atinge um limite de arrependimento da ordem de $O(\sqrt{N \log N \log \log N})$. Isso garante que, após um período de treinamento suficientemente longo, o algoritmo atinge desempenho quase ótimo, mesmo sem conhecer os parâmetros do mercado.

---

3. Principais Contribuições

1. Abordagem Geral de RL para MV: Adaptação da teoria geral de RL em tempo contínuo para o problema específico de seleção de carteiras média-variância, lidando com a não-consistência temporal inerente ao problema MV através de estratégias pré-comprometidas.
2. Primeira Análise de Arrependimento Sublinear em Tempo Contínuo: O artigo fornece a primeira prova de limite de arrependimento sublinear para um algoritmo livre de modelo em seleção de carteiras média-variância em tempo contínuo. Isso valida teoricamente a eficácia do aprendizado por experiência em vez de estimação de modelo.
3. Algoritmo Específico e Convergência: Desenvolvimento de um algoritmo prático (CTRL) com garantias de convergência para o caso de Black-Scholes, utilizando aproximações funcionais específicas e projeções iterativas para lidar com espaços de parâmetros não limitados.
4. Estudo Empírico Abrangente: Comparação rigorosa com 13 estratégias alternativas (incluindo métodos econométricos clássicos, modelos de fatores, e outros algoritmos de RL como DDPG e PPO) usando dados reais do S&P 500.

---

4. Resultados Empíricos

O estudo foi realizado com dados diários de ações do S&P 500 (período de teste: 2000–2020), utilizando 1990–2000 como período de "burn-in" (pré-treinamento).

4.1. Desempenho Geral

• Retorno e Sharpe Ratio: A estratégia CTRL superou consistentemente todas as outras 13 estratégias em termos de retorno anualizado e Sharpe Ratio.
• Recuperação de Drawdown: O CTRL apresentou o menor tempo de recuperação (RT) após quedas de mercado, sendo particularmente eficaz em mercados voláteis e de baixa (bear markets), como durante a crise financeira de 2008.
• Comparação com Modelos Baseados em Teoria: As versões contínuas de tempo baseadas em modelos (como o modelo clássico de Zhou e Li com estimativa de parâmetros) tiveram desempenho muito inferior, muitas vezes levando à falência (bankruptcy) devido à sensibilidade aos erros de estimação de parâmetros.

4.2. Métricas de Negociação e Exposição

• Baixa Rotatividade (Turnover): O CTRL teve a menor taxa de rotatividade mensal entre todos os métodos, o que implica menores custos de transação.
• Exposição e Alavancagem: Diferente de muitas estratégias baseadas em modelos que geram posições concentradas e alavancagem extrema (levando a falências frequentes), o CTRL manteve uma exposição bruta próxima a 100% (investimento total) e posições individuais moderadas, demonstrando robustez.
• Robustez a Custos de Transação: Mesmo sob custos de transação de 50 bps, o CTRL manteve sua superioridade, enquanto estratégias com alta rotatividade (como modelos preditivos ou outros RL) sofreram degradação significativa.

4.3. Regimes de Mercado

• Mercado de Baixa (2000-2010): O CTRL foi o único método a entregar retornos positivos e o melhor Sharpe Ratio, superando significativamente a estratégia de "comprar e segurar" e a média ponderada igual (Equal Weight).
• Mercado de Alta (2010-2020): O CTRL manteve-se competitivo, superando benchmarks simples e evitando a alavancagem excessiva que caracterizou outros métodos de alto desempenho neste período.

---

5. Significado e Conclusão

O artigo demonstra que a abordagem de "aprender a política ótima sem aprender o modelo" é superior à abordagem tradicional de "estimar o modelo e depois otimizar" no contexto de seleção de carteiras dinâmica.

• Superação da Sensibilidade a Erros: Ao evitar a estimativa direta de médias e covariâncias (que são difíceis de estimar com precisão), o RL elimina a principal fonte de erro e instabilidade dos métodos clássicos de Markowitz.
• Validação Teórica e Prática: A combinação de uma prova teórica de convergência (regret bound) com resultados empíricos robustos em dados reais estabelece um novo padrão para a aplicação de RL em finanças quantitativas.
• Implicação para o Futuro: O trabalho sugere que o futuro da alocação de ativos dinâmica reside em algoritmos que aprendem diretamente da interação com o mercado, em vez de depender de modelos paramétricos fixos, especialmente em ambientes de alta incerteza e volatilidade.

Em resumo, o estudo valida o Aprendizado por Reforço em Tempo Contínuo como uma ferramenta poderosa, teoricamente fundamentada e empiricamente superior para a gestão de carteiras média-variância.