Data-Driven Merton's Strategies via Policy Randomization

1. Definição do Problema

O artigo aborda o clássico problema de maximização da utilidade esperada de Merton em um mercado incompleto, onde os processos de preço das ações e de fatores de mercado (como volatilidade) são observáveis, mas as formas funcionais dos parâmetros do modelo (retornos esperados, volatilidade, correlações) são desconhecidas.

• O Desafio: O método tradicional ("plug-in") envolve estimar os parâmetros do modelo a partir de dados históricos e, em seguida, resolver a equação de Hamilton-Jacobi-Bellman (HJB) para obter a política ótima. No entanto, a estimação de parâmetros como o retorno esperado é notoriamente imprecisa e requer grandes volumes de dados. Além disso, erros de estimação propagam-se e amplificam-se na etapa de otimização, tornando as estratégias resultantes instáveis ou inviáveis.
• A Limitação da Abordagem Atual: Para um investidor pequeno (tomador de preços), a randomização de políticas no Aprendizado por Reforço (RL) é geralmente vista apenas como uma ferramenta de exploração para coletar informações. Como o investidor não afeta o mercado, teoricamente não há necessidade de "explorar" para aprender o ambiente, pois os retornos contrafactuais podem ser calculados sem execução real. O artigo desafia essa visão, propondo que a randomização é uma ferramenta técnica necessária para resolver o problema, e não apenas para exploração.

2. Metodologia

Os autores propõem uma abordagem de Aprendizado por Reforço Contínuo (Continuous-Time RL) baseada na randomização de políticas.

A. Problema Auxiliar e Randomização de Política

Em vez de tentar estimar os parâmetros do mercado, os autores formulam um problema auxiliar onde o agente pode escolher ações (alocação de carteira) seguindo uma distribuição de probabilidade, especificamente uma distribuição Gaussiana:
$$\pi_t \sim \mathcal{N}\left(u(t, w, x), \frac{\lambda}{\gamma \sigma^2(t, x)}\right)$$
Onde:

• $u(t, w, x)$ é a média da política (o que queremos aprender).
• $\lambda$ é um parâmetro de "temperatura" que controla o grau de randomização.
• $\gamma$ é o coeficiente de aversão ao risco.
• $\sigma$ é a volatilidade observável.

B. Teorema Fundamental

O artigo prova um teorema crucial (Teorema 1): A média da política Gaussiana ótima do problema auxiliar coincide exatamente com a política ótima determinística do problema original de Merton.
Isso justifica matematicamente o uso de políticas aleatórias para resolver um problema determinístico. A randomização atua como um regularizador que permite a aplicação de algoritmos de RL.

C. Algoritmos Actor-Critic

Utilizando a estrutura de RL proposta por Wang et al. (2020) e Jia e Zhou (2022), os autores desenvolvem algoritmos Actor-Critic:

1. Critic (Avaliação de Política): Aprende a função de valor associada à política atual.
2. Actor (Melhoria de Política): Atualiza a política para maximizar a utilidade esperada.
   O aprendizado é guiado por condições de ortogonalidade de martingale (Teorema 3), permitindo a atualização dos parâmetros sem conhecer os coeficientes do modelo (método model-free).

D. Trade-off Viés-Variância

Uma contribuição teórica importante é a análise do parâmetro de temperatura $\lambda$.

• Se $\lambda \to 0$ (política determinística), a variância do sinal de aprendizado (gradiente) torna-se infinita, impedindo a convergência do algoritmo.
• Se $\lambda$ for muito alto, introduz-se um viés (perda de eficiência).
• Existe um equilíbrio ótimo onde a randomização reduz a variância do sinal de aprendizado, permitindo que o algoritmo aprenda mesmo com dados limitados.

3. Principais Contribuições

1. Justificativa Teórica para RL em Mercados Eficientes: Demonstra que, mesmo para um investidor pequeno sem impacto de mercado, a randomização de políticas é essencial não para "exploração" informacional, mas como uma ferramenta técnica para estabilizar o sinal de aprendizado e permitir a solução de problemas de controle estocástico contínuo sem estimação de modelo.
2. Algoritmos Model-Free: Desenvolvimento de algoritmos Actor-Critic online e offline que aprendem estratégias ótimas diretamente dos dados de preços e volatilidade, sem estimar retornos esperados ou outros parâmetros latentes.
3. Convergência e Taxas de Erro: Prova a convergência do algoritmo no mercado Black-Scholes, estabelecendo uma taxa de convergência ótima $O(n^{-1} \log n)$ e fornecendo limites de erro para a perda de riqueza equivalente.
4. Robustez em Volatilidade Estocástica: Mostra que o método RL supera o método "plug-in" tradicional, especialmente quando os parâmetros estimados violam condições técnicas necessárias para a existência de soluções analíticas (ex: condições que evitam alavancagem infinita).

4. Resultados

Os autores realizaram estudos de simulação com dados sintéticos e uma análise empírica com dados reais do mercado (S&P 500 e VIX).

A. Simulação (Dados Sintéticos)

• Cenário: Modelo de volatilidade estocástica (modelo 3/2).
• Comparação: RL (com forma paramétrica específica e com Redes Neurais) vs. Método Plug-in (MLE + Solução Analítica) vs. Buy-and-Hold vs. Minimização de Risco Empírico (ERM).
• Resultados:
  • O método RL com forma paramétrica específica superou o método Plug-in e o ERM, alcançando ~97% da utilidade ótima teórica, enquanto o Plug-in atingiu ~95%.
  • O ERM performou mal em conjuntos de dados pequenos.
  • Robustez: Quando a volatilidade observada foi contaminada com ruído, o método Plug-in colapsou (perda de riqueza de 28%), enquanto o RL manteve desempenho robusto (3-4% de perda).

B. Estudo Empírico (Dados Reais: S&P 500 e VIX, 1990-2025)

• Cenário: Alocação dinâmica entre S&P 500 e conta de mercado monetário.
• Resultados:
  • As estratégias RL (especialmente com Redes Neurais) superaram consistentemente o Buy-and-Hold e o método Plug-in em métricas de risco-retorno (Sharpe Ratio, Sortino Ratio, Calmar Ratio).
  • Drawdown Máximo: As estratégias RL sofreram drawdowns significativamente menores (ex: 33,9% vs 56,8% do Buy-and-Hold) durante crises de mercado.
  • Tempo de Recuperação: O RL recuperou-se muito mais rápido das quedas de mercado.
  • Adaptação: O RL ajustou-se mais rapidamente às mudanças de regime de mercado (ex: transição da bolha pontocom para a crise de 2008), reduzindo a exposição ao risco quando necessário, enquanto o método Plug-in, baseado em médias históricas de longo prazo, manteve exposições inadequadas.

5. Significado e Conclusão

O artigo resolve uma questão fundamental na interseção entre finanças e inteligência artificial: por que usar RL em problemas de carteira onde os dados são exógenos?

A conclusão é que a randomização de políticas transcende o conceito de exploração. Ela serve como um mecanismo matemático para transformar um problema de otimização determinística difícil (sensível a erros de estimação) em um problema de aprendizado estocástico tratável.

• Impacto Prático: Oferece uma alternativa viável e superior ao método tradicional de "estimar e otimizar" (plug-in), especialmente em mercados onde os parâmetros são instáveis ou difíceis de estimar.
• Inovação: Estabelece que o RL pode ser aplicado de forma model-free e data-driven para problemas de controle contínuo em finanças, aprendendo diretamente a política ótima sem precisar inferir o modelo subjacente.

Em suma, o trabalho demonstra que a randomização é uma ferramenta técnica poderosa para lidar com a incerteza de modelagem, permitindo que algoritmos de RL aprendam estratégias de investimento robustas e adaptativas que superam os métodos econométricos convencionais.