Using Machine Learning to Forecast Market Direction with Efficient Frontier Coefficients

1. O Problema

O artigo aborda uma limitação fundamental da Teoria Moderna de Portfólio (MPT): a suposição de que o mercado é estacionário. Na prática, os retornos esperados e as covariâncias dos ativos mudam ao longo do tempo, o que leva a erros significativos de estimação no modelo de otimização média-variância de Markowitz.

Especificamente, o vetor de retornos esperados é o parâmetro mais sensível e difícil de estimar, pois a autocorrelação dos retornos de ativos é frequentemente insignificante (exceto em alta frequência). Modelos existentes, como o de Black-Litterman, tentam mitigar isso, mas exigem muitas estimativas subjetivas (visões do investidor) e são complexos de interpretar. Além disso, muitos modelos de Machine Learning (ML) focados em previsão de mercado utilizam centenas de indicadores técnicos ou fundamentais, o que pode levar a overfitting (sobreajuste) e falta de interpretabilidade.

2. Metodologia

Os autores propõem uma abordagem híbrida que combina teoria de portfólio clássica com aprendizado de máquina simples e interpretável. O processo segue quatro etapas principais:

A. Engenharia de Atributos (Features): Coeficientes da Fronteira Eficiente

Em vez de usar indicadores técnicos tradicionais, os autores utilizam os coeficientes funcionais da Fronteira Eficiente como conjunto de características (features) para o modelo de ML.
A fronteira eficiente pode ser decomposta em uma função polinomial de segunda ordem de raiz quadrada, definida por três coeficientes interpretáveis:

1. $r_{mvp}$: Retorno do portfólio de variância mínima.
2. $\sigma_{mvp}$: Desvio padrão (risco) do portfólio de variância mínima.
3. $u$: Taxa de curvatura da função de utilidade quadrática da fronteira eficiente.
   • Interpretação de $u$: Medida da importância da diversificação. Um valor mais alto indica que os ativos têm retornos e correlações distintos, oferecendo melhores oportunidades de diversificação. É derivado da distância de Mahalanobis e da similaridade de cosseno ponderada pela covariância.

B. Modelo de Previsão: Árvore de Decisão Online (CART)

• Algoritmo: Utiliza uma Árvore de Classificação e Regressão (CART) para prever a direção do mercado (alta ou baixa) no mês seguinte.
• Dados de Entrada: Os coeficientes da fronteira eficiente com um mês de defasagem (lagged).
• Treinamento: O modelo é treinado mensalmente com uma divisão de série temporal (time-series split) de 5 dobras para evitar viés de olhar para o futuro (look-ahead bias).
• Regularização: Para evitar overfitting, a profundidade máxima da árvore é limitada a 1 ou 2, e pesos de amostra são aplicados com base no valor absoluto do retorno (para compensar a perda de informação ao binarizar os retornos).
• Interpretabilidade: A simplicidade do modelo permite analisar visualmente a árvore de decisão para entender por que uma previsão foi feita.

C. Integração com Otimização de Portfólio

Uma vez que a direção do mercado é prevista, o modelo integra essa previsão na otimização de portfólio:

1. Expectativa Condicional: Calcula-se o retorno esperado do mercado condicional à previsão da direção (positiva ou negativa) usando uma generalização da Razão de Mills Inversa (assumindo uma distribuição normal truncada).
2. CAPM: Aplica-se o Modelo de Precificação de Ativos Financeiros (CAPM) para traduzir a previsão do mercado para os retornos esperados de cada ativo individual ($\beta$).
3. Ajuste de Confiança: Os retornos condicionais são ponderados pelo $R^2$ da regressão de CAPM de cada ativo para lidar com a falha do CAPM em alguns casos.
4. Otimização: O vetor de retornos estimado é usado para calcular o Portfólio de Tangência (que maximiza o Índice de Sharpe) dentro de um framework de otimização média-variância, com restrições de alavancagem (máximo 1.5x) e taxas de transação (1%).

3. Principais Contribuições

1. Novo Conjunto de Atributos: Propõe o uso dos coeficientes da fronteira eficiente ($r_{mvp}, \sigma_{mvp}, u$) como features para ML, oferecendo uma base teórica sólida e interpretável, em contraste com indicadores técnicos "caixa-preta".
2. Framework de Integração: Desenvolve um método robusto para incorporar previsões direcionais de mercado em portfólios de otimização, utilizando expectativas condicionais (Razão de Mills) e CAPM para gerar o vetor de retornos.
3. Interpretabilidade e Robustez: Demonstra que um modelo simples (CART rasa) com poucos atributos teóricos supera modelos complexos e conjuntos de dados massivos, mitigando o risco de overfitting em dados financeiros.

4. Resultados Empíricos

O modelo foi testado com um conjunto de 9 ETFs de setores do S&P 500 cobrindo o período de 1999 a 2022 (com validação out-of-sample de 2008 a 2022).

• Desempenho de Previsão: O modelo baseado nos coeficientes da fronteira eficiente superou as linhas de base (indicadores técnicos e fatores Fama-French) em métricas de classificação, especialmente no Valor Preditivo Negativo (NPV), alcançando 65% (vs. <50% dos baselines), indicando uma capacidade superior de prever quedas de mercado.
• Desempenho do Portfólio:
  • O portfólio proposto superou consistentemente três benchmarks: o Portfólio de Tangência padrão (rebalanceado mensalmente), o portfólio de pesos iguais e o próprio S&P 500.
  • Índice de Sharpe: O modelo proposto alcançou um Índice de Sharpe significativamente mais alto que todos os benchmarks.
  • Alpha: O modelo gerou um alpha estatisticamente significativo em relação aos benchmarks.
  • Drawdown: Apresentou um retorno anual alto em relação ao max drawdown.

5. Significado e Conclusão

O estudo valida a hipótese de que a estrutura direcional dos retornos do mercado pode ser descrita por uma estrutura de árvore definida pelos coeficientes da fronteira eficiente.

A principal implicação teórica é que a decomposição da fronteira eficiente em três parâmetros capturou informações suficientes sobre a dinâmica do mercado para permitir previsões direcionais úteis. Praticamente, o método oferece uma alternativa robusta e interpretável ao modelo Black-Litterman, eliminando a necessidade de estimativas subjetivas complexas do investidor, enquanto melhora a estimativa do vetor de retornos, resultando em alocação de ativos superior e menor risco.

O trabalho sugere que a simplicidade, aliada a fundamentos teóricos sólidos (MPT), pode ser mais eficaz em finanças do que modelos de ML complexos e opacos.