Using Machine Learning to Forecast Market Direction with Efficient Frontier Coefficients

1. Il Problema

La Teoria Moderna del Portafoglio (MPT) di Markowitz si basa sull'ottimizzazione media-varianza per allocare i pesi del portafoglio. Tuttavia, questo approccio soffre di due limitazioni fondamentali:

1. Assunzione di Stazionarietà: Il modello assume che i rendimenti attesi e le covarianze future siano identici ai dati storici, il che raramente è vero nei mercati reali non stazionari.
2. Sensibilità al Vettore dei Rendimenti: L'ottimizzazione è estremamente sensibile agli errori di stima del vettore dei rendimenti attesi ($\mathbf{r}$). Poiché l'autocorrelazione dei rendimenti è spesso insignificante, stimare questi valori con precisione è difficile.

I modelli esistenti, come quello di Black-Litterman, tentano di mitigare questi problemi ma richiedono input complessi (visioni degli investitori, matrici di confidenza) che sono difficili da quantificare e interpretare. Allo stesso tempo, i modelli di Machine Learning (ML) tradizionali per la previsione dei mercati si basano spesso su indicatori tecnici o fondamentali, utilizzando modelli "scatola nera" (come reti neurali o SVM) che offrono poca interpretabilità.

2. Metodologia

Gli autori propongono un framework ibrido che combina la teoria dei portafogli con l'apprendimento automatico per migliorare la stima dei rendimenti. Il processo si articola in tre fasi principali:

A. Feature Engineering: Coefficienti della Frontiera Efficiente

Invece di utilizzare indicatori tecnici, il modello utilizza come feature i coefficienti funzionali della frontiera efficiente, derivati dalla teoria dei portafogli. Merton (1972) ha dimostrato che la frontiera efficiente può essere espressa come un polinomio di secondo ordine. Gli autori utilizzano una parametrizzazione più interpretabile (Alexander e Scherer, 2023) composta da tre coefficienti calcolati mensilmente:

• $r_{mvp}$: Il rendimento del portafoglio a varianza minima (Minimum Variance Portfolio).
• $\sigma_{mvp}$: La deviazione standard del portafoglio a varianza minima.
• $u$: Il coefficiente di curvatura (utilità), che misura il valore della diversificazione e la dispersione dei rendimenti nello spazio delle covarianze.

Questi tre coefficienti catturano l'informazione di tutti i costituenti del mercato in un dato periodo.

B. Previsione Direzionale con CART Online

• Modello: Viene utilizzato un albero di decisione di classificazione e regressione (CART) per prevedere la direzione del mercato (risalita o discesa) per il mese successivo.
• Input: I coefficienti della frontiera efficiente con un lag di un mese.
• Addestramento: Il modello è addestrato in modo "online" (ricorrente). Ogni mese, l'albero viene ri-addestrato sui dati disponibili fino a quel momento.
• Validazione: Per evitare l'overfitting e il bias di look-ahead, viene utilizzata una time-series split a 5 fold. La profondità dell'albero è limitata a 1 o 2 per garantire l'interpretabilità e ridurre il rischio di overfitting.
• Pesatura: Vengono assegnati pesi ai campioni basati sul valore assoluto del rendimento per compensare la perdita di informazione dovuta alla binarizzazione (su/giù).

C. Integrazione nell'Ottimizzazione del Portafoglio

Una volta ottenuta la previsione direzionale ($\hat{p}$), questa viene integrata nel framework di ottimizzazione per stimare il vettore dei rendimenti attesi:

1. CAPM Condizionale: Si utilizza il Capital Asset Pricing Model per tradurre la previsione del mercato in previsioni per i singoli asset.
2. Rapporto di Mills Inverso: Per calcolare l'aspettativa condizionata dei rendimenti del mercato dato che il mercato salirà o scenderà, si utilizza una generalizzazione del rapporto di Mills inverso (assumendo una distribuzione normale troncata).
3. Stima Finale dei Rendimenti: Il vettore dei rendimenti attesi per l'ottimizzazione è una combinazione ponderata tra l'aspettativa condizionata (basata sulla previsione ML) e il rendimento storico, pesata dal $R^2$ della regressione CAPM di ciascun asset.
4. Portafoglio di Tangenza: Con questo vettore di rendimenti migliorato, si calcola il portafoglio di tangenza (che massimizza il rapporto di Sharpe) permettendo anche lo short selling, ma con vincoli di leva finanziaria (esposizione lorda max 1.5x) e costi di transazione (1%).

3. Contributi Chiave

1. Nuovo Set di Feature: Introduzione dei coefficienti della frontiera efficiente ($r_{mvp}, \sigma_{mvp}, u$) come predictor per l'apprendimento automatico, offrendo un ponte diretto tra teoria finanziaria e ML.
2. Framework Ibrido Interpretabile: Un metodo per integrare previsioni direzionali in un'ottimizzazione mean-variance senza richiedere input soggettivi complessi (come nel modello Black-Litterman), mantenendo l'interpretabilità grazie all'uso di un albero decisionale semplice.
3. Validazione Empirica: Dimostrazione che una struttura ad albero definita dai coefficienti della frontiera efficiente può descrivere efficacemente la direzione dei rendimenti di mercato.

4. Risultati Empirici

Lo studio è stato testato su 9 ETF dei settori dell'S&P 500 dal 1999 al 2022.

• Periodo di Test: Il modello è stato addestrato su dati 1999-2007 e testato out-of-sample dal 2008 al 2022.
• Confronto: Il modello proposto è stato confrontato con:
  • Portafoglio di tangenza standard (rebilanciato mensilmente).
  • Portafoglio a pesi uguali (Equal-weighted).
  • S&P 500.
  • Modelli CART basati su indicatori tecnici e fattori Fama-French.
• Performance:
  • Il modello basato sui coefficienti della frontiera efficiente ha superato tutti i benchmark in termini di Rapporto di Sharpe, rendimento annuale e drawdown massimo.
  • Ha mostrato un Alpha statisticamente significativo rispetto ai tre benchmark.
  • Nel confronto delle metriche di classificazione, il modello ha ottenuto una precisione, un richiamo e un valore predittivo negativo (NPV) superiori rispetto ai modelli basati su indicatori tecnici o fattori Fama-French (che hanno mostrato un NPV inferiore a 0.5, peggio del caso nel prevedere i mercati in calo).

5. Significatività e Conclusioni

Il lavoro dimostra che è possibile rilassare l'assunzione di stazionarietà della MPT fornendo stime migliori del vettore dei rendimenti attesi, basate su previsioni direzionali del mercato derivate dalla struttura stessa della frontiera efficiente.

• Robustezza: Il metodo è più robusto del modello mean-variance standard perché il vettore dei rendimenti è "aggiornato" dinamicamente dalle previsioni di mercato.
• Interpretabilità: A differenza delle "scatole nere" del deep learning, l'approccio CART permette di analizzare visivamente come i coefficienti della frontiera influenzano la previsione.
• Implicazioni Teoriche: Suggerisce che la struttura dei rendimenti direzionali del mercato segue una logica ad albero definita dai parametri di ottimizzazione del portafoglio.

Il documento conclude che, sebbene i risultati siano promettenti, futuri studi dovrebbero testare il modello su altri set di asset e valutare combinazioni di feature (tecniche + frontiera efficiente) o modelli di classificazione più sofisticati.