Portfolio Optimization Proxies under Label Scarcity and Regime Shifts via Bayesian and Deterministic Students under Semi-Supervised Sandwich Training

Questo articolo propone un framework di ottimizzazione di portafoglio basato sull'apprendimento teacher-studente che, sfruttando dati sintetici e modelli bayesiani o deterministici, supera i limiti della scarsità di dati e dell'incertezza dei regimi di mercato, ottenendo risultati competitivi e una maggiore robustezza rispetto agli ottimizzatori CVaR tradizionali.

L'essenziale

Immagina di dover gestire un grande giardino (il tuo portafoglio di investimenti) pieno di diverse piante (azioni, obbligazioni, materie prime). Il tuo obiettivo è far crescere tutte le piante in modo sano, evitando che una tempesta improvvisa le distrugga tutte.

Il problema è che il meteo (il mercato) cambia continuamente e spesso in modo imprevedibile. Inoltre, hai pochissimi dati storici su come le piante hanno reagito a tempeste specifiche.

Ecco come gli autori di questo studio hanno risolto il problema, usando un approccio che chiamiamo "Il Maestro, l'Apprendista e la Salsiccia".

1. Il Problema: La Scarsità di Dati e il Meteo che Cambia

Nella finanza classica, si cerca di prevedere il futuro guardando solo il passato. Ma è come cercare di guidare un'auto guardando solo lo specchietto retrovisore: se arriva una curva stretta o una nebbia improvvisa (una crisi di mercato), il metodo classico si blocca.
Inoltre, abbiamo pochi dati "etichettati" (situazioni reali di crisi) per addestrare un'intelligenza artificiale. È come voler imparare a nuotare in un oceano tempestoso avendo visto solo una foto di un'onda.

2. La Soluzione: Il "Maestro" e l'"Apprendista"

Gli autori creano un sistema a due livelli, come un maestro che insegna a un apprendista:

• Il Maestro (L'Optimizzatore CVaR): È un computer molto intelligente ma rigido. Il suo unico compito è calcolare matematicamente come proteggere il giardino dalle peggiori tempeste possibili (il rischio di coda). Non è perfetto, ma è molto attento al pericolo.
• L'Apprendista (La Rete Neurale Bayesiana): È un modello di intelligenza artificiale più flessibile. Il suo compito non è solo copiare il Maestro, ma imparare il suo "senso comune". Deve capire perché il Maestro fa certe scelte, non solo cosa fa.

3. Il Trucco Magico: La "Salsiccia" (Sandwich Training)

Qui entra in gioco la parte più creativa. Come si addestra l'Apprendista se non abbiamo abbastanza dati reali?
Gli autori usano un metodo chiamato "Training a Salsiccia" (Sandwich Training):

1. Prima fetta di pane (Dati Reali): L'Apprendista guarda i pochi dati reali che abbiamo e impara a imitare il Maestro.
2. La carne (Dati Sintetici): Poiché i dati reali sono pochi, creano un "universo parallelo" di dati finti ma realistici. Immagina di creare migliaia di tempeste virtuali usando un generatore di meteo computerizzato. L'Apprendista si allena su queste tempeste virtuali per imparare a gestire il caos senza farsi prendere dal panico.
3. Seconda fetta di pane (Ancoraggio): Alla fine, tornano ai dati reali per assicurarsi che l'Apprendista non abbia imparato cose strane dai dati finti e sia pronto per la realtà.

4. La Magia Nascosta: L'Apprendista "Bayesiano"

C'è una differenza fondamentale tra un normale apprendista (Deterministico) e quello Bayesiano usato in questo studio.

• L'apprendista normale è sicuro di sé. Se vede un segnale, agisce subito, anche se è un po' confuso. Questo porta a comprare e vendere troppo spesso (costi di transazione alti).
• L'apprendista Bayesiano è umile. Quando non è sicuro, lo ammette. Invece di fare un cambio drastico, dice: "Forse è meglio aspettare".
  • Il risultato? L'Apprendista Bayesiano fa meno operazioni inutili. Risparmia soldi sulle commissioni di trading e non va in panico quando il mercato oscilla. È come un giardiniere esperto che sa quando non annaffiare, invece di correre con l'annaffiatoio ogni volta che vede una nuvola.

5. La Sorpresa: Il Paradosso dell'Alta Volatilità

Il risultato più incredibile è stato scoperto quando hanno testato l'Apprendista su un giardino completamente diverso (un nuovo set di piante) rispetto a quello su cui si era allenato.
Ci si aspetterebbe che l'Apprendista fallisse. Invece, nelle tempeste più forti, è diventato ancora meglio!
Perché? Perché invece di imparare a gestire singole piante specifiche, ha imparato i principi generali di sopravvivenza (es: "quando c'è il vento forte, spostati verso le piante robuste"). Quando ha visto un nuovo giardino con piante diverse, ha saputo applicare queste regole generali e proteggersi meglio di chiunque altro.

In Sintesi: Cosa abbiamo imparato?

1. Non serve avere tutti i dati: Puoi insegnare a un'intelligenza artificiale a gestire il rischio anche con pochi dati reali, creando scenari virtuali realistici.
2. L'umiltà paga: Un modello che sa quando non è sicuro (Bayesiano) fa meno errori costosi e si muove meno freneticamente rispetto a uno che è sempre troppo sicuro di sé.
3. Imparare le regole, non i trucchi: Se insegni a un sistema a capire la logica della protezione dal rischio, questo sistema funzionerà bene anche in situazioni nuove e mai viste prima, specialmente quando il mercato va nel caos.

L'analogia finale:
Immagina di insegnare a un pilota a volare.

• Il metodo classico gli dà un manuale rigido.
• Il metodo ML normale gli fa memorizzare ogni singola curva di un aeroporto.
• Questo nuovo metodo (Bayesiano + Salsiccia) gli fa vivere migliaia di tempeste virtuali in un simulatore, insegnandogli a sentire l'aereo e a mantenere la calma quando non è sicuro. Risultato? Quando atterra in un aeroporto che non ha mai visto, durante un temporale, è l'unico che atterra in sicurezza.

Sommario tecnico

Titolo

Ottimizzazione di Portafoglio con Proxie sotto Scarsità di Etichette e Cambi di Regime: Studenti Bayesiani e Deterministici sotto Addestramento "Sandwich" Semi-Supervisionato.

1. Il Problema: Limiti dell'Ottimizzazione Classica e della ML Diretta

L'ottimizzazione di portafoglio tradizionale (es. Markowitz) e le sue evoluzioni basate sul rischio di coda (CVaR - Conditional Value at Risk) affrontano limiti pratici significativi nei mercati reali:

• Ipotesi irrealistiche: Assumono distribuzioni normali e correlazioni lineari, fallendo nel catturare le "code grasse" (fat tails) e le non-linearità durante lo stress di mercato.
• Fragilità stimativa: Piccoli errori nella stima dei rendimenti attesi e della matrice di covarianza portano a grandi variazioni nei pesi del portafoglio.
• Mancanza di adattamento: Gli ottimizzatori classici risolvono il problema in modo indipendente per ogni data di ribilanciamento, senza generalizzare attraverso diversi regimi di mercato.
• Scarsità di dati etichettati: In contesti finanziari, i dati storici di alta qualità sono limitati rispetto alla dimensionalità delle features (problema small-n, high-p).

L'applicazione diretta del Deep Learning (DL) soffre di overfitting su dati scarsi, comportamento imprevedibile durante i cambi di regime e mancanza di quantificazione dell'incertezza.

2. Metodologia Proposta

L'autore propone un framework di apprendimento assistito da machine learning che combina un ottimizzatore classico come "insegnante" e reti neurali come "studenti", utilizzando una strategia di addestramento innovativa.

A. Architettura Teacher-Student

• Teacher (Ottimizzatore CVaR): Un ottimizzatore CVaR risolve il problema di ottimizzazione classica su date etichettate reali per generare i "pesi ottimali" (etichette). Questo fornisce un segnale di supervisione robusto focalizzato sulla minimizzazione del rischio di coda.
• Student (Rete Neurale): Modelli neurali (Deterministici - DNN e Bayesiani - BNN) apprendono a mappare le features di mercato ai pesi del portafoglio, imitando il comportamento del Teacher ma generalizzando la struttura della soluzione.

B. Addestramento "Sandwich" Semi-Supervisionato

Per superare la scarsità di dati etichettati (solo 104 osservazioni reali), il framework utilizza un protocollo di addestramento a tre fasi:

1. Riscaldamento Supervisionato: Il modello apprende dalle 104 coppie reali (features -> pesi CVaR).
2. Fase Alternata (Sandwich): Il modello alterna fasi supervisionate (imitazione del Teacher) e fasi non supervisionate su dati sintetici.
   • Generazione Sintetica: Vengono creati 1.400 scenari di mercato sintetici utilizzando un modello basato su fattori (VAR) con residui modellati tramite t-copula per preservare la dipendenza di coda tra gli asset.
   • Loss Non Supervisionata: Durante le fasi non supervisionate, il modello minimizza il CVaR calcolato direttamente sugli scenari sintetici e una funzione di entropia per la diversificazione, senza etichette reali.
3. Ancoraggio Finale: Una fase finale supervisionata per riallineare il modello alle preferenze di rischio del Teacher.

C. Modelli Bayesiani (BNN)

L'uso di Reti Neurali Bayesiane è centrale. Invece di apprendere parametri puntuali, le BNN apprendono distribuzioni posteriori sui pesi.

• Vantaggio: Forniscono stime di incertezza calibrate. Durante periodi di alta incertezza, la dispersione predittiva aumenta, segnalando al modello di essere più conservativo.
• Regolarizzazione Implicita: L'incertezza a posteriori agisce come un regolarizzatore naturale, riducendo la frequenza di ribilanciamento (turnover) senza penalità esplicite nella funzione di costo.

D. Valutazione e Deployment

Il framework è testato su tre livelli:

1. Stabilità (GRID 3x5): Test su dati sintetici con diversi semi casuali.
2. C2A (In-Distribution): Valutazione su dati reali (2022-2026) con lo stesso universo di asset del training, applicando un protocollo di fine-tuning periodico con reset al checkpoint congelato per evitare il drift.
3. D2A (Cross-Universe): Generalizzazione su un universo di asset completamente diverso (36 ETF US vs 36 asset misti US/India nel training), testando la capacità di trasferire euristiche di rischio.

3. Contributi Chiave

1. Framework Teacher-Student per la Finanza: Prima applicazione del paradigma "optimization-proxy" (usando CVaR come teacher) per l'ottimizzazione di portafoglio, permettendo alle reti neurali di apprendere efficacemente su dati scarsi e con code grasse.
2. Pipeline BNN a Bassa Quantità di Dati: Integrazione di dati sintetici basati su fattori con reti Bayesiane, fornendo stime di incertezza che prevengono l'eccessivo impegno (over-commitment) in condizioni di mercato instabili.
3. Riduzione del Turnover Implicita: Scoperta di una proprietà emergente: i modelli Bayesiani riducono automaticamente il turnover settimanale al 11-14% (circa il 50% in meno rispetto ai modelli deterministici) senza penalità esplicite, abbattendo i costi di transazione.
4. Generalizzazione Gerarchica e "Paradosso HIGHVOL": I modelli addestrati su indici aggregati migliorano le prestazioni (Sharpe ratio +140% / +276%) in regimi ad alta volatilità quando testati su un universo di asset decomposto per fattori (D2A), dimostrando di aver imparato euristiche di difesa trasferibili.

4. Risultati Sperimentali

• Pareto Efficiency: Il modello BNN-S (Bayesian + Sandwich) raggiunge la regione Pareto-ottimale, offrendo un rapporto Sharpe elevato con un CVaR significativamente migliore (riduzione del rischio di coda di ~2.4x) rispetto all'ottimizzazione Media-Varianza classica.
• Superiorità rispetto al Teacher: Gli studenti spesso superano il Teacher CVaR, dimostrando che la distillazione apprende la struttura dell'ottimizzazione del rischio piuttosto che memorizzare soluzioni specifiche.
• Robustezza ai Regimi:
  • In mercati "toro" (bull market), i modelli deterministici (DNN-S) performano meglio.
  • In regimi di stress (alta volatilità, correzioni), i modelli Bayesiani (BNN-S) sono molto più resilienti, mantenendo un Sharpe positivo mentre altri crollano.
• Effetto dei Vincoli: I modelli Bayesiani sono quasi insensibili ai vincoli operativi (turnover cap, costi) nei test in-distribution, mentre i modelli deterministici beneficiano di vincoli esterni per correggere l'overconfidence in scenari out-of-distribution.

5. Significato e Implicazioni

• Per la Ricerca: Dimostra che il paradigma di addestramento "Sandwich" è robusto al domain shift e può essere applicato con successo alla finanza, un dominio non stazionario e con dati scarsi.
• Per la Pratica: Offre una via pratica per costruire politiche di portafoglio consapevoli dell'incertezza e rispettose dei vincoli, adatte al deployment retail. La capacità di ridurre i costi di transazione e gestire i rischi di coda senza complessità computazionale eccessiva è un vantaggio operativo diretto.
• Innovazione Concettuale: Il risultato del "Paradosso HIGHVOL" suggerisce che la generalizzazione in finanza può migliorare quando l'universo target offre strumenti più granulari (ETF settoriali/fattoriali) rispetto all'universo di training, permettendo una migliore decomposizione e gestione del rischio.

In sintesi, il paper presenta un approccio ibrido che supera i limiti sia dell'ottimizzazione classica che del deep learning puro, fornendo un framework robusto per l'allocazione del capitale in ambienti di dati limitati e mercati instabili.