Conformal bandits: bringing statistical validity and reward efficiency under weak arm separability

Sintesi Tecnica: Conformal Bandits

Definizione del Problema
Il documento affronta il problema dei Multi-Armed Bandit (MAB), un paradigma per il processo decisionale sequenziale sotto incertezza, concentrandosi specificamente sul regime di debole separabilità dei bracci (weak arm separability regime). In molte applicazioni reali, come i trattamenti medici, gli interventi di salute digitale e l'allocazione di portafogli finanziari, la differenza tra i premi attesi ($\Delta = \mu^* - \mu$) tra il braccio ottimale e i bracci subottimali è estremamente piccola. Questo regime a "piccolo gap" o a basso rapporto segnale-rumore (SNR) pone sfide significative per le strategie classiche di minimizzazione del regret, come l'Upper Confidence Bound (UCB).

Le politiche UCB tradizionali si basano su assunzioni distributive (ad esempio, premi sub-gaussiani) e garanzie asintotiche derivate da disuguaglianze come quella di Hoeffding. Nei contesti a piccolo gap, questi limiti di confidenza classici diventano spesso instabili o eccessivamente conservativi, portando a un regret cumulativo lineare su orizzonti finiti e a un fallimento nel distinguere efficientemente tra i bracci. Inoltre, la letteratura standard sui bandit trascura ampiamente la validità statistica a campione finito (ovvero la copertura garantita dei premi futuri), concentrandosi quasi esclusivamente sulla minimizzazione del regret.

Metodologia
Gli autori propongono i Conformal Bandits, un framework che integra la Conformal Prediction (CP) nel processo decisionale dei bandit. Questo approccio sostituisce i classici limiti di confidenza dipendenti dalla distribuzione con intervalli di predizione statisticamente validi e a campione finito.

1. Conformal Quantile Regression (CQR): Per gestire l'eteroschedasticità e l'asimmetria nelle distribuzioni dei premi (comuni nella finanza), il framework utilizza la CQR. Ciò comporta:

   • L'adattamento di modelli di quantile condizionale (inferiore e superiore) su un set di addestramento.
   • Il calcolo dei punteggi di conformità (residui) su un set di calibrazione.
   • La costruzione di intervalli di predizione $C_{k,t+1}^{1-\alpha} = [L_{k,t+1}, U_{k,t+1}]$ che garantiscono la copertura marginale $P(Y_{k,t+1} \in C_{k,t+1}^{1-\alpha}) \geq 1-\alpha$ sotto l'unica assunzione di scambiabilità.
   • L'impiego della Adaptive Conformal Inference (ACI) per regolare dinamicamente il livello di mancata copertura $\alpha$, affrontando la violazione della scambiabilità causata dalla natura sequenziale della selezione dei bracci del bandit.

2. Conformal UCB (CP-UCB): La politica più semplice nel framework seleziona il braccio con il più alto limite superiore conforme ($U_{k,t+1}$), preservando il principio dell' "ottimismo di fronte all'incertezza" ma utilizzando intervalli guidati dai dati e indipendenti dalla distribuzione.

3. General CP-Bandit: Gli autori introducono una famiglia flessibile di politiche parametrizzate da un coefficiente di miscelazione $\lambda \in [0, 1]$. Il punteggio di selezione è una combinazione convessa dei limiti conformi superiore e inferiore:
   $$\text{Score}_k = (1-\lambda)U_{k,t+1} + \lambda L_{k,t+1}$$

   • $\lambda = 0$: Completamente ottimista (equivalente a CP-UCB).
   • $\lambda = 1$: Completamente conservativo (regola maximin, focalizzata sul limite inferiore).
   • $0 < \lambda < 1$: Politiche risk-aware che bilanciano il potenziale di rialzo e la protezione dal ribasso. Questa formulazione soddisfa la shift-equivarianza e la dominanza-coerenza.

4. Estensione Regime-Aware: Per l'applicazione di allocazione del portafoglio, il framework viene esteso per gestire la non-stazionarietà. Viene utilizzato un Modello di Markov Nascosto (HMM) per inferire i regimi di mercato (Bull, Neutral, Bear). La politica si adatta dinamicamente:

   • Nei regimi Bull/Neutral: Agisce in modo ottimistico (selezionando in base ai limiti superiori).
   • Nei regimi Bear: Agisce in modo difensivo (selezionando in base ai limiti inferiori per minimizzare il rischio di ribasso).

Contributi Chiave

1. Integrazione del Framework: L'introduzione dei Conformal Bandits, che colma il divario tra le politiche di bandit per la minimizzazione del regret e la validità statistica a campione finito.
2. Famiglia di Politiche Risk-Aware: Lo sviluppo della famiglia CP-Bandit, che permette un'interpolazione principata tra strategie ottimistiche e conservative tramite il criterio di Hurwicz, offrendo un analogo distribution-free del Value-at-Risk (VaR) nella selezione dei bandit.
3. Performance nel Small-Gap: Dimostrazione che i Conformal Bandits ottengono un regret cumulativo e tassi di selezione del miglior braccio superiori nei regimi a piccolo gap e a basso SNR, dove l'UCB1 classico fallisce (esibendo un regret lineare).
4. Applicazione Finanziaria: Un'applicazione innovativa all'allocazione di portafogli che affronta le sfide specifiche dei mercati finanziari: piccoli gap di premi, non-stazionarietà e necessità di gestione del rischio. L'integrazione degli HMM consente al bandit di adattarsi alle dinamiche di cambio di regime.

Risultati

• Studi di Simulazione: Nelle simulazioni Monte Carlo con premi Gaussiani, Student-t (heavy-tailed) e Skewed Student-t, le varianti di Conformal Bandit (particolarmente con $\lambda=0.5$) hanno costantemente superato il classico UCB1. Hanno ottenuto un regret cumulativo inferiore e una convergenza più rapida verso il braccio ottimale. Fondamentalmente, mentre l'UCB1 produceva intervalli eccessivamente conservativi con una scarsa copertura in scenari heavy-tailed (ad esempio, ottenendo una copertura del 71,42% rispetto al target nominale dell'80% nell'impostazione Student-t specificamente al gap maggiore $\Delta=0,05$), i Conformal Bandits hanno mantenuto le garanzie di copertura nominale fornendo al contempo intervalli più stretti e informativi.
• Caso di Studio sull'Allocazione di Portafoglio: Applicato ai dati giornalieri degli ETF (2018–2025), la politica Regime-Aware CP ha superato significativamente le strategie di bandit stazionarie e i benchmark di portafoglio tradizionali (Equal Weight, Mean-Variance).
  • Ha ottenuto il Total Return più elevato (1,54 contro 0,62 per CP-UCB) e lo Sharpe Ratio più alto (1,80 contro 0,60).
  • Ha dimostrato una gestione del rischio superiore, con il Maximum Drawdown più basso (0,086 contro 0,259) e il Calmar Ratio più alto (1,66 contro 0,27).
  • Il meccanismo regime-aware è riuscito a passare a una strategia "Sell-All" (cash) durante gli episodi di mercato Bear, mitigando le perdite che le politiche stazionarie non sono riuscite a evitare.

Significatività e Rivendicazioni
Il documento sostiene che i Conformal Bandits offrono una soluzione robusta per il processo decisionale sequenziale in ambienti caratterizzati da debole separabilità dei bracci e distribuzioni di premi complesse e non standard. Sostituendo i limiti di confidenza dipendenti dal modello con intervalli di predizione indipendenti dalla distribuzione, il framework fornisce garanzie di copertura a campione finito senza sacrificare l'efficienza del regret.

Gli autori sottolineano che questo approccio è particolarmente prezioso in domini come la finanza e la sanità, dove piccole differenze negli esiti attesi sono critiche e dove le assunzioni classiche (normalità, stazionarietà) spesso falliscono. L'integrazione di modelli di cambio di regime dimostra ulteriormente la capacità del framework di adattarsi ai cambiamenti strutturali, migliorando i rendimenti corretti per il rischio e mantenendo una rigorosa quantificazione dell'incertezza. Il lavoro suggerisce una strada verso l'unificazione della validità statistica con l'efficienza decisionale nel apprendimento sequenziale.