Compressed Bayesian Tensor Regression

Sintesi Tecnica: Regressione Tensoriale Bayesiana Compressa

Definizione del Problema
I modelli di regressione tensoriale sono diventati essenziali per l'apprendimento statistico su dati multidimensionali in vari campi. Tuttavia, questi modelli affrontano severe restrizioni computazionali quando si tratta di covariate tensoriali ad alta dimensionalità. Le tecniche tradizionali di riduzione della dimensionalità, come l'Analisi delle Componenti Principali (PCA) o l'analisi fattoriale, spesso soffrono di costi computazionali che aumentano esponenzialmente con le dimensioni dei dati. Inoltre, quando il numero di covariate è sufficientemente elevato, l'estrazione ottimale dei fattori diventa impraticabile. Esiste una critica necessità di metodi che possano ridurre la dimensionalità dei predittori tensoriali preservandone il potere esplicativo e l'informazione strutturale, il tutto all'interno di un framework bayesiano computazionalmente efficiente.

Metodologia
Gli autori introducono la Regressione Tensoriale Bayesiana Compressa (CBTR), un framework che integra una Proiezione Casuale Tensoriale Generalizzata (GTRP) con l'inferenza bayesiana.

1. Proiezione Casuale Tensoriale Generalizzata (GTRP):
   Il nucleo del metodo è un operatore di proiezione flessibile che mappa covariate tensoriali ad alta dimensionalità $\mathcal{X} \in \mathbb{R}^{p_1 \times \dots \times p_N}$ in sottospazi a bassa dimensionalità $\mathbb{R}^{q_1 \times \dots \times q_M}$. L'operatore GTRP è definito come:
   $$\text{GTRP}(\mathcal{X}) \coloneqq \mathcal{X} \times_1 H_1 \times_2 \dots \times_R H_R \times_{\{R+1,\dots,N\}}^{\{M-R+1,\dots,M-R+N-R\}} \mathcal{H}$$
   dove $H_m$ sono matrici di proiezione casuale e $\mathcal{H}$ è un tensore di proiezione casuale. Questa formulazione generalizza gli approcci esistenti consentendo:

   • Proiezione per modo (Mode-wise projection): Riduzione della dimensione di specifici modi preservando la struttura tensoriale (ad esempio, $R=M=N$).
   • Proiezione tensoriale (Tensor-wise projection): Contrazione simultanea di più modi per ridurre il numero di modi o le dimensioni (ad esempio, $R=0, M=1$).
   • Proiezione combinata (Combined projection): Un approccio ibrido in cui i primi $R$ modi sono proiettati per modo, e i restanti modi sono proiettati per tensore.
     Le matrici di proiezione sono costruite utilizzando variabili casuali sparse (seguendo Achlioptas, 2003) per migliorare la velocità computazionale.

2. Framework Bayesiano e Prior:
   Il modello assume una relazione lineare $y_j = \mu + \langle \mathcal{B}, \text{GTRP}(\mathcal{X}_j) \rangle + \sigma \varepsilon_j$. Per gestire l'alta dimensionalità del tensore dei coefficienti $\mathcal{B}$, gli autori propongono due specifiche di prior:

   • Prior Gaussiana Indipendente: Una distribuzione tensoriale normale standard.
   • Prior PARAFAC Gerarchica: Una rappresentazione a basso rango $\mathcal{B} = \sum_{d=1}^D \gamma^{(d)}_1 \circ \dots \circ \gamma^{(d)}_N$, che utilizza una struttura gerarchica con parametri di contrazione globale e locale (distribuzioni Inverse Gamma, Gamma, Esponenziale e Dirichlet) per indurre sparsità e ridurre ulteriormente i parametri.

3. Inferenza e Media dei Modelli:

   • Campionamento di Gibbs: È stato sviluppato un campionatore di Gibbs personalizzato per campionare dalla distribuzione a posteriori (posterior) di tutti i parametri (inclusi gli iperparametri nella prior gerarchica), le cui distribuzioni condizionate complete sono derivate in forma chiusa, permettendo un campionamento MCMC efficiente.
   • Media dei Modelli Bayesiani (BMA): Per mitigare la sensibilità dei risultati rispetto alla specifica realizzazione della proiezione casuale, gli autori impiegano la BMA. Vengono generate molteplici proiezioni indipendenti e le loro densità predittive vengono combinate. Le costanti di normalizzazione richieste per la BMA sono stimate tramite regressione logistica inversa.

Contributi Chiave
L'articolo apporta cinque contributi primari alla letteratura sulla regressione tensoriale bayesiana e sulle proiezioni casuali:

1. Generalizzazione della Proiezione: Estende i metodi di proiezione tensoriale esistenti (specificamente l'Higher-Order Count Sketch e le proiezioni basate su CP) in un framework generale che supporta un numero arbitrario di modi e consente riduzioni sia per modo che per tensore.
2. Limiti Teorici: Gli autori derivano disuguaglianze di concentrazione per la proposta GTRP. In particolare, utilizzano le proprietà della funzione G di Meijer per stabilire limiti più stretti sulla preservazione delle distanze a coppie (disuguaglianze di tipo Johnson-Lindenstrauss) per le proiezioni per modo, allontanandosi dagli argomenti di iper-contrattività standard utilizzati nella letteratura precedente.
3. Consistenza della Posterior: Il documento fornisce garanzie teoriche per la consistenza della posterior della regressione tensoriale compressa. Dimostra che, sotto specifiche assunzioni riguardanti il tasso di crescita del numero di regressori e le proprietà della proiezione, la distribuzione predittiva del modello compresso converge al vero processo generatore di dati.
4. Inferenza Efficiente: Lo sviluppo di un campionatore di Gibbs trattabile per le prior gerarchiche nel contesto di dati tensoriali compressi.
5. Validazione Empirica: Simulazioni estese e un'applicazione nel mondo reale dimostrano l'efficacia del metodo.

Risultati

• Studi di Simulazione: Gli autori hanno condotto simulazioni variando le dimensioni del tensore, le dimensioni del campione, i livelli di sparsità e i tipi di proiezione.
  • Performance: I modelli compressi hanno costantemente ottenuto migliori previsioni fuori campione rispetto alla regressione tensoriale bayesiana (BTR) standard con prior LASSO o PARAFAC, e hanno spesso superato la BTR con prior Gaussiani in termini di compromesso tra accuratezza e velocità.
  • Tipo di Proiezione: Le proiezioni per modo (specialmente quelle che preservano specifici modi) hanno generalmente superato le proiezioni per tensore, specialmente quando il tensore dei coefficienti sottostante presentava una sparsità strutturale. Le proiezioni per tensore tendevano a mostrare un bias più elevato.
  • Sparsità: È stata individuata una moderata livello di sparsità nella matrice di proiezione (ad esempio, $\psi=3$) come ottimale, bilanciando la preservazione dell'informazione e l'efficienza computazionale.
  • Efficienza Computazionale: I modelli CBTR sono stati circa un ordine di grandezza più veloci dei modelli BTR standard con prior gaussiani, mantenendo al contempo una precisione predittiva competitiva. Il "Punteggio di Efficienza" (definito come $1/(\text{RMSE} \times \text{Tempo})$) è stato significativamente più alto per CBTR.
• Applicazione Empirica: Il metodo è stato applicato per prevedere i rendimenti dell'S&P 500 utilizzando dati finanziari a frequenza mista (volatilità giornaliera dell'olio, tassi di cambio, ecc.) organizzati come un tensore a 3 modi.
  • I modelli CBTR hanno superato la BTR standard nelle previsioni fuori campione (RMSE inferiore).
  • Le proiezioni che preservano i modi (MW(1) e MW(1,2)) hanno fornito le migliori prestazioni di previsione, confermando i risultati delle simulazioni.

Significatività e Rivendicazioni
L'articolo sostiene che la CBTR stabilisca un'alternativa scalabile e teoricamente fondata ai convenzionali metodi di regressione tensoriale. Incorporando le covariate tensoriali ad alta dimensionalità in sottospazi a bassa dimensionalità con una minima perdita di informazione, il metodo affronta la "maledizione della dimensionalità" senza sacrificare l'interpretabilità strutturale dei dati tensoriali.

Gli autori sottolineano che il metodo offre una soluzione praticabile quando l'estrazione ottimale dei fattori è impraticabile a causa del volume enorme di covariate. L'integrazione delle proiezioni casuali con l'inferenza bayesiana, supportata da risultati di consistenza della posterior e disuguaglianze di concentrazione, garantisce che la validità statistica sia mantenuta nonostante la compressione. L'uso della Media dei Modelli Bayesiani contribuisce ulteriormente a rendere l'approccio robusto contro la variabilità introdotta dalle proiezioni casuali.

Il lavoro suggerisce che preservare la struttura tensoriale (tramite proiezioni per modo) è cruciale per mantenere il potere predittivo nei dati strutturati, mentre il framework proposto consente ai professionisti di bilanciare la fattibilità computazionale con l'accuratezza statistica. Le direzioni future menzionate includono lo screening preventivo dei predittori per rimuovere le caratteristiche non informative prima della compressione e l'esplorazione di costrutti di proiezione casuale alternativi (ad esempio, basati su Kronecker o su Tensor Train).