Laplace Approximation for Bayesian Tensor Network Kernel Machines

1. Enunciato del Problema

I sistemi di apprendimento automatico richiedono una stima dell'incertezza (UE) robusta per gestire input ambigui, dati fuori distribuzione e caratteristiche rumorose. Sebbene i Processi Gaussiani (GP) forniscano framework probabilistici fondati per l'UE, la loro complessità computazionale scala cubicamente ($O(N^3)$) con il numero di punti dati, limitandoli a dataset di piccole e medie dimensioni.

Al contrario, le Macchine a Kernel di Reti Tensoriali (TNKM) offrono un'alternativa scalabile parametrizzando i pesi del modello come reti tensoriali (nello specifico, la Decomposizione Polare Canonica, o CPD). Questo riduce il numero di parametri da esponenziale a lineare rispetto alla dimensione di input. Tuttavia, le TNKM standard si basano tipicamente sulla stima Massima a Posteriori (MAP). La struttura non lineare e multilineare delle reti tensoriali rompe l'assunzione di gaussianità necessaria per l'inferenza bayesiana in forma chiusa, rendendo difficile derivare stime di incertezza fondate senza ricorrere a metodi di campionamento costosi (come MCMC) o inferenza variazionale complessa.

La Domanda Chiave: Come possono le Macchine a Kernel di Reti Tensoriali fornire stime di incertezza fondate e scalabili paragonabili ai GP o alle Reti Neurali Bayesiane (BNN)?

2. Metodologia: LA-TNKM

Gli autori propongono LA-TNKM (Laplace Approximation Tensor Network Kernel Machine), un framework che unisce l'inferenza variazionale con un'approssimazione di Laplace (linearizzata) per eseguire un'inferenza bayesiana trattabile sulle reti tensoriali.

Componenti Chiave:

1. Formulazione del Modello:

   • Il modello è definito come $f(x) = \phi(x)^T w$, dove le caratteristiche $\phi(x)$ hanno una struttura di prodotto tensoriale e i pesi $w$ sono rappresentati come una rete tensoriale CPD.
   • Si assume una verosimiglianza gaussiana e una prior gaussiana sui parametri.

2. Approssimazione di Laplace:

   • Invece di integrare sulla posterior ad alta dimensionalità (intrattabile), gli autori approssimano la distribuzione posterior $p(v|D)$ con una distribuzione gaussiana centrata sulla stima MAP $v^*$:
     $$q(v) = \mathcal{N}(v | v^*, H_{v^*}^{-1})$$
   • Qui, $H_{v^*}$ è la matrice Hessiana della funzione di perdita valutata all'ottimo.

3. Approssimazioni dell'Hessiana:
   Calcolare l'Hessiana completa per le reti tensoriali è oneroso in termini di memoria. Il paper valuta sistematicamente cinque strategie di approssimazione per bilanciare memoria e accuratezza:

   • Hessiana Completa: Esatta ma computazionalmente costosa ($O((DIR)^2)$).
   • Generalized Gauss-Newton (GGN): Approssimazione semidefinita positiva, spesso utilizzata nelle BNN.
   • Blocco-Diagonale: Assume indipendenza tra i core CPD (analogo ai livelli nelle BNN).
   • Diagonale: Assume che tutti i pesi siano indipendenti (mean-field).
   • Ultimo Core: Applica l'inferenza bayesiana solo all'ultimo core CPD, trattando i core precedenti come fissi. Questo si è dimostrato altamente efficiente ($O(I^2R^2)$) ed efficace.

4. Approssimazione di Laplace Linearizzata (LLA):

   • Gli autori affrontano la discrepanza tra il modello non lineare e la posterior gaussiana linearizzando la funzione del modello $f(x, v)$ attorno a $v^*$.
   • Ciò permette di calcolare la distribuzione predittiva in modo analitico utilizzando il modello linearizzato, migliorando significativamente le prestazioni predittive (Negative Log-Likelihood) rispetto all'approssimazione di Laplace non linearizzata.

5. Troncamento degli Autovalori:

   • Per gestire Hessiane mal condizionate (dove gli autovalori sono vicini a zero o negativi), gli autori applicano una decomposizione agli autovalori troncata. Un iperparametro $\hat{t}$ viene ottimizzato tramite validazione incrociata per filtrare gli autovalori piccoli, impedendo che la varianza predittiva esploda.

3. Contributi Chiave

• Nuovo Framework (LA-TNKM): Introduzione della prima Macchina a Kernel di Reti Tensoriali Bayesiana che abilita previsioni consapevoli dell'incertezza mantenendo costi computazionali paragonabili alle TNKM standard basate su MAP.
• Analisi Sistematica dell'Hessiana: Un confronto completo delle tecniche di approssimazione dell'Hessiana (Completa, GGN, Blocco, Diagonale, Ultimo Core) nel contesto delle reti tensoriali, fornendo linee guida sull'uso della memoria e sulle prestazioni predittive.
• Strategia di Linearizzazione: Dimostrazione che linearizzare la funzione di previsione (LLA) è cruciale per ottenere stime di incertezza di alta qualità nelle reti tensoriali, allineandosi con recenti scoperte nelle BNN.
• Validazione Empirica: Esperimenti estesi che mostrano come LA-TNKM eguagli o superi i GP e le BNN su diversi compiti di regressione.

4. Risultati Sperimentali

Il metodo è stato valutato su nove dataset di regressione UCI e su un compito di regressione cubica sintetica ($y = x^3 + \epsilon$).

• Prestazioni vs. Baseline:

  • LA-TNKM (in particolare utilizzando l'approssimazione Ultimo Core) ha costantemente ottenuto il Negative Log-Likelihood (NLL) più basso su 4 dataset su 9 e ha performato in modo competitivo sul resto.
  • Ha superato le BNN standard (Bayes-by-Backprop, Variational Dropout) e altri metodi basati su tensori (MF-BTN, SP-BTN).
  • In termini di Calibrazione dell'Incertezza (misurata tramite ECP-95 e Relative Calibration Error), LA-TNKM ha prodotto intervalli più netti (WCPI-95 più basso) e meglio calibrati rispetto alle BNN, avvicinandosi al comportamento dei Processi Gaussiani.

• Risultati sui Dati Sintetici:

  • Sul compito sintetic $x^3$, LA-TNKM ha catturato con successo l'incertezza nelle regioni con dati sparsi, mentre SP-BTN tendeva a sovrastimare la varianza (intervalli eccessivamente ampi) e LA-BNN mostrava segni di disallineamento del modello durante l'estrapolazione.

• Studi di Ablazione:

  • Linearizzazione: L'Approssimazione di Laplace Linearizzata (LLA) ha costantemente superato l'approssimazione di Laplace standard in termini di NLL.
  • Scelta dell'Hessiana: Sebbene l'approssimazione "Ultimo Core" fosse la più efficiente in termini di memoria e generalmente performasse meglio, la scelta ottimale si è rivelata dipendente dai dati. Tuttavia, "Ultimo Core" e "Blocco-Diagonale" hanno offerto il miglior compromesso tra efficienza e accuratezza.

5. Significato e Conclusione

Questo lavoro colma il divario tra la scalabilità delle Reti Tensoriali e la robustezza dell'Inferenza Bayesiana.

• Scalabilità: Utilizzando decomposizioni tensoriali e approssimazioni efficienti dell'Hessiana, LA-TNKM evita il collo di bottiglia $O(N^3)$ dei GP, rendendo fattibile una stima dell'incertezza fondata per dataset più grandi e input di dimensioni superiori.
• Praticità: Il metodo fornisce un livello probabilistico "plug-and-play" per le architetture esistenti di reti tensoriali senza richiedere campionamento complesso o famiglie variazionali.
• Impatto Futuro: I risultati suggeriscono che per molti compiti di regressione, un trattamento bayesiano localizzato (es. Ultimo Core) combinato con la linearizzazione è sufficiente per ottenere una quantificazione dell'incertezza all'avanguardia, offrendo un'alternativa computazionalmente efficiente sia ai GP che alle BNN complete.

In sintesi, LA-TNKM dimostra che le macchine a kernel di reti tensoriali possono essere efficacemente bayesiane, offrendo un approccio scalabile, robusto e fondato alla stima dell'incertezza nel moderno apprendimento automatico.