Efficient Gaussian process learning via subspace projections

Riepilogo Tecnico: Apprendimento Efficiente di Processi Gaussiani tramite Proiezioni di Sottospazio

Definizione del Problema
I Processi Gaussiani (GP) sono un approccio standard per l'analisi delle serie temporali, particolarmente in scenari che coinvolgono campionamento irregolare, dati mancanti e quantificazione dell'incertezza. Tuttavia, l'addestramento esatto dei GP tramite la massima verosimiglianza (ML) comporta un costo computazionale di $O(n^3)$, rendendolo impraticabile per dataset che superano i poche migliaia di punti. Sebbene i metodi GP sparsi, come l'approccio della Energia Libera Variazionale (VFE) utilizzando variabili inducenti, riducano la complessità a $O(nm^2)$, essi introducono specifici svantaggi:

1. Bias: Spesso producono stime dei parametri iper-parametri distorte (ad esempio, il VFE tende a sovrastimare la varianza del rumore, mentre il FITC la sottostima) a causa della scelta ristretta della distribuzione variazionale approssimante.
2. Efficienza Asintotica: La loro superiorità computazionale si realizza solo asintoticamente (per $n$ sufficientemente grande), e la funzione di perdita di addestramento implica operazioni complesse (molteplici decomposizioni di Cholesky) che possono richiedere più step di ottimizzazione per convergere.

Gli autori identificano la necessità di un metodo di addestramento che bilanci l'efficienza computazionale con l'accuratezza per dataset moderatamente grandi, evitando i bias inerenti alle attuali approssimazioni sparse.

Metodologia: Verosimiglianza Proiettata (PL)
Il documento propone un nuovo obiettivo di addestramento denominato Verosimiglianza Proiettata (Projected Likelihood - PL). Invece di approssimare la distribuzione a posteriori tramite variabili inducenti, la PL costruisce un GP surrogato su una proiezione lineare a bassa dimensionalità dei dati.

• Meccanismo di Proiezione: Il vettore di osservazione $n$-dimensionale $y$ viene proiettato su $k$ direzioni ($k \ll n$) definite da vettori $\omega_1, \dots, \omega_k$ sulla sfera unitaria $S^{n-1}$. Ciò produce un vettore compresso a $k$ dimensioni $z = \Omega^\top y$.
• Obiettivo di Addestramento: L'addestramento minimizza la log-verosimiglianza negativa (NLL) di questi dati proiettati. La funzione obiettivo risultante, $L_{PL}(\theta)$, ha un costo computazionale di $O(kn^2)$.
• Analisi della Perdita di Informazione: Gli autori derivano un'espressione in forma chiusa per la perdita di informazione di Fisher derivante dall'uso di PL rispetto alla ML esatta. Dimostrano che tale perdita è quadratica nella covarianza condizionale $\Sigma_{Y|Z}$.
  • Insight Teorico: Le direzioni di proiezione ottimali corrispondono ai primi $k$ autovettori della matrice di covarianza $K_x$. Poiché questi sono ignoti prima dell'addestramento, gli autori valutano sperimentalmente diverse strategie di proiezione casuale.
  • Risultato Empirico: Tra varie strutture di proiezione (One-hot, Localizzata, Repulsiva e Sferica), le proiezioni casuali uniformemente distribuite sulla sfera unitaria (Sferica) sono state trovate efficaci nel minimizzare la traccia della covarianza residua $\Sigma_{Y|Z}$, riducendo così la perdita di informazione.

Contributi Chiave

1. Nuovo Obiettivo: Introduzione della Verosimiglianza Proiettata (PL) come obiettivo di addestramento basato su proiezioni lineari a bassa dimensionalità anziché su variabili inducenti.
2. Quantificazione Teorica: Una derivazione della perdita di informazione associata alla PL, dimostrando che può essere minimizzata tramite proiezioni casuali sulla sfera unitaria.
3. Trade-off tra Efficienza e Accuratezza: Il documento dimostra che, sebbene la PL abbia una complessità teorica di $O(kn^2)$ (che appare superiore a $O(nm^2)$ dei GP sparsi per piccoli $m$), essa è empiricamente più efficiente. Ciò accade perché la PL richiede significativamente meno step di ottimizzazione per convergere rispetto al VFE, che spesso fatica con una funzione di perdita più complessa.
4. Riduzione del Bias: A differenza del VFE, noto per distorcere le stime dei parametri iper-parametri (specificamente la varianza del rumore), la PL raggiunge soluzioni più vicine alla baseline della ML esatta.

Risultati Sperimentali
Gli autori hanno validato la PL rispetto a VFE e ML esatta attraverso dataset sintetici e reali (Sunspots e Neonatal EEG) utilizzando vari kernel (SE, Laplace, RQ, LocPer) e ottimizzatori (BFGS, Adam).

• Velocità di Ottimizzazione: In esperimenti con 1.000 campioni, la PL ha ottenuto una NLL più vicina alla baseline della ML esatta rispetto al VFE, richiedendo al contempo meno iterazioni. Ad esempio, con l'ottimizzatore Adam, la PL ha impiegato 0,574 secondi rispetto a 1,57 secondi per il VFE.
• Scalabilità: Per dataset compresi tra 500 e 4.000 punti, la PL ha raggiunto la NLL target più velocemente del VFE per $n < 3000$. All'aumentare di $n$, il divario di prestazioni si è ridotto, ma la PL ha mantenuto un'accuratezza superiore o comparabile.
• Performance nel Mondo Reale: Sul dataset Sunspot (3.319 punti) e sul dataset EEG (8.000 punti di addestramento), la PL ha costantemente superato il VFE in termini di accuratezza (NLL o RMSE più bassi) in tutti i kernel testati. Sebbene i tempi computazionali siano diventati simili per dataset molto grandi, la PL ha mantenuto un chiaro vantaggio in termini di accuratezza.
• Stima della Varianza: Le stime della varianza a posteriori della PL sono rimaste più vicine alla stima ML, mentre il VFE tendeva a sovrastimare la varianza.

Significatività e Rivendicazioni
Il documento sostiene che il metodo PL offra un'alternativa competitiva ai GP sparsi per dataset di medie dimensioni (fino a 8.000 punti). La sua principale significatività risiede nel dimostrare che rappresentazioni compresse dei dati possono essere sfruttate nell'apprendimento dei GP per scartare le ridondanze naturali nelle serie temporali senza sacrificare significativamente l'accuratezza dell'apprendimento.

Fondamentalmente, gli autori sostengono che la valutazione dei metodi di approssimazione della verosimiglianza non debba basarsi esclusivamente sul costo computazionale di una singola valutazione della perdita (ad esempio, $O(nm^2)$ vs $O(kn^2)$), ma debba considerare anche la complessità del panorama della funzione di perdita (loss landscape). La capacità della PL di convergere in meno step la rende praticamente più efficiente rispetto al VFE, nonostante la complessità teorica del suo obiettivo. Lo studio valida che le proiezioni casuali sulla sfera unitaria forniscono un meccanismo robusto e a basso overhead per approssimare la verosimiglianza esatta del GP.