Sintesi Tecnica: Un'analisi del collasso della distribuzione a posteriori, della parametrizzazione e dell'inizializzazione nei Deep Gaussian Processes

1. Definizione del Problema

I Deep Gaussian Processes (DGP) sono modelli probabilistici gerarchici che concatenano Gaussian Processes (GP) attraverso più strati per catturare complessi pattern di dati non lineari. Tuttavia, l'inferenza bayesiana esatta nei DGP è intrattabile, rendendo necessario l'uso della Inferenza Variazionale (VI), specificamente l'algoritmo Doubly Stochastic Variational Inference (DSVI).

Una sfida critica nell'addestramento dei DGP tramite DSVI è il collasso della distribuzione a posteriori (posterior collapse), un fenomeno in cui la distribuzione a posteriori varia collassa verso la distribuzione a priori. Nel contesto dei DGP, ciò implica che il modello impari a spiegare i dati osservati interamente come rumore, fallendo nel catturare il segnale sottostante.

Il documento identifica che la prevalenza del collasso della distribuzione a posteriori è fortemente legata a due comuni scelte di design nel framework DSVI:

1. L'uso di una funzione media a priori ZERO negli strati interni, inizializzata con medie variazionali impostate a zero ($m=0$).
2. L'inizializzazione dei parametri variazionali, in particolare la covarianza variazionale ($S$) e il parametro di rumore ($\sigma^2$).

Sebbene la comunità abbia ampiamente adottato una funzione media a priori lineare (PCA) negli strati interni per mitigare questi problemi, la credenza prevalente era che tale scelta fosse necessaria per evitare "patologie non iniettive" in DGP molto profondi (dove la mappatura da input a output diventa non iniettiva). Questo articolo mette in discussione tale assunzione, sostenendo che il successo della media a priori PCA non sia dovuto a una necessità architettonica, ma piuttosto al modo in cui essa condiziona il panorama di ottimizzazione all'inizializzazione.

2. Metodologia e Analisi

2.1 Analisi Teorica del Collasso della Distribuzione a Posteriori

Gli autori analizzano la dinamica di addestramento dei DGP all'inizializzazione utilizzando un problema di regressione toy e simulazioni di aggiornamento delle coordinate. Dimostrano che:

• Effetto del Dataset Virtuale: Quando un DGP con una media a priori ZERO viene inizializzato con $m=0$, l'output degli strati interni (che funge da input per lo strato successivo) tende ad essere vicino allo zero per tutti gli input di addestramento. Di conseguenza, lo strato finale vede effettivamente un "dataset virtuale" di coppie $\{(0, y_n)\}$. Poiché l'input per lo strato finale è costante (zero) indipendentemente dall'input originale $x_n$, il modello non può apprendere una mappatura tra $x$ e $y$.
• Patologia di Ottimizzazione: Per massimizzare il termine di Expected Log-Likelihood (ELL) nell'Evidence Lower Bound (ELBO) in queste condizioni, l'ottimizzatore è spinto ad aumentare la varianza del rumore $\sigma^2$ per spiegare i target $y_n$ come puro rumore. Contemporaneamente, il termine di Divergenza di Kullback-Leibler (KLD) viene minimizzato impostando i parametri variazionali per corrispondere alla prior ($m=0, S=K_{ZZ}$), risultando in un collasso della distribuzione a posteriori.
• Ruolo della Media a Priori PCA: Un DGP con una media a priori PCA (dove la media a priori è la funzione identità o una proiezione PCA) inizializza gli output dello strato interno in modo che siano vicini all'input $x_n$. Ciò impedisce al "dataset virtuale" di collassare in un vettore costante zero, permettendo al termine ELL di fornire gradienti significativi per aggiornare i parametri variazionali lontano dalla prior.

2.2 Analisi della Parametrizzazione

Il documento valuta tre comuni parametrizzazioni dei DGP:

1. Standard Non-Whitened: Utilizzata in librerie come GPYTORCH e GPJAX.
2. Whitened (Biancheggiata): Una riparametrizzazione in cui i valori dei punti di induzione sono trasformati per avere media zero e varianza unitaria ($p(v) = \mathcal{N}(0, I)$).
3. Non-Whitened con Media Riparametrizzata: Utilizzata in GPFLOW, dove la media variazionale è definita come la differenza tra la media variazionale e la media a priori ($m_r = m - \mu_Z$).

Risultati Chiave sulla Parametrizzazione:

• Collasso della Distribuzione a Posteriori: Il collasso può verificarsi in tutte le parametrizzazioni se l'inizializzazione porta a un segnale di input nullo nello strato finale. La parametrizzazione stessa non è la causa radice.
• Stabilità di Ottimizzazione: La parametrizzazione whitened fornisce costantemente una convergenza più stabile. Gli autori attribuiscono ciò alla rimozione delle correlazioni indotte dalla prior, che produce gradienti meglio condizionati e un Hessiano meno dipendente dalla posizione dei punti di induzione ($Z$).
• Media Riparametrizzata: La riparametrizzazione di GPFLOW non migliora intrinsecamente la stabilità rispetto alla forma standard non-whitened, ma interagisce con la media a priori PCA per mitigare il collasso in modo più efficace rispetto alla forma standard.

2.3 Strategia di Inizializzazione Proposta

Per affrontare la causa radice (vincoli guidati dall'ottimizzazione) senza forzare una specifica funzione media a priori (che dovrebbe essere dettata dalle assunzioni di modellazione), gli autori propongono uno schema di inizializzazione basato su principi per i DGP con media a priori ZERO.

L'idea centrale è inizializzare i parametri variazionali di un DGP con media a priori ZERO in modo che la sua distribuzione predittiva all'inizializzazione imiti quella di un DGP con media a priori PCA.

• Meccanismo: Gli autori derivano un sistema di equazioni lineari per risolvere le medie variazionali iniziali ($m, m_v, m_r$) affinché la media predittiva nei punti di induzione corrisponda alla funzione identità (o proiezione PCA).
• Inizializzazione dello Strato di Output: La strategia è estesa allo strato di output, inizializzando la media variazionale per predire direttamente i target osservati $y$ nei punti di induzione, invece di partire da zero.
• Lunghezza di Scala del Kernel: Viene proposto un euristica per selezionare la lunghezza di scala iniziale del kernel ($\ell$) minimizzando l'Errore Quadratico Medio (RMSE) del modello inizializzato su un set di validazione, garantendo che la distribuzione predittiva iniziale sia rappresentativa dei dati.

3. Contributi Chiave

1. Reinterpretazione della Media a Priori PCA: Il documento dimostra che l'efficacia della funzione media a priori lineare nei DGP deriva dalla sua capacità di condizionare il panorama di ottimizzazione all'inizializzazione, prevenendo il modello di vedere un segnale di input nullo degenerato, piuttosto che dall'evitare patologie non iniettive.
2. Diagnosi del Collasso della Distribuzione a Posteriori: Gli autori forniscono un'analisi rigorosa mostrando che il collasso della distribuzione a posteriori nei DGP deriva dall'interazione tra l'inizializzazione standard dei parametri variazionali ($m=0$) e la funzione media dello strato interno, portando a un ottimo locale dove i dati vengono spiegati come rumore.
3. Analisi della Parametrizzazione: Lo studio chiarisce i distinti comportamenti di ottimizzazione dei DGP whitened, standard non-whitened e non-whitened con media riparametrizzata, offrendo la prima spiegazione dettagliata del perché il whitening garantisca una convergenza più stabile (gradienti meglio condizionati).
4. Nuovo Schema di Inizializzazione: Viene proposta una strategia di inizializzazione computazionalmente efficiente per i DGP con media a priori ZERO. Ciò consente l'addestramento riuscito dei DGP sotto prior a media ZERO, eliminando la necessità di vincoli architettonici guidati dall'ottimizzazione (ovvero, forzare una media a priori lineare).

4. Risultati Sperimentali

I metodi proposti sono stati validati su un dataset toy sintetico e otto benchmark di regressione reali del mondo reale (UCI).

• Dataset Toy: Le visualizzazioni hanno confermato che i DGP con media a priori ZERO e inizializzazione standard soffrono di collasso della distribuzione a posteriori, specialmente con meno punti di induzione e architetture più profonde. L'inizializzazione proposta ha prevenuto con successo il collasso e ha prodotto distribuzioni predittive comparabili ai modelli con media a priori PCA.
• Benchmark UCI:
  • I DGP con media a priori ZERO e inizializzazione standard spesso collassavano o performavano scarsamente.
  • L'inizializzazione proposta (ZERO-Points-MY) ha costantemente stabilizzato l'ottimizzazione, evitato il collasso e raggiunto una performance predittiva (RMSE) comparabile, e in alcuni casi migliore, dei DGP che utilizzano la funzione media a priori PCA.
  • La parametrizzazione whitened ha dimostrato una stabilità superiore in tutte le configurazioni.
  • È stato dimostrato che l'aumento del numero di punti di induzione allevia il collasso, ma l'inizializzazione proposta è stata efficace anche con un numero moderato di punti di induzione.

5. Significato e Rivendicazioni

Il documento sostiene che la scelta della funzione media a priori nei DGP debba essere guidata dalle assunzioni di modellazione piuttosto che dalla comodità di ottimizzazione. Identificando che la "media a priori PCA" è essenzialmente un'euristica per correggere una cattiva inizializzazione, gli autori propongono una soluzione che scinde la struttura statistica del modello dalla sua traiettoria di ottimizzazione.

La significatività risiede in:

• Chiarezza Teorica: Correggere il malinteso che le prior lineari siano necessarie per evitare la non-iniettività nei deep GP, attribuendo invece il loro successo alla dinamica di inizializzazione.
• Utilità Pratica: Fornire una strategia di inizializzazione "drop-in" che consente l'uso di DGP con media a priori ZERO (che sono teoricamente più semplici e flessibili per certi compiti di modellazione) senza sacrificare la stabilità dell'addestramento o la performance predittiva.
• Intuizione sull'Ottimizzazione: Evidenziare il ruolo critico della parametrizzazione whitened e dell'inizializzazione specifica delle covarianze variazionali ($S \ll K_{ZZ}$) nel garantire un gradiente discendente stabile, offrendo linee guida per un addestramento robusto dei DGP.

Gli autori rimangono modesti, notando che la loro analisi si concentra sull'algoritmo DSVI e che, sebbene la proposta di inizializzazione risolva il problema del collasso per le prior a media ZERO, lo spazio dei modelli statistici rimane invariato; il miglioramento riguarda strettamente la capacità di raggiungere una buona soluzione partendo da un punto di partenza migliore.