Sintesi Tecnica: Sull'incertezza epistemica delle reti neurali sovrapparametrizzate

Enunciato del Problema

L'incertezza epistemica nell'apprendimento automatico è tradizionalmente definita come incertezza riducibile che svanisce all'aumentare della dimensione dei dati, spesso equiparata alla variabilità predittiva. Questa prospettiva si basa sull'assunzione di identificabilità dei parametri, dove la distribuzione a posteriori si concentra attorno a un unico vettore di parametri (o una massa puntuale) al tendere di $n \to \infty$. Tuttavia, nelle reti neurali sovrapparametrizzate, i parametri sono tipicamente non identificabili a causa di simmetrie (ad esempio, l'invarianza per permutazione) e rappresentazioni ridondanti.

Il problema centrale affrontato è che, sebbene la funzione sottostante $f^*$ possa essere pienamente identificata, lo spazio dei parametri contiene un'incertezza sostanziale che persiste anche con dati infiniti. Le decomposizioni classiche dell'incertezza, che si concentrano sulla varianza predittiva, non riescono a catturare questa incertezza "residua" perché sono invarianti rispetto alle variazioni dei parametri che lasciano invariata la funzione. Di conseguenza, vi è una discrepanza tra le proprietà strutturali dei modelli sovrapparametrizzati (dove il posteriore non collassa in un punto nello spazio dei parametri) e i metodi standard di quantificazione dell'incertezza.

Metodologia

Gli autori analizzano l'incertezza epistemica attraverso la lente della non identificabilità utilizzando un'architettura di rete ReLU a un singolo strato nascosto:
$$f_w(x) = w_2^\top \phi(W_1 x)$$
dove $\phi(\cdot) = \max(0, \cdot)$. Lo studio assume un obiettivo di perdita regolarizzato equivalente a un posteriore bayesiano con una prior gaussiana.

La metodologia procede in tre fasi:

1. Caratterizzazione Teorica: Gli autori distinguono tra due fonti di non identificabilità:
   • Simmetria di Permutazione: Nei modelli correttamente specificati ($M = M^*$), la non identificabilità deriva dalla permutazione dei neuroni nascosti. Il posteriore converge a una miscela di misure di Dirac su queste permutazioni.
   • Suddivisione Continua (Assegnazione su Varietà): Nei modelli sovrapparametrizzati ($M > M^*$), i neuroni veri possono essere rappresentati da combinazioni continue di più neuroni ridondanti. Ciò induce una "varietà di suddivisione" $\mathcal{M}_\varsigma$ dove i pesi possono essere ridistribuiti in modo continuo mantenendo la stessa funzione e lo stesso costo di regolarizzazione.
2. Derivazione del Posteriore: Il documento deriva la forma esatta del posteriore indotto su queste varietà. Stabilisce che, per una mappa di assegnazione fissa $\varsigma$ (che mappa i neuroni del modello sui neuroni veri), i coefficienti di suddivisione seguono una distribuzione di Dirichlet simmetrica. Gli autori definiscono il posteriore sulla varietà come il limite debole del posteriore ambientale condizionato a un tubo $\epsilon$ attorno alla varietà al tendere di $\epsilon \to 0$.
3. Validazione Empirica: I risultati teorici sono validati utilizzando Reti Neurali Bayesiane (BNN) con prior e verosimiglianze gaussiane. L'inferenza viene eseguita utilizzando la Dinamica di Langevin Stocastica (SGLD) e il Campionatore No-U-Turn (NUTS). Lo studio analizza i campioni posteriori per verificare le proprietà di convergenza, i tassi di commutazione tra le camere di permutazione e la distribuzione dei coefficienti di suddivisione.

Contributi Chiave

1. Riformulazione dell'Incertezza Epistemica: Il documento sostiene che l'incertezza epistemica nei modelli sovrapparametrizzati include una componente persistente dovuta alla non identificabilità che non svanisce con l'aumento dei dati, anche quando la funzione predittiva è perfettamente identificata.
2. Caratterizzazione dell'Incertezza Residua:
   • Fonte Discreta: Nei modelli correttamente specificati, l'incertezza si manifesta come una miscela di misure di Dirac sulle orbite di permutazione.
   • Fonte Continua: Nei modelli sovrapparametrizzati, l'incertezza si manifesta come una distribuzione non degenere sulle varietà di suddivisione. Gli autori derivano che i coefficienti di suddivisione seguono una distribuzione di Dirichlet $\text{Dir}(\alpha, \dots, \alpha)$ con $\alpha = (p+1)/2$.
3. Momenti e Geometria del Posteriore: Gli autori derivano formule esplicite per i momenti posteriori dei pesi in caso di sovrapparametrizzazione. Dimostrano che, sebbene il contributo totale di un gruppo di neuroni ridondanti rimanga fisso, il contributo individuale di ciascun neurone diminuisce ($O(M^{-1/2})$ nella media, $O(M^{-1})$ nella covarianza) all'aumentare della larghezza della rete $M$.
4. Dinamiche di Campionamento: Il documento dimostra che i campionatori MCMC standard (sotto specifiche assunzioni di continuità) sono quasi certamente confinati in una singola camera di permutazione o all'interno di una singola varietà di assegnazione. Non attraversano naturalmente i confini tra diverse regioni correlate per simmetria, il che significa che una singola catena esplora solo un sottoinsieme del supporto completo del posteriore.

Risultati

• Convergenza vs Varianza: I risultati empirici confermano che, sebbene le prestazioni predittive (RMSE, LPPD) convergano alla funzione vera all'aumentare di $n$, la traccia della matrice di covarianza dei pesi rimane non nulla a causa delle simmetrie di permutazione e suddivisione.
• Struttura della Varietà: In contesti sovrapparametrizzati ($M > M^*$), i campioni posteriori si allineano con la previsione teorica secondo cui i coefficienti di suddivisione seguono una distribuzione Beta (margine di Dirichlet). Le distribuzioni empiriche dei contributi dei pesi corrispondono strettamente ai margini teorici di Dirichlet.
• Comportamento di Campionamento: Gli esperimenti con NUTS e SGLD mostrano che le catene rimangono confinate in singole camere di permutazione. Il "tasso di commutazione" tra le camere è trascurabile e il "margine minimo medio" indica che le catene risiedono profondamente all'interno di camere specifiche, attraversando raramente i confini di misura zero dove i neuroni diventano scambiabili.
• Impatto Pratico: Il documento illustra che ignorare la non identificabilità può portare a stime distorte in compiti a valle. Nell'apprendimento continuo (EWC), la varianza indotta dalla non identificabilità può falsamente gonfiare l'importanza dei parametri, portando ad aggiornamenti eccessivamente restrittivi. Correggere questa varianza migliora l'adattamento. Analogamente, i diagnostici di convergenza standard (come $\hat{R}$) nello spazio dei parametri possono rimanere gonfiati a causa di direzioni non identificabili, anche quando è stata raggiunta la convergenza nello spazio delle funzioni.

Significato e Affermazioni

Il documento afferma di fornire una correzione necessaria alla visione standard dell'incertezza epistemica nel deep learning. Afferma che:

• L'Incertezza dei Parametri Persiste: A differenza della visione classica in cui l'incertezza svanisce con i dati, l'incertezza dei parametri nelle reti sovrapparametrizzate è irriducibile a causa delle simmetrie strutturali.
• Spazio delle Funzioni vs Spazio dei Parametri: Sebbene lavorare nello spazio delle funzioni mitighi questi problemi, le procedure che operano direttamente sui pesi (ad esempio, interpretabilità, compressione del modello, apprendimento continuo o inferenza basata su campionamento) devono tenere conto di questa incertezza residua per evitare conclusioni fuorvianti.
• Limiti delle Euristiche Attuali: Le euristiche pratiche come gli ensemble profondi possono "mediare" alcuni effetti della non identificabilità, ma non eliminano la struttura geometrica sottostante del posteriore. Il documento suggerisce che comprendere la geometria del posteriore (in particolare le varietà indotte dalla sovrapparametrizzazione) è cruciale per una quantificazione accurata dell'incertezza nello spazio dei parametri.

Gli autori mantengono un tono modesto riguardo alla portata, notando che i loro risultati formali sono derivati per reti ReLU a un singolo strato nascosto con prior gaussiane. Riconoscono che le reti più profonde introducono non identificabilità aggiuntive a livello di strato non coperte dalla loro teoria, e che la specifica legge di suddivisione di Dirichlet dipende dalla scelta della prior gaussiana/regolarizzazione L2. Tuttavia, sostengono che i meccanismi delle simmetrie di permutazione e suddivisione sono fondamentali per i modelli sovrapparametrizzati e probabilmente si estendono a architetture più ampie.