Riassunto Tecnico: L'ultimo strato è sufficiente per la quantificazione dell'incertezza?

Definizione del Problema

L'adozione delle Reti Neurali Profonde (DNN) in contesti critici è ostacolata dalla mancanza di una quantificazione affidabile dell'Incertezza Epistemica (UQ). Sebbene i metodi bayesiani offrano un framework naturale per modellare l'incertezza tramite la distribuzione posteriore predittiva, gli approcci prevalenti come i Deep Ensembles (DE) o le reti neurali bayesiane complete (BNN) comportano spesso costi computazionali proibitivi. Una comune approssimazione per ridurre questo carico consiste nel linearizzare la DNN attorno ai suoi parametri per formare un Modello Lineare Generalizzato (GLM) Bayesiano. Tuttavia, un'ipotesi diffusa nel campo è che linearizzare solo l'ultimo strato connesso (l'approssimazione dell'ultimo strato o "last-layer approximation") degradi significativamente le prestazioni di UQ rispetto alla linearizzazione dell'intera rete (linearizzazione completa). Questo articolo investiga se tale compromesso tra efficienza computazionale e fedeltà della UQ sia necessario.

Metodologia

Gli autori impiegano un approccio duale che combina l'analisi teorica tramite la Teoria delle Matrici Casuali (RMT) e una valutazione empirica su larga scala.

Analisi Teorica

Lo studio confronta due GLM Bayesiani derivati da una DNN inizializzata casualmente:

1. LL-GLM (Last-Layer GLM): Formato linearizzando solo i parametri dell'ultimo strato connesso. Questo induce il Conjugate Kernel (CK).
2. DNN-GLM (Full-Linearization GLM): Formato linearizzando tutti i parametri della rete. Questo induce il Neural Tangent Kernel (NTK).

Gli autori analizzano la Bayes Free Energy (BFE), definita come il logaritmo negativo della verosimiglianza marginale, che funge da misura chiave della qualità del modello e della capacità di UQ. Derivano la BFE limite sotto un regime di doppio limite asintotico in cui sia la larghezza della rete che il numero di punti dati di addestramento tendono all'infinito proporzionalmente. Questa analisi utilizza strumenti della RMT per caratterizzare gli spettri deterministici limite delle matrici Gram di CK e NTK.

Valutazione Empirica

Per validare i risultati teorici in contesti pratici, gli autori introducono LinearSampling, un pacchetto PyTorch leggero. Questo framework fornisce un algoritmo per campionare dalla posteriore predittiva sia di LL-GLM che di DNN-GLM. L'algoritmo utilizza una strategia "sample-then-optimize", inizializzando i parametri vicino ai pesi addestrati e utilizzando la Discesa del Gradiente (Stocastica) per risolvere il problema di ottimizzazione linearizzato. Questo approccio scala a modelli grandi, inclusi quelli con milioni di parametri.

La valutazione empirica abbraccia compiti di regressione, classificazione e modellazione del linguaggio, confrontando gli LL-GLM con i DNN-GLM e altri metodi di stato dell'arte (ad es., Deep Ensembles, SWAG, MC-Dropout, LLA). Le metriche includono l'Expected Calibration Error (ECE), la Gaussian Negative-Log Likelihood (NLL) e metriche di incertezza specializzate come VARROC (AUC-ROC utilizzando la varianza delle predizioni softmax) sia per la rilevazione in-distribution che out-of-distribution (OOD).

Contributi Chiave

1. Caratterizzazione Teorica della BFE Limite: Gli autori derivano la BFE limite per i GP che impiegano kernel CK e NTK sotto deboli assunzioni sui componenti della rete e sulle distribuzioni dei dati. Caratterizzano questo limite come l'unica soluzione a un sistema di equazioni a punto fisso implicite.
2. Robustezza e Analisi della Discesa: Teoricamente, dimostrano che entrambi i kernel esibiscono robustezza alle perturbazioni degli input e fenomeni di discesa (inclusi comportamenti di double- e triple-descent). Identificano che l'NTK mostra un vantaggio teorico solo nel regime altamente sovra-campionato (dove i punti dati superano significativamente la larghezza della rete) all'inizializzazione, ma questo vantaggio svanisce dopo l'addestramento.
3. Validazione Empirica su Larga Scala: Attraverso estesi esperimenti su diversi compiti, il documento dimostra che gli LL-GLM eguagliano costantemente le prestazioni di UQ dei DNN-GLM. In molti casi, l'LL-GLM performa in modo comparabile ai Deep Ensembles, considerati lo standard di riferimento.
4. Framework di Campionamento Scalabile: Il rilascio di LinearSampling, un algoritmo scalabile che consente un campionamento efficiente della posteriore dai GLM bayesiani per grandi modelli linguistici e architetture di visione profonde, superando i precedenti colli di bottiglia computazionali.

Risultati

• Risultati Teorici: L'analisi rivela che non vi è alcun miglioramento significativo nelle capacità di UQ (misurate tramite BFE) per la linearizzazione completa rispetto alla linearizzazione dell'ultimo strato nella maggior parte dei regimi. L'unico regime in cui l'NTK completo supera teoricamente il CK è quando il numero di punti dati è significativamente maggiore della larghezza della rete, uno scenario che gli autori suggeriscono possa essere un artefatto dell'inizializzazione casuale piuttosto che un limite fondamentale, poiché il divario scompare dopo l'addestramento.
• Risultati Empirici:
  • Regressione: Sui dataset di regressione UCI, gli LL-GLM hanno ottenuto prestazioni comparabili o talvolta superiori ai DNN-GLM in termini di RMSE, NLL ed ECE.
  • Classificazione: Nei compiti di classificazione delle immagini (MNIST, FashionMNIST, CIFAR-10/100, ImageNet), gli LL-GLM hanno eguagliato le prestazioni di UQ dei DNN-GLM. Entrambi i metodi hanno catturato con successo la varianza "distance-aware", aumentando l'incertezza per i punti lontani dai dati di addestramento.
  • Modellazione del Linguaggio: Su un modello GPT-2 sottoposto a fine-tuning per l'analisi del sentiment, l'LL-GLM ha ottenuto punteggi VARROC-ID statisticamente indistinguibili rispetto al DNN-GLM.
  • Efficienza: Fondamentalmente, l'LL-GLM ha raggiunto questi risultati con costi computazionali e di memoria sostanzialmente inferiori. Nell'esperimento GPT-2, l'LL-GLM ha richiesto 10 volte meno tempo di esecuzione (wall-time) e 3,5 volte meno memoria rispetto al DNN-GLM.

Significato e Conclusione

Il documento conclude che l'approssimazione dell'ultimo strato è sufficiente per un'alta qualità della Quantificazione dell'Incertezza. Gli autori sostengono che questa scoperta suggerisce che l'incertezza epistemica nelle DNN derivi principalmente dall'incertezza su come le feature della rete vengono utilizzate (i pesi dell'ultimo strato) piuttosto che dall'incertezza sulle feature stesse (le rappresentazioni apprese dagli strati precedenti).

Questo risultato sfida l'assunto che la linearizzazione dell'intera rete sia necessaria per una UQ accurata. Validando il fatto che l'approccio dell'ultimo strato, computazionalmente più economico, produce prestazioni comparabili, il lavoro sostiene l'adozione più ampia della linearizzazione dell'ultimo strato nel deep learning bayesiano, particolarmente per modelli su larga scala dove l'inferenza bayesiana dell'intera rete è impraticabile. Gli autori segnalano i limiti riguardanti la connessione teorica con le reti addestrate sotto assunzioni realistiche e l'attuale focus sull'incertezza epistemica piuttosto che su quella aleatoria, identificandoli come percorsi per lavori futuri.