Sintesi Tecnica: Quantificare l'Incertezza dei Modelli di Fondazione con Singular Value Ensembles

1. Definizione del Problema

I modelli di fondazione hanno raggiunto prestazioni straordinarie in compiti diversificati grazie al pre-addestramento su larga scala, tuttavia producono frequentemente previsioni eccessivamente sicure e non calibrate. In domini ad alto rischio come la diagnosi medica, la guida autonoma e il supporto decisionale agricolo, la capacità di un modello di riconoscere la propria ignoranza (incertezza epistemica) è critica quanto la sua accuratezza predittiva. Diagnosi errate eccessivamente sicure o valutazioni del rischio scorrette possono portare a conseguenze gravi.

L'approccio standard per quantificare l'incertezza epistemica prevede l'addestramento di un ensemble di più modelli inizializzati indipendentemente (Deep Ensembles). Sebbene efficace, questo metodo soffre di un limite fondamentale: i costi computazionali e di memoria scalano linearmente con il numero di membri dell'ensemble ($M$). Per i modelli di fondazione con miliardi di parametri, anche un modesto ensemble (ad es. $M=4$) diventa computazionalmente proibitivo, rendendo l'estrazione dell'incertezza basata sui principi inaccessibile per i professionisti con risorse limitate o per coloro che si affidano al fine-tuning efficiente dei parametri (PEFT).

I metodi di ensembling implicito esistenti (ad es. MC-Dropout, BatchEnsemble, LoRA-Ensemble) tentano di ridurre l'overhead, ma spesso faticano a eguagliare le prestazioni di calibrazione degli ensemble espliciti o richiedono comunque l'apprendimento di nuovi parametri significativi per ogni membro.

2. Metodologia: Singular Value Ensemble (SVE)

Gli autori propongono il Singular Value Ensemble (SVE), un metodo di ensembling implicito ed efficiente nei parametri, basato sull'intuizione che la conoscenza nei modelli di fondazione sia organizzata lungo sottospazi lineari definiti dai vettori singolari delle matrici dei pesi.

Assunzione Centrale

Il metodo si basa sull'ipotesi che i vettori singolari ($U$ e $V$) delle matrici dei pesi pre-addestrate corrispondano a direzioni di conoscenza ortogonali e significative nello spazio delle rappresentazioni. I valori singolari ($\Sigma$) codificano l'importanza relativa o la forza di queste direzioni. Pertanto, un ensemble può essere costruito preservando la base di conoscenza condivisa (vettori singolari) e modulando il contributo di ciascuna direzione tramite i valori singolari specifici per ogni membro.

Implementazione Tecnica

1. Decomposizione SVD: Per ogni matrice dei pesi target $W \in \mathbb{R}^{m \times n}$ in un modello pre-addestrato, viene calcolata la Decomposizione in Valori Singolari: $W = U\Sigma V^\top$.
2. Congelamento dei Parametri: I vettori singolari $U$ e $V$ vengono congelati, preservando la base di conoscenza pre-addestrata.
3. Apprendimento Specifico per Membro: Inveve di apprendere nuove matrici di peso, il metodo addestra $M$ copie dei valori singolari, denotati con $\{\Sigma^{(m)}\}_{m=1}^M$, uno per ogni membro dell'ensemble. Inoltre, viene addestrato un vettore di bias per membro $b^{(m)}$.
4. Ricostruzione: Durante l'inferenza, la matrice dei pesi per il membro $m$ viene ricostruita come $W^{(m)} = U\Sigma^{(m)}V^\top$.
5. Inizializzazione e Diversità: Per garantire la diversità tra i membri senza distruggere la struttura pre-addestrata, i valori singolari sono inizializzati con perturbazioni moltiplicative: $\Sigma^{(m)} = \Sigma \odot (1 + \epsilon^{(m)})$, dove $\epsilon^{(m)} \sim \mathcal{N}(0, \sigma_{init}^2 I)$. Il campionamento stocastico dei mini-batch durante l'addestramento congiunto spinge ulteriormente i membri a convergere verso combinazioni distinte dei sottospazi condivisi.

Efficienza dei Parametri

Per un transformer con dimensione nascosta $d$, SVE aggiunge solo $6d$ valori singolari e $9d$ voci di bias per livello per membro (per le proiezioni dell'attenzione e MLP). L'overhead totale rispetto al modello base è approssimativamente:
$$\text{Overhead} \approx \frac{5(M-1)}{4d}$$
Per $d=768$ e $M=8$, ciò risulta in un overhead $<1\%$. Per modelli più grandi come LLaMA-2-7B ($d=4096$), l'overhead scende a circa lo $0,2\%$. Questo è significativamente più efficiente di LoRA-Ensemble (che aggiunge matrici di rango $r$) e ordini di grandezza più efficiente dei Deep Ensembles.

3. Contributi Chiave

• Introduzione di SVE: Un nuovo metodo di ensembling implicito, efficiente nei parametri, che crea membri dell'ensemble diversificati apprendendo i valori singolari specifici per membro pur condividendo i vettori singolari pre-addestrati.
• Nuovo Baseline per l'Incertezza: Stabilisce SVE come un forte baseline per la quantificazione dell'incertezza nei modelli di fondazione, ottenendo una calibrazione allo stato dell'arte mantenendo l'accuratezza predittiva.
• Validazione Estesa: Validato attraverso compiti di Elaborazione del Linguaggio Naturale (NLP) e di Visione utilizzando backbone che vanno da 22M a 7B di parametri (BERT, LLaMA-2-7B, DINOv1/v2). I risultati dimostrano la generalizzazione attraverso dimensioni del modello e tipi di task.

4. Risultati Sperimentali

Gli autori hanno valutato SVE su compiti NLP (ARC-Easy, SST-2) e compiti di Visione (Flowers102, CIFAR-100, DTD, Oxford Pets, rilevamento OOD, e corruzioni CIFAR-100-C).

• Calibrazione: SVE raggiunge costantemente un Expected Calibration Error (ECE) superiore o competitivo rispetto a Deep Ensembles, LoRA-Ensemble e metodi bayesiani (ad es. Bayes-LoRA, BLoB). In particolare, su ARC-Easy con LLaMA-2-7B, SVE ($M=16$) ha ottenuto un ECE del 3,8%, superando significativamente Deep Ensembles (9,9%) e LoRA-Ensemble (9,0%), avvicinandosi alla calibrazione dei metodi bayesiani pur essendo più semplice da implementare.
• Accuratezza: SVE mantiene un'accuratezza predittiva comparabile agli ensemble espliciti e ad altri metodi impliciti. Su CIFAR-100, ha raggiunto un'accuratezza dell'85,6%, superando Deep Ensembles (85,4%) e i singoli modelli.
• Robustezza: Sotto spostamenti di distribuzione (CIFAR-100-C) e rilevamento Out-of-Distribution (OOD) (CIFAR-100 $\to$ CIFAR-10), SVE ha dimostrato una forte robustezza, eguagliando o superando le prestazioni di LoRA-Ensemble e Deep Ensembles in termini di AUROC e AUPRC, nonostante l'uso di molti meno parametri.
• Dipendenza dal Backbone: I benefici di SVE scalano con la qualità delle rappresentazioni pre-addestrate. Su modelli con inizializzazione casuale, SVE è stato meno performante; tuttavia, con backbone forti (DINOv2), ha superato tutti i baseline, validando l'ipotesi che basi di vettori singolari significative siano cruciali per il successo del metodo.
• Costo Computazionale: SVE riduce l'overhead di parametri e memoria di un fattore 10 rispetto a LoRA-Ensemble e di un fattore 700 rispetto ai Deep Ensembles. Il tempo di inferenza è comparabile a quello di LoRA-Ensemble e significativamente più veloce dei metodi di campionamento bayesiano.

5. Significato e Rivendicazioni

Il paper sostiene che SVE democratizzi la stima dell'incertezza basata sui principi in contesti con risorse limitate. Sfruttando la struttura dello spazio lineare dei modelli di fondazione, SVE consente la creazione di ensemble diversificati con un overhead di parametri minimo ($<1\%$).

Gli autori posizionano SVE come un approccio equilibrato che:

1. Raggiunge un'accuratezza comparabile a LoRA-Ensemble.
2. Raggiunge una calibrazione comparabile ai complessi metodi bayesiani.
3. Opera con l'efficienza computazionale del fine-tuning efficiente dei parametri.

Il lavoro suggerisce che man mano che i modelli di fondazione migliorano, la "base di conoscenza" codificata nei loro vettori singolari diventa sempre più preziosa. SVE sfrutta questo aspetto preservando tali rappresentazioni pur introducendo diversità attraverso aggiustamenti leggeri, rendendo la stima affidabile dell'incertezza accessibile per modelli su larga scala dove l'ensembling tradizionale è impraticabile.

Limitazioni Riconosciute:
Gli autori notano che l'inferenza richiede comunque un passaggio forward per membro (simile ad altri ensemble impliciti), quindi i FLOP rimangono comparabili ai Deep Ensembles. L'integrazione con i backbone quantizzati è non banale a causa della necessità di dequantizzazione prima della SVD. Inoltre, poiché SVE preserva la base pre-addestrata, può ereditare bias o correlazioni spurie presenti nel backbone.