Riepilogo Tecnico: Fine-tuning Bayesiano in Sottospazi Proiettati

Enunciato del Problema

I Large Language Models (LLM) e altre reti neurali profonde soffrono spesso di eccessiva sicurezza e scarsa calibrazione quando vengono sottoposti a fine-tuning, in particolare su dati limitati. Sebbene l'Adattamento a Basso Rango (LoRA) offra una soluzione efficiente in termini di parametri per il fine-tuning decomponendo gli aggiornamenti dei pesi in matrici a basso rango, il LoRA standard manca di meccanismi per la quantificazione dell'incertezza.

Sono state proposte varianti bayesiane di LoRA (Bayesian LoRA) per affrontare questo problema apprendendo distribuzioni posteriori sui parametri. Tuttavia, questi metodi affrontano un compromesso critico: la modellazione della matrice di covarianza posteriore (necessaria per l'incertezza epistemica) richiede tipicamente un numero di parametri che scala quadraticamente con il numero di pesi addestrabili. Ciò aumenta significativamente i costi di archiviazione e computazionali, annullando parzialmente i guadagni di efficienza del LoRA. Inoltre, l'addestramento di questi modelli bayesiani ad alta dimensionalità può essere instabile e difficile da convergere.

Metodologia

Gli autori propongono un nuovo framework che combina il fine-tuning efficiente in termini di parametri con l'inferenza bayesiana all'interno di un sottospazio proiettato a bassa dimensionalità. L'idea centrale è limitare l'apprendimento delle posteriori bayesiane a una varietà compressa piuttosto che allo spazio parametrico completo.

1. Parametrizzazione del Sottospazio Proiettato

Invece di apprendere aggiornamenti completi a basso rango $\Delta W = AB$ dove sia $A$ che $B$ sono addestrabili (come nel LoRA standard), il metodo proposto congela le matrici di base $A$ e $B$ e apprende solo una piccola matrice "nucleo" quadrata $R$. L'aggiornamento dei pesi è definito come:
$$\Delta W = ARB$$
Qui, $A \in \mathbb{R}^{n \times r}$ e $B \in \mathbb{R}^{r \times m}$ sono matrici di proiezione precalcolate derivate dai pesi preaddestrati $W_0$, e $R \in \mathbb{R}^{r \times r}$ è il parametro apprendibile. Ciò riduce il numero di parametri addestrabili da $r(n+m)$ a $r^2$, creando uno spazio parametrico altamente compresso.

2. Strategie di Proiezione

Il documento valuta quattro metodi distinti per il calcolo delle matrici di proiezione congelate $A$ e $B$:

• SVD Troncata: Allinea le proiezioni con le direzioni principali della matrice dei pesi originale $W_0$.
• SVD Troncata Bianchizzata (W-SVD): Tiene conto delle statistiche dei dati di ingresso (covarianza $\Sigma_{xx}$) per minimizzare gli errori di attivazione piuttosto che gli errori di ricostruzione dei pesi.
• Trasformata Discreta del Coseno 2D (DCT): Utilizza una base fissa e universale di onde coseno, preceduta da una permutazione deterministica dei pesi per indurre correlazione spaziale.
• Proiezioni Casuali: Utilizza matrici ortogonali gaussiane distribuite secondo Haar, senza fare assunzioni strutturali sui pesi.

3. Inferenza Bayesiana nel Sottospazio

Il framework esegue inferenza bayesiana sulle matrici nucleo $R$ piuttosto che sugli aggiornamenti completi dei pesi. Vengono impiegati due metodi bayesiani approssimati:

• SWAG (Stochastic Weight Averaging-Gaussian): Sfrutta la traiettoria della Discesa del Gradiente Stocastica (SGD) per costruire una posteriore gaussiana con una covarianza a basso rango più diagonale.
• Approssimazione di Laplace: Approssima la posteriore attorno a una soluzione di Massima A Posteriori (MAP). Gli autori implementano sia approssimazioni Diagonali (DIAG) che a Fattorizzazione di Kronecker (KRON) per la matrice Hessiana/Informazione di Fisher per bilanciare espressività ed efficienza di memoria.

Crucialmente, la covarianza completa degli aggiornamenti dei pesi $\Delta W$ non viene mai materializzata. Invece, la covarianza è definita implicitamente attraverso la struttura di Kronecker del sottospazio proiettato, consentendo un campionamento efficiente e una stima dell'incertezza.

Contributi Chiave

1. Framework Bayesiano Efficiente in Parametri: Il documento introduce un metodo che ottiene una quantificazione efficace dell'incertezza in spazi parametrici a dimensionalità molto bassa ($r^2$ parametri per strato) senza sacrificare i vantaggi di efficienza del LoRA.
2. Strategie di Proiezione Generalizzate: A differenza di lavori precedenti che si basavano principalmente sulla SVD, questo lavoro introduce e valuta un framework generalizzato che include proiezioni consapevoli dei dati (Whitened SVD) e proiezioni agnostiche rispetto alla struttura (DCT, Casuali).
3. Validazione Empirica delle Covarianze a Basso Rango: Gli autori dimostrano che le covarianze dei pesi in questi sottospazi proiettati esibiscono proprietà a basso rango, il che significa che anche approssimazioni di covarianza a rango molto basso (ad esempio, rango $k=2$) sono spesso sufficienti per modellare efficacemente l'incertezza.
4. Scalabilità: L'approccio è validato sia su RoBERTa-large che su LLaMA2-7B, dimostrando che il metodo scala su modelli più grandi mantenendo la fattibilità computazionale.

Risultati Sperimentali

Gli esperimenti sono stati condotti su compiti GLUE (RTE, MRPC, CoLA, SST-2) utilizzando RoBERTa-large e su compiti di ragionamento di senso comune (OBQA, ARC-E, ARC-C) utilizzando LLaMA2-7B.

• Calibrazione e Incertezza: I metodi proposti (B-LoRA-XS e L-LoRA-XS) superano costantemente il LoRA standard e il LoRA-XS nell'Errore di Calibrazione Atteso (ECE) e nella Log-Likelihood Negativa (NLL). Raggiungono una calibrazione paragonabile o migliore rispetto alle basi bayesiane complete di LoRA (come LoRA-SWAG) utilizzando da 5 a 15 volte meno parametri.
• Prestazioni di Proiezione: Le proiezioni SVD Bianchizzata (W-SVD) e SVD standard hanno prodotto costantemente le migliori prestazioni. Metodi agnostici rispetto ai dati come le Proiezioni Casuali e la DCT hanno ottenuto risultati significativamente peggiori, specialmente a ranghi più bassi, evidenziando l'importanza di allineare il sottospazio alla struttura dei pesi.
• Rango della Covarianza: I modelli sono rimasti robusti anche con approssimazioni di covarianza a rango molto basso. Ad esempio, B-LoRA-XS ha raggiunto una calibrazione ottimale a ranghi di covarianza bassi come $k=2$ o $k=5$, mentre i metodi bayesiani LoRA standard si sono degradati significativamente al diminuire del rango.
• Rilevamento OOD: Le varianti bayesiane hanno dimostrato una capacità superiore di distinguere i dati In-Distribution (ID) da quelli Out-of-Distribution (OOD) rispetto alle basi deterministiche, con i metodi proposti su sottospazi che mostrano una forte separazione nell'entropia predittiva.
• Risultati LLaMA2-7B: Sul modello più grande, le varianti compresse (ad esempio, L-LoRA-XS con $r=64$) hanno ottenuto miglioramenti significativi nella calibrazione con meno di un terzo del budget parametrico richiesto dalla base Laplace-LoRA, mantenendo al contempo un'accuratezza competitiva.

Significato e Affermazioni

Il documento afferma che una quantificazione efficace dell'incertezza non richiede spazi parametrici ad alta dimensionalità. Proiettando gli aggiornamenti dei pesi su una varietà a bassa dimensionalità attentamente scelta, gli autori dimostrano che:

• L'incertezza può essere modellata in modo efficiente: Le correlazioni tra i pesi possono essere catturate efficacemente in sottospazi a bassa dimensionalità, permettendo l'uso di matrici di covarianza a basso rango che riducono drasticamente i costi di memoria e computazionali.
• La stabilità è migliorata: Operare in uno spazio parametrico ridotto stabilizza l'ottimizzazione, portando a una migliore convergenza e calibrazione sotto budget computazionali limitati.
• Compromesso Sinergico: Il metodo offre un compromesso sinergico in cui le prestazioni predittive sono mantenute o migliorate e la calibrazione è significativamente potenziata, tutto ciò utilizzando una frazione dei parametri richiesti dai metodi bayesiani LoRA esistenti.

Gli autori concludono che il loro framework rappresenta un'innovazione concettuale nell'applicazione dell'inferenza bayesiana a sottospazi compressi, fornendo una soluzione pratica per il fine-tuning consapevole dell'incertezza di modelli di grandi dimensioni in contesti con risorse limitate.