Learning Adapter Rank via Symmetry Breaking

Riepilogo Tecnico: Apprendimento del Rango dell'Adattatore tramite Rottura di Simmetria

1. Enunciato del Problema

L'adattamento a basso rango (LoRA) è diventato uno standard per il fine-tuning efficiente dei grandi modelli linguistici, basandosi sull'osservazione empirica che gli aggiornamenti rilevanti per il compito giacciono in un sottospazio a bassa dimensionalità. Tuttavia, rimangono irrisolti due sfide critiche:

1. Selezione del Rango: Scegliere il rango ottimale non è banale. I metodi a rango fisso rischiano di essere o spreconi o insufficienti, mentre le strategie euristica di allocazione del rango (ad es. AdaLoRA) introducono oneri aggiuntivi di sintonizzazione.
2. Non Identificabilità e Simmetria di Gauge: Nel LoRA standard, le direzioni del rango non sono identificabili. Per qualsiasi matrice invertibile $R \in \mathbb{R}^{r \times r}$, la fattorizzazione $BA = (BR)(R^{-1}A)$ produce lo stesso aggiornamento dei pesi. Di conseguenza, i singoli indici di rango mancano di un'identità intrinseca, rendendo impossibile associare punteggi di incertezza o rilevanza a direzioni specifiche senza prima rompere questa simmetria di gauge rotazionale.
3. Calibrazione: I Grandi Modelli Linguistici (LLM) fine-tunati soffrono spesso di eccessiva sicurezza. I metodi esistenti di quantificazione dell'incertezza per i moduli di Fine-Tuning Efficiente dei Parametri (PEFT) trattano tipicamente la selezione del rango e l'incertezza come problemi separati, operando nello spazio dei pesi ambientale o utilizzando approssimazioni post-hoc, il che aumenta la complessità architetturale e il numero di parametri.

2. Metodologia: Dropout Variazionale a Basso Rango (LRVD)

Gli autori propongono il Dropout Variazionale a Basso Rango (LRVD), un framework bayesiano che esegue l'inferenza direttamente nello spazio del rango latente piuttosto che nello spazio dei pesi ambientale. L'istanza principale di questo framework è BayesLoRA.

Meccanismi Chiave:

• Posteriore Accoppiato al Rango: Invece di collocare posteriori indipendenti sui singoli pesi, LRVD colloca un posteriore gaussiano fattorizzato sui fattori dell'adattatore ($A$ e $B$) dove tutti i parametri appartenenti a un specifico rango $i$ condividono un singolo rapporto rumore-segnale $\alpha_i$.
  $$q(A, B) = \prod_{i,j} \mathcal{N}(A_{ij}; \mu_{A,ij}, \alpha_i \mu_{A,ij}^2) \prod_{k,i} \mathcal{N}(B_{ki}; \mu_{B,ki}, \alpha_i \mu_{B,ki}^2)$$
• Rottura di Simmetria: La struttura diagonale di questo posteriore (dove la varianza è vincolata per rango) rompe la simmetria di gauge rotazionale $GL(r)$ del LoRA. L'obiettivo variazionale seleziona una base preferenziale nello spazio del rango, abilitando la Determinazione Automatica della Rilevanza (ARD) sulle direzioni del rango.
• Garanzia Teorica (Teorema 1): Gli autori dimostrano che, sebbene la simmetria di gauge completa sia rotta, permane una simmetria residua. Nello specifico, la matrice di trasformazione $R$ deve essere ortogonale e, se gli elementi diagonali della covarianza del rango sono distinti, $R$ è limitata alle matrici di permutazione con segno. Ciò garantisce che l'ordinamento del rango appreso sia significativo e identificabile a meno di segno e permutazione.
• Obiettivo Variazionale: L'addestramento massimizza il Limite Inferiore dell'Evidenza (ELBO). Il termine di divergenza KL, derivato dal dropout variazionale sparso, è monotonicamente crescente in $\log \alpha_i$. Ciò penalizza le direzioni con alti rapporti rumore-segnale, sopprimendole progressivamente per realizzare una selezione automatica continua del rango.
• Inferenza: Al momento del test, il modello marginalizza sul sottospazio dell'adattatore utilizzando il campionamento Monte Carlo (tipicamente $T \in [4, 16]$ campioni), mentre il backbone pre-addestrato rimane deterministico.

3. Contributi Chiave

• Formalizzazione di LRVD: Un framework generale per l'inferenza bayesiana nello spazio del rango che induce sparsità strutturata attraverso rapporti rumore-segnale appresi.
• BayesLoRA: Un'implementazione concreta che apprende il rango effettivo dell'adattatore e l'incertezza predittiva simultaneamente con soli $O(r)$ parametri scalari aggiuntivi, senza richiedere ottimizzatori ausiliari, stime di curvatura post-hoc o schedule di annealing KL.
• Risoluzione della Non Identificabilità: Il documento dimostra che la non identificabilità del LoRA può essere trasformata in un pregiudizio induttivo utile. Rompendo la simmetria di gauge tramite un posteriore diagonale, il metodo produce un ordinamento del rango stabile e identificabile allineato alla struttura intrinseca degli aggiornamenti appresi.

4. Risultati Sperimentali

Gli autori hanno valutato BayesLoRA sul benchmark GLUE (utilizzando DeBERTa-V3-base) e su benchmark di ragionamento (utilizzando LLaMA-2-7B).

• Selezione del Rango e Accuratezza:

  • BayesLoRA eguaglia o supera le prestazioni di AdaLoRA su tutti i compiti GLUE con costi di addestramento comparabili.
  • Induce strutture di rango stabili che si allineano con le direzioni singolari dominanti degli aggiornamenti appresi.
  • I rapporti di compressione sono proporzionali alla struttura intrinseca del compito (ad es. CoLA si comprime a ~63% indipendentemente dal rango iniziale), piuttosto che essere un artefatto della dimensione della base iniziale.
  • In molti casi, BayesLoRA collassa interi moduli adattatori a rango effettivo zero, agendo più come sparsità a livello di modulo che come allocazione di budget graduale.

• Incertezza e Calibrazione:

  • vs. Baseline Classiche: BayesLoRA migliora sostanzialmente l'Errore di Calibrazione Atteso (ECE) e la Log-Likelihood Negativa (NLL) rispetto a MC Dropout, Deep Ensembles e Bayes by Backprop (BBB), nonostante abbia meno parametri di BBB.
  • vs. Metodi Focalizzati sulla Calibrazione: In confronti con budget matched contro BloB (che utilizza un posteriore variazionale completo con un ottimizzatore ausiliario), BayesLoRA raggiunge un'accuratezza superiore su quasi tutti i compiti. Mentre BloB mantiene un leggero vantaggio nelle metriche di calibrazione (ECE/NLL), BayesLoRA riduce significativamente questo divario senza il sovraccarico computazionale di un ottimizzatore separato o di una complessa stima della curvatura.

5. Significato e Affermazioni

Il documento afferma che BayesLoRA offre un'alternativa semplice ma potente ai metodi esistenti di incertezza PEFT. Operando direttamente nello spazio del rango, evita i costi proibitivi dell'inferenza variazionale nello spazio dei pesi, risolvendo al contempo il problema fondamentale della non identificabilità del rango.

• Efficienza: Realizza la selezione automatica del rango e la quantificazione dell'incertezza con un sovraccarico di parametri minimo ($O(r)$ scalari).
• Stabilità: L'ordinamento del rango appreso non è meramente un'euristica di potatura, ma riflette la struttura singolare intrinseca degli aggiornamenti del compito.
• Compromessi: Gli autori riconoscono che, sebbene BayesLoRA migliori la calibrazione rispetto alle baseline standard, rimane indietro rispetto a metodi con macchinari variazionali più ricchi (come BloB) nei compiti in cui il divario tra posteriori nello spazio del rango e nello spazio dei pesi è più pronunciato. Attribuiscono ciò all'uso di un surrogato dropout variazionale con un prior log-uniforme improprio.

In sintesi, il lavoro stabilisce che la rottura della simmetria di gauge del LoRA tramite un posteriore variazionale diagonale permette l'apprendimento congiunto del rango effettivo e dell'incertezza, fornendo un approccio bayesiano scalabile all'adattamento a basso rango.