Sintesi Tecnica: CORA: Per-Slice Coherent Orthogonal Rotation per l'Adattamento a Basso Rango basato su SVD

1. Definizione del Problema

Il Fine-Tuning Efficiente nei Parametri (PEFT) è essenziale per adattare i Large Language Models (LLM) a compiti a valle senza il costo proibitivo del fine-tuning completo. Sebbene l'Low-Rank Adaptation (LoRA) sia il metodo dominante, esso apprende un aggiornamento additivo $\Delta W = BA$ che raggruppa i gradi di libertà geometrici (rotazione della base e spostamenti spettrali) in un singolo matrice a basso rango. Metodi recenti basati su SVD (ad esempio, PiSSA, MiLoRA) utilizzano la decomposizione in valori singolari ($W_0 = U_0 \Sigma_0 V_0^\top$) dei pesi pre-addestrati ($W_0$) per l'inizializzazione o la selezione del sottospazio, ma non preservano esplicitamente la geometria accoppiata tra le basi singolari sinistra ($U_0$) e destra ($V_0$).

Recenti lavori teorici [8] suggeriscono che un fine-tuning stabile segue una forma di "rotazione SVD coerente", in cui una singola matrice ortogonale $Q$ agisce simultaneamente sulle basi singolari sinistra e destra, accompagnata da uno spostamento diagonale nei valori singolari ($\Delta \Sigma$). I metodi esistenti realizzano solo parzialmente questo aspetto: i metodi di tipo LoRA additivo intrecciano rotazione e spettro, mentre i metodi di rotazione ortogonale impongono la rotazione ma spesso mancano di flessibilità spettrale. Inoltre, il teorema della rotazione coerente globale non specifica come implementare questo processo in modo efficiente all'interno dei vincoli strutturati a basso rango degli adapter pratici.

2. Metodologia: CORA

Gli autori propongono CORA (Coherent Orthogonal Rotation Adaptation), un metodo che estende il teorema della rotazione coerente globale a una granularità per-slice (per fetta).

2.1 Fondamento Teorico

Il documento dimostra un analogo per-slice del teorema della rotazione coerente (Teorema 2). Partizionando una matrice di pesi $W_0$ in slice di righe $W_i \in \mathbb{R}^{r \times k}$, gli autori dimostrano che, sotto deboli assunzioni di regolarità, la forma ottimale fine-tuned di ogni slice è:
$$W_i^* = U_i Q_i (\Sigma_i + \Delta \Sigma_i) Q_i^\top V_i^\top$$
dove $Q_i$ è una singola matrice ortogonale che agisce sia sulla base sinistra $U_i$ che sulla base destra $V_i$ della slice. Questo stabilisce che le rotazioni in-basis sinistra e destra devono essere identiche ($Q_{U,i} = Q_{V,i} = Q_i$) per minimizzare la perturbazione di Frobenius.

2.2 Parametrizzazione e Implementazione

Per realizzare questa forma in modo efficiente senza costosi vincoli di varietà, CORA utilizza una specifica riparametrizzazione:

1. Matrice Sorgente: Il metodo opera sulla troncatura di rango-$r$ della SVD del peso pre-addestrato, $W_{lr} = U_{0,r} \Sigma_{0,r} V_{0,r}^\top$, congelando il residuo $W_0 - W_{lr}$.
2. Partizionamento in Slice: $W_{lr}$ è partizionata in $s = m/r$ slice di righe.
3. Apprendimento della Rotazione: Invece di apprendere direttamente $Q_i$ sulla varietà ortogonale, CORA apprende una singola matrice ortogonale non vincolata $R_i$ per ogni slice e definisce la rotazione come $Q_i = U_i^\top R_i U_i$. Questa trasformazione di similitudine garantisce che la condizione di rotazione coerente ($Q_{U,i} = Q_{V,i}$) sia soddisfatta identicamente senza espliciti vincoli o penalità durante l'addestramento.
4. Scaling Spettrale: Un opzionale vettore di scala diagonale per livello $\delta$ viene applicato ai valori singolari ($\Sigma_i \to \Sigma_i \text{diag}(1+\delta)$).
5. Mappa di Cayley: Per garantire che $R_i$ rimanga ortogonale, viene parametrizzata tramite una mappa di Cayley a chiusura analitica di una matrice antisimmetrica apprendibile, evitando i vincoli del raggio di convergenza.

2.3 Efficienza dei Parametri

CORA utilizza $\frac{1}{2}m(r-1)$ parametri addestrabili per livello lineare (più gli $r$ scalari opzionali per $\delta$). Questo è circa 4$\times$ inferiore rispetto a LoRA allo stesso rango $r$ (che usa $r(m+k)$), e circa 8$\times$ inferiore rispetto a LoRA quando si confrontano configurazioni con prestazioni equivalenti.

3. Contributi Chiave

1. Estensione Teorica: Ha dimostrato che il teorema della rotazione coerente si applica alle singole slice di righe di una matrice di pesi, estendendo la teoria globale alla granularità degli adapter pratici.
2. Nuova Parametrizzazione: Ha introdotto una riparametrizzazione ($Q_i = U_i^\top R_i U_i$) che impone la condizione di rotazione coerente ($Q_{U,i} = Q_{V,i}$) come un'identità algebrica, eliminando la necessità di vincoli di ortogonalità durante l'ottimizzazione.
3. Design di Adapter Efficiente: Ha implementato CORA come un adapter compatto utilizzando rotazioni ortogonali per-slice e scaling diagonale per livello, ottenendo alte prestazioni con significativamente meno parametri rispetto agli esistenti metodi SVD-based e PEFT generici.

4. Risultati Sperimentali

CORA è stato valutato su LLaMA-2-7B, LLaMA-3-8B e Mistral-7B attraverso tre famiglie di compiti: ragionamento del senso comune, generazione di codice e ragionamento matematico.

• Ragionamento del Senso Comune: Su LLaMA-2-7B, CORA con rango $r=16$ (6.6M parametri) ha raggiunto l'82.16% di accuratezza media. Ha superato PiSSA e MiLoRA (entrambi a $r=32$, ~56M parametri) rispettivamente di 8.4 e 3.0 punti, e ha superato DoRA ($r=32$) di 2.5 punti.
• Generazione di Codice: Su LLaMA-3-8B, CORA ($r=16$, 10.3M parametri) ha ottenuto 48.2 HumanEval Pass@1, superando significativamente DiaBlo ($N=64$, 121M parametri) e LoRI ($r=32$, 45M parametri). Su Mistral-7B, CORA ha mantenuto prestazioni elevate (40.2 Pass@1) con soli 10.3M parametri.
• Ragionamento Matematico: CORA è stato competitivo su GSM8K ma è rimasto indietro su MATH rispetto a MiLoRA. Gli autori attribuiscono ciò alla località spettrale della conoscenza matematica; l'attenzione di MiLoRA verso le componenti minori (direzioni residue) sembra più adatta a compiti in cui le componenti principali codificano meno struttura rilevante per il compito.
• Ablazioni:
  • Scala Condivisa ($\delta$): L'abilitazione dello scaling spettrale condiviso è stata critica, migliorando le prestazioni di 0.8–2.4 punti e prevenendo il collasso a bassi ranghi ($r=8$).
  • Rotazione a Due Lati: Rimuovere la rotazione sul lato $V$ (solo lato $U$) ha causato cali significativi nelle prestazioni (fino a 9.8 punti), confermando la necessità della forma di rotazione coerente.
  • Matrice Sorgente: L'uso di $W_0$ completo invece di $W_{lr}$ ha migliorato le prestazioni su MATH, validando l'ipotesi che le direzioni singolari della "coda" contengano segnali specifici della matematica.

5. Significato e Rivendicazioni

Il documento afferma che CORA riesce a unificare i metodi additivi inizializzati con SVD e le famiglie di rotazione ortogonale sotto una singola forma, teoricamente fondata. Imponendo esplicitamente la condizione di rotazione coerente derivata dalla teoria della perturbazione minima, CORA ottiene un rapporto parametro-accuratezza superiore.

Gli autori dichiarano che CORA raggiunge risultati allo stato dell'arte nel ragionamento del senso comune e nella generazione di codice con circa 8$\times$ meno parametri rispetto ai metodi concorrenti come LoRA, DoRA, PiSSA e MiLoRA. Il lavoro dimostra che i vincoli geometrici espliciti (rotazione coerente) possono essere implementati efficientemente tramite riparametrizzazione algebrica, offrendo una nuova direzione per l'adattamento efficiente dei parametri che rispetta la geometria sottostante dei pesi pre-addestrati.

Limitazioni note dagli autori:

• Richiede il calcolo SVD offline e il caching dei fattori per-slice prima dell'addestramento.
• Introduce moltiplicazioni di matrici aggiuntive durante il forward pass rispetto allo standard LoRA.
• Valutato fino a modelli da 8B parametri; la scalabilità a modelli da 30B+ non è verificata.
• Le prestazioni sui compiti matematici sono sensibili alla scelta dello spettro sorgente (componenti principali vs componenti residue).