Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters

Sintesi Tecnica: Passaggi di Parametri più Fini per il Low-Rank PEFT

Problema
Gli adattatori a basso rango, come LoRA, sono uno standard per il Parameter-Efficient Fine-Tuning (PEFT). Tuttavia, il parametro del rango $r$ in LoRA fissa la risoluzione del budget di parametri. Per grandi matrici di proiezione (ad esempio, $2048 \times 2048$ in OPT-1.3B), un singolo incremento del rango aggiunge 4.096 scalari addestrabili per proiezione. Ciò crea ampi gap discreti nella regione a basso budget, risultando in una curva accuratezza-budget campionata in modo sparso. Il documento investiga se una famiglia di adattatori con incrementi di capacità più fini possa rivelare diversi punti operativi o migliorare il trade-off osservato tra accuratezza e budget rispetto a LoRA.

Metodologia
Gli autori propongono un confronto controllato tra LoRA e adattatori tensoriali a componenti fissi di tipo Canonical Polyadic (CP).

1. Formulazione dell'Adattatore:

   • LoRA: Utilizza l'aggiornamento standard $\Delta W = BA$, dove il rango $r$ determina il numero di parametri. Per una matrice $2048 \times 2048$, un passo di rango equivale a 4.096 parametri.
   • Adattatori CP: L'aggiornamento della matrice è rimodellato in un tensore a quattro vie ($32 \times 64 \times 32 \times 64$). L'aggiornamento è parametrizzato come una somma di $c$ componenti di rango uno con fattori normalizzati:
     $$T(\Delta W) = \sum_{s=1}^{c} \lambda_s u^{(1)}_s \circ u^{(2)}_s \circ u^{(3)}_s \circ u^{(4)}_s$$
     dove i fattori hanno norma unitaria. Una componente CP memorizza 193 scalari addestrabili (fattori 32+64+32+64 + 1 scalare), circa 21 volte più piccola di un singolo passo di rango di LoRA.

2. Protocollo Sperimentale:

   • Modello e Task: Modello OPT-1.3B adattato su tre task di classificazione: SST-2, RTE e BoolQ.
   • Target: Moduli di attenzione $q$-proj e $v$-proj (48 proiezioni in totale).
   • Metrica di Confronto: Inveia di confrontare solo a parità di conteggio dei parametri, gli autori definiscono una curva "best-under-budget" $U_A(B)$. Per un dato limite di budget $B$, questa riporta la massima accuratezza raggiunta da qualsiasi impostazione con un numero di parametri $\le B$. Questo approccio rende esplicita la discretizzazione dei budget fattibili.
   • Controlli: I protocolli di addestramento, i limiti dei dati, gli schedule dei seed (griglia base: seed 0–2; conferma: seed 0–9) e la selezione dei checkpoint sono mantenuti costanti. I tassi di apprendimento sono stati fissati prima della sweep principale ($10^{-4}$ per LoRA, $2 \times 10^{-4}$ per CP).

Risultati Chiave
Lo studio rivela che il beneficio di passaggi di parametri più fini è altamente dipendente dal task:

• SST-2 (Plateau Precoce): Piccoli adattatori CP (ad esempio, $c=2$) raggiungono un plateau di accuratezza (~0.93) con una frazione del budget di LoRA $r=1$. Tuttavia, l'aggiunta di più componenti CP non migliora monotonicamente le prestazioni, e nessuna impostazione CP supera il miglior risultato LoRA sotto gli stessi limiti di budget. La regione a basso budget appare saturata precocemente.
• BoolQ (Crescita Graduale e Saturazione): La curva CP mostra un miglioramento chiaro e graduale da $c=1$ a $c=43$, rivelando una crescita della capacità intermedia utile che la griglia grossolana di LoRA manca. Tuttavia, la curva alla fine satura leggermente al di sotto del miglior risultato LoFA ($0.739$ vs $0.743$).
• RTE (Gap Persistente): LoRA supera costantemente CP in tutti i livelli di budget. Anche con passaggi di parametri più fini e componenti aggiuntive, CP non riesce a colmare il divario di accuratezza, suggerendo che per questo task l'espressività delle direzioni densamente non vincolate di rango uno di LoRA sia più critica.

Contributi Chiave

1. Discretizzazione Esplicita del Budget: Il documento introduce un framework di confronto "best-under-budget" che visualizza esplicitamente come diverse famiglie di adattatori discretizzano lo spazio dei parametri, andando oltre i semplici confronti a parità di parametri.
2. Studio Controllato di Adattatori Tensoriali a Componenti Fissi: Gli autori istanziano questo framework utilizzando adattatori CP a componenti fissi, fornendo un caso di test controllato in cui la dimensione del passo del parametro di capacità è significativamente più piccola di quella di LoRA.
3. Diagnostica Dipendente dal Task: Lo studio dimostra che passaggi di parametri più fini agiscono come uno strumento diagnostico. Essi rivelano la forma della curva budget-risposta (ad esempio, saturazione precoce vs crescita graduale), ma non garantiscono intrinsecamente una curva accuratezza-budget superiore.

Significatività e Rivendicazioni
Gli autori dichiarano esplicitamente di non sostenere che l'adattatore CP a componenti fissi sia un nuovo metodo PEFT allo stato dell'arte. Inveve, la significatività risiede nell'isolare l'effetto della granularità del budget.

Il documento conclude che, sebbene passaggi di parametri più fini siano utili per diagnosticare la sensibilità del budget PEFT e rivelare i punti operativi tra i rangi di LoRA, essi non superano automaticamente i gap di espressività. In alcuni casi (RTE), la flessibilità della struttura di aggiornamento di LoRA è più importante della risoluzione della griglia del budget; in altri (BoolQ), passaggi più fini rivelano guadagni di prestazione intermedi; in altri ancora (SST-2), il task satura così precocemente che la risoluzione della griglia è meno critica. Il lavoro funge da studio controllato su come la discretizzazione del parametro di capacità influenzi il panorama delle prestazioni osservate.