SR$^2$-LoRA: Self-Rectifying Inter-layer Relations in Low-Rank Adaptation for Class-Incremental Learning

Riepilogo Tecnico: SR2-LoRA

Enunciato del Problema
L'Apprendimento Incrementale di Classe (CIL) mira a consentire ai modelli di apprendere sequenzialmente nuovi compiti preservando le prestazioni su quelli appresi in precedenza. Nonostante il successo dei Modelli Pre-addestrati (PTM) combinati con il Fine-Tuning Efficiente in Parametri (PEFT) in questo dominio, l'oblio catastrofico rimane un problema persistente. Gli approcci esistenti attribuiscono spesso l'oblio a una selezione errata dei moduli, a spostamenti dei prototipi di classe, a derive della covarianza o a interferenze dei gradienti. Tuttavia, questo articolo identifica un meccanismo distinto: la deriva delle relazioni inter-livello. Gli autori osservano che, man mano che vengono appresi nuovi compiti, le relazioni tra le rappresentazioni a livello di layer all'interno del modello si disturbano progressivamente. Questa perturbazione riduce i margini di classificazione dei compiti appresi in precedenza, portando a un degrado delle prestazioni.

Metodologia: SR2-LoRA
Per affrontare ciò, gli autori propongono l'Adattamento a Basso Rango delle Relazioni Inter-livello Auto-rettificanti (SR2-LoRA). Il metodo opera all'interno del framework LoRA standard, dove un backbone pre-addestrato viene congelato e nuovi adattatori a basso rango ($\Delta W = BA$) vengono introdotti e addestrati per ogni nuovo compito.

1. Costruzione della Relazione Inter-livello: Per un campione del compito corrente, il metodo costruisce una matrice di relazione inter-livello ($R$) basata sulle rappresentazioni a livello di layer. Questa matrice cattura i prodotti interni tra le rappresentazioni a diversi layer.
2. Misurazione della Deriva: Il metodo confronta la matrice di relazione indotta dal modello corrente ($R_t$) con la matrice di relazione indotta dal modello precedente ($R_{t-1}$) sugli stessi campioni del compito corrente. La discrepanza tra queste matrici quantifica la deriva delle relazioni inter-livello.
3. Allineamento dei Valori Singolari: Invece di allineare le matrici elemento per elemento (che è sensibile alle perturbazioni di stima poiché il modello precedente non ha visto i dati del compito corrente), SR2-LoRA applica la Decomposizione ai Valori Singolari (SVD) a entrambe le matrici. Successivamente, allinea solo i valori singolari delle matrici di relazione precedente e corrente.
   • L'analisi teorica (Proposizione 1) suggerisce che i valori singolari sono più robusti alle perturbazioni limitate rispetto ai singoli elementi della matrice.
4. Ottimizzazione: La funzione di perdita totale combina la perdita standard di entropia incrociata per il compito corrente con una perdita di allineamento delle relazioni ($L_{align}$) che penalizza la differenza tra i valori singolari di $R_t$ e $R_{t-1}$.

Contributi Teorici
Il documento fornisce un quadro teorico che collega la deriva delle relazioni inter-livello all'oblio catastrofico:

• Lemma 1 e 2: Stabiliscono che l'oblio è governato dal degrado dei margini di classificazione, che è limitato superiormente dalla deviazione aggregata delle rappresentazioni residue attraverso i layer.
• Teorema 1 e 2: Formalizzano che la deviazione residua aggregata (e quindi l'oblio) dipende non solo dall'entità delle deviazioni a livello di layer, ma anche dalla deriva delle relazioni inter-livello. Nello specifico, una maggiore discrepanza nelle relazioni inter-livello porta a un limite superiore più ampio per il degrado delle prestazioni.
• Proposizione 1: Dimostra che l'allineamento dei valori singolari offre una maggiore robustezza al rumore di stima rispetto all'allineamento diretto elemento per elemento.

Risultati Sperimentali
Sono stati condotti esperimenti estensivi su quattro benchmark CIL standard: CIFAR-100, ImageNet-R, CUB-200 e ImageNet-A, utilizzando un backbone ViT-B/16. Il metodo è stato valutato sotto diverse sequenze di compiti (5, 10, 20 e 50 compiti).

• Prestazioni: SR2-LoRA ha costantemente superato l'addestramento vanilla e le baseline dello stato dell'arte (inclusi metodi basati sulla selezione, sui prototipi, sulla covarianza e sull'ortogonalità).
• Scalabilità: I guadagni nelle prestazioni sono diventati sempre più pronunciati all'aumentare del numero di compiti. Ad esempio, su ImageNet-A con 50 compiti, SR2-LoRA ha raggiunto un'accuratezza finale del 57,08% rispetto al 19,93% dell'addestramento vanilla.
• Studi di Ablazione:
  • Strategia di Allineamento: L'allineamento dei valori singolari a livello di campione (Eigen) ha superato l'allineamento diretto elemento per elemento (P2P) e la media a livello di batch, confermando la robustezza dei valori singolari.
  • Profondità di Allineamento: Allineare tutti i layer ha prodotto i migliori risultati, con i layer più profondi che mostrano un'influenza più diretta sull'oblio.
  • Configurazione LoRA: L'adattamento sia delle proiezioni chiave che valore ($W_k, W_v$) con un rango di $r=10$ ha fornito prestazioni ottimali.
• Efficienza: Il metodo ha introdotto un sovraccarico computazionale trascurabile, con tempi di addestramento e inferenza comparabili a quelli di LoRA vanilla, poiché il costo della SVD è minimo rispetto al passaggio in avanti del backbone.
• Visualizzazione: Le visualizzazioni delle regioni decisionali hanno mostrato che SR2-LoRA preserva l'organizzazione spaziale dei confini decisionali per i compiti precedenti, mentre l'addestramento vanilla porta a una significativa perturbazione strutturale.

Significato e Affermazioni
Il documento afferma che SR2-LoRA offre un approccio principiato per mitigare l'oblio catastrofico spostando il focus dalle rappresentazioni dei singoli layer o dai prototipi di classe alle relazioni strutturali tra i layer. Vincolando la deriva delle relazioni inter-livello tramite un robusto allineamento dei valori singolari, il metodo preserva efficacemente i margini di classificazione dei compiti precedenti. Gli autori sottolineano che questo approccio è semplice, efficace e particolarmente benefico in lunghe sequenze di compiti dove l'accumulo di deriva è più severo. Il metodo è presentato come robusto su diverse architetture di backbone, dataset di pre-addestramento e lunghezze dei compiti, senza richiedere una complessa regolazione degli iperparametri o risorse computazionali significative.