Shared LoRA Subspaces for almost Strict Continual Learning

Riepilogo Tecnico: Sottospazi LoRA Condivisi per un Apprendimento Continuo Quasi Stretto

Definizione del Problema

Adattare grandi modelli pre-addestrati (ad esempio, LLM, VLM, modelli di diffusione) a nuovi compiti in modo continuo affronta due sfide primarie: l'oblio catastrofico e l'alto costo computazionale/di memoria del riaddestramento. Sebbene i metodi di tuning efficienti nei parametri come il Low-Rank Adaptation (LoRA) riducano il numero di parametri addestrabili, le implementazioni standard di LoRA richiedono tipicamente adattatori separati per ogni compito. Questo approccio ostacola la condivisione della conoscenza tra i compiti, non riesce a supportare l'Apprendimento Continuo Stretto (apprendimento senza riproposizione di dati, modelli aggiuntivi o crescita della dimensione del modello) e porta a un uso inefficiente delle risorse man mano che il numero di compiti scala. I metodi esistenti spesso si affidano a sottospazi ortogonali o sistemi mixture-of-experts che violano comunque i vincoli dell'apprendimento continuo stretto, richiedendo più istanze del modello o set di parametri in crescita.

Metodologia: Share

Gli autori propongono Share, un nuovo framework per il Parameter-Efficient Continual Finetuning (PaCT) che apprende e aggiorna dinamicamente un singolo sottospazio a basso rango condiviso per accomodare molteplici compiti e modalità.

Ipotesi Centrale

Share si basa sull'ipotesi che gli adattatori LoRA per compiti e modalità simili condividano un comune sottospazio a basso rango. Identificando i vettori di base principali di questo sottospazio, i nuovi adattatori possono essere espressi come combinazioni lineari di queste basi, eliminando la necessità di adattatori separati e specifici per il compito.

Flusso di Lavoro Algoritmico

Il metodo opera in tre fasi per ogni livello del modello pre-addestrato:

1. Inizializzazione:

   • Il sottospazio fondamentale (vettori di base principali) viene inizializzato utilizzando $t \ge 1$ adattatori LoRA esistenti.
   • Le matrici LoRA ($A$ e $B$) dei compiti precedenti vengono impilate, centrate e sottoposte a Scomposizione ai Valori Singolari (SVD).
   • I primi $k$ vettori di base principali ($\alpha, \beta$) vengono selezionati per coprire il sottospazio condiviso riutilizzabile.
   • Vengono addestrati solo i coefficienti specifici per il compito ($\epsilon$) inizializzati casualmente, mentre i vettori di base rimangono congelati. Questa inizializzazione è priva di dati e di gradienti.

2. Adattamento Continuo:

   • Al riceve di nuovi dati o di un nuovo adattatore LoRA, il sistema espande temporaneamente il sottospazio introducendo $\phi$ vettori di base temporanei e i relativi coefficienti.
   • Questi componenti temporanei sono ottimizzati per catturare nuove informazioni preservando al contempo il sottospazio fondamentale.

3. Fusione e Fine-tuning:

   • I vettori di base temporanei vengono fusi con il sottospazio fondamentale esistente.
   • Nuovi vettori di base condivisi vengono calcolati tramite SVD degli adattatori ricostruiti impilati.
   • I coefficienti specifici per il compito sono ricalcolati analiticamente utilizzando la proiezione matriciale e la pseudoinversa di Moore-Penrose per minimizzare l'errore di ricostruzione.
   • Questo processo consente di comprimere centinaia di adattatori in un singolo set di fattori senza richiedere la riproposizione dei dati.

Analisi Teorica

Il documento fornisce limiti teorici sull'errore di ricostruzione e sulla minimizzazione del rischio empirico. Dimostra che se un nuovo compito risiede ampiamente nel sottospazio principale condiviso, il limite di errore per l'approssimazione di Share è più stretto rispetto a quello di un adattamento a pieno rango. Il metodo approssima dinamicamente lo "Universal Weight Subspace", invece di estrarlo preventivamente.

Contributi Chiave

• Apprendimento Continuo Senza Riproposizione (Replay-Free): Introduce un metodo per grandi modelli pre-addestrati che apprende continuamente senza riproposizione di dati, modelli aggiuntivi o crescita dei parametri, avvicinandosi alle condizioni di "Apprendimento Continuo Stretto".
• Integrazione di Flussi Ibridi: Consente l'apprendimento continuo da flussi ibridi di sia dati grezzi che adattatori LoRA pre-addestrati, fondendoli fluidamente in un unico modello.
• Efficienza Estrema: Raggiunge fino a una riduzione di 100× dei parametri addestrabili e un risparmio di memoria di 281× rispetto ai metodi LoRA tradizionali.
• Deployment Scalabile: Un singolo set di fattori principali di Share può sostituire centinaia di adattatori LoRA specifici per compito, facilitando il serving di modelli asincroni e scalabili.
• Ampia Applicabilità: Validato attraverso diverse modalità, inclusa la classificazione di immagini, la stima della posa di oggetti 3D, la comprensione del linguaggio naturale e la generazione di immagini da testo.

Risultati Sperimentali

Gli autori hanno valutato Share attraverso molteplici benchmark, confrontandolo con LoRA non-continua (adattatori separati), Joint LoRA (limite superiore) e altri baseline di apprendimento continuo.

• Comprensione del Linguaggio Naturale (Benchmark GLUE):

  • Share ha raggiunto una performance media dell'83,44% con soli 0,012M di parametri (0,29 MB).
  • Questo eguaglia la performance di LoRA non-continua (83,43%) che richiedeva 7,2M di parametri (81,6 MB) attraverso sei adattatori.
  • Il metodo ha dimostrato un trasferimento di conoscenza backward, dove l'apprendimento di compiti successivi ha migliorato le prestazioni sui compiti precedenti (ad esempio, i punteggi CoLA sono migliorati da 56,00 a 59,81).

• Classificazione di Immagini (CIFAR-100, Food-101, ecc.):

  • Su CIFAR-100, Share ha raggiunto il 94,20% di accuratezza con 0,10M di parametri, eguagliando il limite superiore e superando il secondo miglior metodo (DAP) che richiedeva quasi il doppio dei parametri.
  • Share ha costantemente dimostrato i tassi di oblio più bassi tra tutti i metodi testati.

• Stima della Posa di Oggetti 3D:

  • Utilizzando Pascal3D+, Share è operato con solo 1M di parametri (rispetto ai 25M dei baseline) in condizioni strettamente prive di riproposizione.
  • Ha superato i metodi basati su riproposizione (es. iNeMO) in tutti i livelli di occlusione, raggiungendo l'81,80% di accuratezza sul compito P3D.

• Generazione di Immagini da Testo:

  • Applicato al modello Flux, Share ha gestito quattro compiti continui di stile artistico utilizzando un singolo set di fattori.
  • I risultati qualitativi hanno mostrato prestazioni comparabili ai singoli LoRA, con una riduzione delle dimensioni del modello di 20× per i primi quattro compiti.

• Apprendimento Asincrono su Larga Scala:

  • In un esperimento coinvolgente 500 LoRA (con 50 arrivati incrementalmente), Share ha mantenuto il 90-99% della performance originale sui compiti in-distribution.
  • Sui compiti out-of-distribution (OOD), Share ha ottenuto un punteggio medio Rouge-L di 55,89, superando significativamente i metodi di model merging non-continui (TIES) e avvicinandosi alle performance del singolo LoRA (73,75).

Significato e Rivendicazioni

L'articolo sostiene che Share sia tra i primi lavori a presentare una soluzione vitale per il Parameter-Efficient Continual Finetuning applicabile a modelli diversi e complessi. La sua importanza risiede in:

1. Democratizzazione dell'Accesso: Riducendo drasticamente i requisiti di memoria e calcolo, permette a ricercatori e utenti con risorse limitate di effettuare il fine-tuning continuo di sistemi AI su larga scala.
2. Impatto Ambientale: La riduzione dell'uso di risorse contribuisce a una minore impronta ambientale per il deployment dei modelli.
3. Scalabilità Pratica: Offre una soluzione pratica per l'apprendimento lifelong in sistemi su larga scala, consentendo il riutilizzo delle risorse della community (adattatori LoRA) e supportando paradigmi di apprendimento asincroni e scalabili senza l'onere computazionale del tradizionale model merging.

Gli autori osservano che, sebbene l'attuale lavoro si concentri sul fine-tuning, il lavoro futuro mira a estendere Share per supportare l'apprendimento partendo da zero (from scratch).