🤖 machine learning

GLAM: Efficient Continual Learning at Scale via Grouped LoRA Adapter Merging

GLAM è un framework di apprendimento continuo efficiente che addestra adattatori LoRA leggeri con scalari di importanza per ogni compito, per poi potarli, riscalarli e fonderli in moduli raggruppati al fine di raggiungere un'accuratezza allo stato dell'arte su lunghe sequenze di compiti riducendo significativamente i parametri addestrabili e i tempi di addestramento.

Autori originali: Irene Testa, Luigi Quarantiello, Eric Nuertey Coleman, Samrat Mukherjee, Julio Hurtado, Vincenzo Lomonaco

Pubblicato 2026-08-12

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Irene Testa, Luigi Quarantiello, Eric Nuertey Coleman, Samrat Mukherjee, Julio Hurtado, Vincenzo Lomonaco

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot brillante e super intelligente a riconoscere tutto il mondo, dal tuo gatto domestico a un uccello raro, fino a un tipo specifico di auto. Il robot inizia con un cervello enorme, pre-caricato, che sa già moltissime cose. Ma ecco la parte complicata: ogni volta che gli insegni qualcosa di nuovo, tende a diventare un po' "dimenticone", cancellando accidentalmente i ricordi di ciò che ha imparato ieri. Questo è un famoso problema dell'informatica chiamato "oblio catastrofico" (catastrophic forgetting). Di solito, per risolvere questo problema, dovresti riaddestrare l'intero cervello del robot da zero, il che richiede un tempo infinito e costa una fortuna in elettricità. Gli scienziati stanno cercando un modo per insegnare a questi robot nuovi trucchi senza far loro dimenticare i vecchi, sperando di costruire macchine capaci di apprendere continuamente, proprio come fanno gli esseri umani, senza la necessità di un enorme aggiornamento della memoria ogni singolo giorno.

Entra in scena GLAM, un nuovo metodo che agisce come un bibliotecario intelligente e organizzato per il cervello di questo robot. Invece di stipare ogni nuova lezione in un libro separato e ingombrante che occupa uno spazio infinito sugli scaffali, GLAM insegna al robot a scrivere piccoli appunti leggeri (chiamati "adapter"). Ma il trucco magico è questo: invece di conservare migliaia di questi appunti, GLAM raggruppa quelli simili, pota via gli scarabocchi disordinosi e poco importanti, e li fonde in un unico, ordinato riassunto. È come prendere una pila di 50 diversi diari di viaggio, leggerli e condensarli in un unico, perfetto manuale di viaggio che contenga tutti i migliori consigli senza essere pesante.

I ricercatori hanno scoperto che questo approccio è incredibilmente efficiente. Quando hanno testato GLAM su una sequenza di fino a 50 compiti diversi (come il riconoscimento di 50 diversi set di immagini), non solo ha imparato bene, ma ha imparato anche velocemente. Infatti, è stato circa tre volte più veloce da addestrare rispetto ai migliori metodi concorrenti e ha utilizzato solo circa il 20% della "potenza cerebrale addestrabile" (parametri) di cui avevano bisogno gli altri. Mentre altri metodi faticavano a tenere il passo con l'aumentare dei compiti, GLAM è rimasto lucido, raggiungendo l'accuratezza più alta in tutti i test eseguiti. Ha dimostato che è possibile far imparare nuove cose a un robot per un lungo periodo senza che dimentichi il passato o abbia bisogno di un supercomputer per fare i calcoli.

Il Problema: La Memoria Corta del Robot

Pensa a un modello di IA moderno come a un cervello gigante, pre-addestrato, che ha già letto l'intero internet. È incredibile, ma ha un difetto: se provi a insegnargli qualcosa di nuovo, come riconoscere una razza specifica di cane, spesso si confonde e dimentica come riconoscere il gatto che conosceva prima. Questo è il problema dell' "oblio".

Per fermare questo fenomeno, gli scienziati di solito cercano di congelare le parti principali del cervello e permettono solo a una piccola sezione speciale di imparare le cose nuove. Questo è chiamato LoRA (Low-Rank Adaptation). Immagina che il cervello sia una biblioteca gigante, e LoRA sia come aggiungere un piccolo post-it a uno scaffale specifico invece di riscrivere l'intero libro. È efficiente, ma se hai 5otti diversi, ti ritrovi con 50 post-it differenti. Gestire 50 note è disordinoso, e se provi a leggerle tutte insieme, rallenti il robot.

La Soluzione GLAM: Il Gioco del Raggruppamento

GLAM (Grouped LoRA Adapter Merging) cambia le regole del gioco organizzando questi post-it in squadre. Ecco come funziona, passo dopo passo:

La Nuova Lezione: Quando il robot impara un nuovo compito, GLAM crea un appunto minuscolo e leggero (un adapter) apposta per quel lavoro. Gli assegna anche un "punteggio di importanza" per dire quanto è importante.
Il Raggruppamento: Invece di tenere ogni nota separata, GLAM assegna casualmente la nuova nota a uno di pochi "gruppi" (come mettere un nuovo libro su uno di cinque scaffali specifici).
La Pulizia (Pruning): Prima che la nota venga aggiunta al gruppo, GLAM esegue una rapida pulizia. Esamina la nota e scarta le parti deboli e poco importanti (il "rumore"), mantenendo solo le informazioni forti e chiare. Questo evita che le note diventino disordinate o interferiscano tra loro.
La Fusione (Merge): La nuova nota, una volta pulita, viene delicatamente fusa nel riassunto esistente del gruppo. Il riassunto del gruppo viene aggiornato per includere la nuova informazione, ma rimane comunque un'unica nota.
Il Risultato Finale: Alla fine, tutti i riassunti dei gruppi vengono combinati in un unico modulo super efficiente. Il robot non ha bisogno di guardare 50 note; deve solo guardare un riassunto compatto che contiene tutto ciò che ha imparato.

Perché è una Grande Novità

I ricercatori hanno testato questo metodo su tre diversi dataset di immagini: CIFAR-100 (100 tipi di oggetti), CUB-200 (200 tipi di uccelli) e ImageNet-R (200 tipi di immagini artistiche). Hanno fatto imparare al robot sequenze di fino a 50 compiti, molto più lunghi dei test standard da 10 compiti usati solitamente dagli scienziati.

I risultati sono stati impressionanti:

Velocità: GLAM ha addestrato circa 3 volte più velocemente del miglior metodo concorrente (CL-LoRA).
Dimensioni: Ha utilizzato solo il 16–19% dei parametri addestrabili rispetto al miglior baseline.
Accuratezza: Ha ottenuto i punteggi più alti su tutti e tre i dataset. Ad esempio, sul dataset degli uccelli CUB-200, ha raggiunto un'accuratezza del 70,96%, superando il secondo miglior metodo con un margine significativo.
Oblio: Ha dimenticato meno degli altri. Mentre alcuni metodi hanno dimenticato circa il 33% di ciò che avevano imparato, GLAM ha dimenticato solo il 20% sullo stesso dataset.

L'articolo suggerisce che questa strategia di "raggruppamento e fusione" è la chiave per creare un'IA capace di apprendere continuamente senza restare bloccata. Mantenendo basso il numero di note attive e pulendole man mano che procedono, GLAM permette al robot di imparare una lunga sequenza di compiti in modo efficiente, senza dover ricordare ogni singolo dettaglio separatamente. È un passo verso macchine che possono davvero imparare e crescere nel tempo, proprio come noi.

=== RIEPILOGO TECNICO ===

Riepilogo Tecnico: GLAM – Apprendimento Continuo Efficiente su Larga Scala tramite il Raggruppamento e la Fusione di Adapter LoRA

Definizione del Problema

L'apprendimento continuo (Continual Learning, CL) mira a consentire ai modelli di apprendere incrementalmente da sequenze di task preservando la conoscenza precedentemente acquisita, affrontando il persistente problema dell'oblio catastrofico. Sebbene i grandi modelli pre-addestrati (Foundation Models) offrano rappresentazioni ricche che mitigano parzialmente l'oblio, essi faticano ad adattarsi efficientemente a distribuzioni di dati in evoluzione senza incorrere in costi computazionali proibitivi.

Le attuali metodologie di Fine-Tuning Parametrico Efficiente (PEFT), in particolare la Low-Rank Adaptation (LoRA), sono tipicamente progettate per scenari statici a task singolo. Applicare LoRA al CL presenta tre sfide chiave:

Oblio Catastrofico: Prevenire la perdita di conoscenza dai task precedenti.
Trasferimento della Conoscenza: Consentire un efficace trasferimento tra task correlati.
Scalabilità: Allocare i parametri in modo efficiente all'aumentare del numero di task.

Gli approcci CL basati su LoRA attuali spesso memorizzano adapter separati per ogni task (richiedendo identificatori di task durante l'inferenza) o impiegano strategie di isolamento complesse che limitano il trasferimento della conoscenza. In alternativa, i metodi di fusione post-hoc consolidano gli adapter solo dopo l'addestramento, limitando il trasferimento durante la fase di apprendimento e spesso facendo affidamento su coefficienti manuali ottimizzati e subottimali. Inoltre, molti metodi esistenti trattano gli adapter in modo indipendente, non supportando l'apprendimento condiviso o il riutilizzo adattivo, e incorrono in elevati costi di addestramento man mano che le sequenze di task si allungano.

Metodologia: GLAM

Gli autori propongono GLAM (Grouped LoRA Adapter Merging), un framework progettato per l'apprendimento continuo incrementale di classe che raggruppa e fonde dinamicamente gli adapter man mano che i task si susseguono, senza richiedere l'accesso ai campioni dei task precedenti. Il metodo opera attraverso una pipeline a tre stadi:

1. Addestramento LoRA Specifico per il Task

Per ogni nuovo task $T_i$ , GLAM addestra un adapter LoRA leggero e specifico per il task $\Delta W_i = B_i A_i$ insieme a uno scalare di importanza associato $\alpha_i$ .

Ottimizzazione: L'adapter $\Delta W_i$ e il suo scalare $\alpha_i$ sono ottimizzati sul dataset corrente $D_i$ .
Congelamento: I pesi pre-addestrati base $W_0$ e i precedenti adapter di gruppo appresi $\{\Delta W_{G_j}\}$ sono mantenuti congelati.
Scaling Dinamico: I fattori di scala degli esistenti adapter di gruppo $\{\alpha_{G_j}\}$ sono aggiornati durante l'addestramento del nuovo task per mantenere un'importanza relativa bilanciata.
Mascheramento del Classificatore: I logit per le classi al di fuori del task corrente sono mascherati per ottimizzare solo i parametri del classificatore rilevanti.

2. Raggruppamento degli Adapter (Adapter Grouping)

Per prevenire una crescita illimitata dei parametri, GLAM impiega una strategia di raggppruppamento dinamico invece di mantenere un modulo separato per ogni task.

Associazione al Gruppo: Al completamento dell'addestramento per il task $T_i$ , il nuovo adapter viene assegnato a un gruppo $G_j$ tramite una strategia di campionamento casuale da un set di slot di gruppo disponibili (fino a un massimo $G_{max}$ ). Se lo slot è vuoto, viene inizializzato un nuovo gruppo; altrimenti, l'adapter si unisce a un gruppo esistente.
Aggregazione dell'Importanza: Ogni gruppo mantiene un singolo fattore di scala $\alpha_{G_j}$ , aggiornato come media mobile dei fattori di importanza di tutti gli adapter assegnati ad esso.
Pruning Basato sulla Magnitudo: Prima della fusione, l'adapter in entrata subisce un pruning basato sulla magnitudo. Solo il top- $k\%$ dei pesi (per valore assoluto) nelle matrici $B_i$ e $A_i$ viene mantenuto. Questo passaggio riduce l'interferenza da componenti deboli o ridondanti senza l'alto costo computazionale dei criteri basati su Fisher.
Fusione Intra-Gruppo: L'adapter sottoposto a pruning viene fuso linearmente con l'adapter di gruppo corrente $\Delta W_{G_j}$ utilizzando una media ponderata basata sulla dimensione del gruppo. Ciò consolida molteplici aggiornamenti specifici per task in una singola rappresentazione a livello di gruppo.

3. Allineamento del Classificatore e Concatenazione Finale

Allineamento del Classificatore: Per mitigare il bias verso le classi apprese di recente, viene eseguita una fase di allineamento del classificatore. Caratteristiche sintetiche vengono campionate da statistiche gaussiane memorizzate (media e varianza) delle caratteristiche delle classi di tutti i task visti. Il classificatore lineare finale viene ri-addestrato su queste caratteristiche sintetiche mentre l'estrattore di caratteristiche rimane congelato.
Concatenazione Finale: All'inferenza, tutti gli adapter di gruppo sono combinati in un unico modulo unificato. Ciò avviene scalando ogni adapter di gruppo per il suo fattore di importanza $\alpha_{G_j}$ e concatenandoli lungo la dimensione del rank. Il modello risultante ha un singolo adapter compatto $\Delta W_{final}$ , garantendo un costo computazionale costante indipendentemente dal numero di task.

Contributi Chiave

Metodologia CL Scalabile: Un approccio innovativo per i Foundation Models che sfrutta le tecniche PEFT, combinando l'adattamento specifico per task con un meccanismo per apprendere congiuntamente i moduli LoRA e i loro coefficienti di importanza.
Pipeline di Fusione Progressiva: Una strategia che consolida gli adapter specifici per task in un set limitato di adapter di gruppo. Questo controlla la crescita dei parametri e mitiga l'interferenza di fusione su lunghe sequenze di task attraverso il raggruppamento sequenziale e il pruning basato sulla magnitudo.
Validazione Empirica: Esperimenti estesi su diversi benchmark (CIFAR-100, CUB-200, ImageNet-R) che dimostrano prestazioni allo stato dell'arte in scenari di CL dinamico con lunghe sequenze di task (fino a 50 task), riducendo significativamente il tempo di addestramento e i parametri addestrabili rispetto ai solidi baseline.

Risultati Sperimentali

Gli autori hanno valutato GLAM su benchmark standard utilizzando sequenze fino a 50 task, un setting significativamente più impegnativo rispetto ai tipici protocolli a 10 task presenti nella letteratura recente.

Accuratezza e Oblio: GLAM ha raggiunto la massima accuratezza media su tutti e tre i benchmark. Rispetto al baseline con le migliori prestazioni (che varia per dataset e metrica, ad esempio, CL-LoRA su CIFAR-100, SEMA su ImageNet-R), GLAM ha ottenuto un aumento medio di accuratezza del 6% e una riduzione dell'oblio dell'8%. Ad esempio, su CIFAR-100, GLAM (84.73%) ha superato significativamente CL-LoRA (77.56%), mentre su CUB-200, GLAM (70.96%) ha superato CL-LoRA (61.49%).
Efficienza: GLAM ha dimostrato una superiore efficienza computazionale. Ha ottenuto un incremento della velocità di addestramento di circa 3× rispetto al baseline con le migliori prestazioni, utilizzando solo il 16–19% dei parametri addestrabili utilizzati dallo stesso (ad esempio, ~3.6M di parametri per GLAM contro ~19.2M per CL-LoRA su CIFAR-100).
Scalabilità: All'aumentare del numero di task da 10 a 50, GLAM ha mantenuto prestazioni robuste con una degradazione minima, mentre i metodi concorrenti hanno mostrato cali di accuratezza evidenti.
Studi di Ablazione: Le analisi hanno confermato l'efficacia della strategia di fusione sequenziale a due fasi. Il raggruppamento casuale è risultato efficace quanto le strategie di clustering più complesse, e il pruning basato sulla magnitudo si è dimostrato efficace nel ridurre l'interferenza.

Significato e Rivendicazioni

Il paper posiziona GLAM come un passo significativo verso l'apprendimento a vita (lifelong learning) nei foundation models. Affrontando il collo di bottiglia della scalabilità dei metodi CL basati su PEFT esistenti, GLAM consente l'aggiunta continua di nuova conoscenza senza l'esplosione lineare di parametri o costi computazionali.

Gli autori affermano che GLAM offre una soluzione pratica per scenari del mondo reale dove i modelli devono adattarsi a lunghe sequenze di task sotto vincoli di tempo e budget di risorse. Il metodo bilancia con successo il compromesso stabilità-plasticità, preservando la conoscenza dei task precedenti e integrando efficientemente le nuove informazioni, il tutto mantenendo un costo di inferenza costante attraverso la concatenazione finale degli adapter. Il lavoro suggerisce che il raggruppamento e la fusione dinamica, piuttosto che l'isolamento statico o la consolidazione post-hoc, siano una via percorribile per un apprendimento continuo efficiente e su larga scala.