Sintesi Tecnica: Little by Little: Continual Learning via Incremental Mixture of Rank-1 Associative Memory Experts

1. Problematica

L'Apprendimento Continuo (Continual Learning, CL) mira a consentire ai modelli di acquisire incrementalmente nuova conoscenza da un flusso di task senza subire l'oblio catastrofico. Sebbene i metodi di Parameter-Efficient Fine-Tuning (PEFT) come il Low-Rank Adaptation (LoRA) siano popolari per adattare i Large Pre-trained Models (PTM), il LoRA standard applica aggiornamenti densi che inevitabilmente perturbano gli spazi di rappresentazione dei task precedenti, portando a interferenza e oblio.

Approcci recenti hanno adottato framework di Mixture-of-Experts (MoE) con adattatori LoRA (MoE-LoRA) per isolare l'interferenza tra i task congelando i vecchi esperti e aggiungendone di nuovi. Tuttavia, il paper identifica che questi esistenti metodi MoE-LoRA operano a una granularità grossolana (coarse granularity). Trattando gli adattatori multi-rank LoRA come unità esperte singole e indivisibili, essi soffrono di tre problemi critici:

1. Interferenza: Gli esperti grossolani codificano informazioni a bassa specializzazione, costringendo sottospazi irrilevanti ad attivarsi per input specifici.
2. Ridondanza: I nuovi esperti non possono riutilizzare selettivamente specifici "atomi" di conoscenza dagli esperti precedenti, portando a un uso inefficiente della capacità e alla necessità di riapprendere interi blocchi.
3. Collasso del Routing/Retrieval: Man mano che il numero di esperti grossolani cresce, i router esterni faticano a indicizzare in modo affidabile il pool in espansione, portando ad ambiguità di routing, deriva (drift) e al definitivo collasso delle prestazioni degli esperti precedenti.

2. Metodologia: MoRAM

Gli autori propongono MoRAM (Mixture of Rank-1 Associative Memory), un framework che ridefinisce l'apprendimento continuo come l'espansione incrementale di un sistema di memoria parametrica composto da unità atomiche di rango 1 (rank-1).

Cambio Concettuale Fondamentale

Basandosi sulla visione secondo cui le matrici di peso agiscono come Memorie Associative Lineari (Kohonen, 1972), MoRAM tratta la matrice di peso $W$ non come un blocco monolitico, ma come una collezione di $m$ coppie chiave-valore atomiche $\{(k_i, v_i)\}$.

• Formulazione Chiave-Valore: Un aggiornamento di rango $r$ è decomposto in $r$ coppie atomiche di rango 1. Ogni coppia consiste in una Chiave ($A_{:,i}$) e un Valore ($B_{:,i}$).
• Retrieval Content-Addressable: Invece di un router esterno che impara dove inviare i dati, l'input $x$ attiva automaticamente gli atomi di memoria rilevanti tramite un punteggio di rilevanza intrinseco: $s_i = A_{:,i}x$. L'output è una somma pesata dei valori basata su questi punteggi.

Componenti Chiave

1. Esperti Rank-1 a Grana Fine:
   Invece di aggiungere un intero adattatore di rango $r$ per ogni task, MoRAM introduce $r$ nuove coppie atomiche di rango 1 per task. Questi atomi agiscono come esperti MoE a grana fine. Il modello congela i precedenti atomi e ne aggiunge di nuovi incrementalmente ("poco a poco").

2. Meccanismo di Auto-Attivazione:
   MoRAM elimina la necessità di una rete di routing esterna e addestrabile.

• Scoring della Rilevanza: La rilevanza del m-esimo atomo di memoria rispetto a un input $x$ viene calcolata direttamente tramite il prodotto scalare dell'input e del vettore Chiave dell'atomo ($A_{:,i}$).
• Normalizzazione: I punteggi sono normalizzati in $\ell_2$ attraverso l'intero ensemble di memoria per stabilità.
• Beneficio: Questo rimuove l'instabilità di ottimizzazione e l'oblio associati all'addestramento di reti di routing ausiliarie.

3. Routing Sparso e Specializzazione:
   Per prevenire l'interferenza e l'overhead computazionale, MoRAM impiega una strategia di selezione sparsa:

• Mascheramento Top-$k$: Solo i $k$ atomi con i punteggi di attivazione più elevati vengono mantenuti per un dato input.
• Temperature Scaling: Un iperparametro di temperatura $\tau_{MoRAM}$ viene applicato alla softmax per rendere più netta la distribuzione, concentrando i gradienti sugli atomi "specialisti" più rilevanti e accelerando la loro adattabilità.
• Pruning Basato su Soglia: Durante l'inferenza, gli atomi con punteggi di attivazione inferiori a una soglia $\delta$ vengono rimossi (pruned) per ridurre ulteriormente il rumore e il costo computazionale.

4. Espansione Incrementale:
   Per ogni nuovo task, il modello introduce un set di nuove coppie di rango 1, congela tutti gli atomi precedenti e permette al meccanismo di auto-attivazione di effettuare il routing attraverso l'unione delle memorie vecchie e nuove. Ciò consente al modello di riutilizzare la semantica condivisa (es. "cielo blu") pur specializzando i nuovi atomi per concetti specifici del task (es. "aeroplano").

3. Contributi Chiave

1. Framework MoRAM: Un nuovo framework di CL che tratta l'apprendimento come l'espansione di una memoria parametrica di unità associative di rango 1 e l'inferenza come recupero della memoria al tempo di test. Ciò consente un riutilizzo della conoscenza a grana fine con un'interferenza minima.
2. Routing Sparso Auto-Attivato: Decomponendo gli aggiornamenti in atomi di memoria di rango 1, il modello forma naturalmente un MoE a grana fine. Il meccanismo di auto-attivazione proposto elimina i router esterni, consentendo un retrieval sparso basato sul contenuto che evita il collasso del routing.
3. Superiorità Empirica: Valutazioni estese su benchmark di visione-linguaggio (CLIP) e Large Language Model (LLM) dimostrano che MoRAM supera significativamente i metodi allo stato dell'arte, raggiungendo migliori compromessi tra plasticità e stabilità e preservando le capacità di generalizzazione pre-addestrate.

4. Risultati Sperimentali

Il paper valuta MoRAM su diversi benchmark, tra cui X-TAIL (per CLIP), TRACE (per LLM) e task standard di classificazione del linguaggio.

• Vision-Language (CLIP): Sul benchmark X-TAIL, MoRAM raggiunge prestazioni state-of-the-art nelle metriche di accuratezza "Average" e "Last", superando metodi come MoE-Adapter, CoDyRA e RAIL-Primal. Migliora efficacementamente la rappresentazione senza richiedere ID di dominio esterni o banche di feature.
• Large Language Models (LLM): Sul benchmark TRACE utilizzando modelli LLaMA e Gemma, MoRAM dimostra prestazioni robuste con punteggi di Backward Transfer (BWT) significativamente più bassi (indicando meno oblio) rispetto a SeqLoRA, O-LoRA e TreeLoRA.
• Generalizzazione vs Oblio: Nel fine-tuning di generazione di codice (CodeAlpaca), gli aggiornamenti LoRA densi standard degradano le prestazioni su argomenti semanticamente distanti (es. Religioni Mondiali). MoRAM, isolando la nuova conoscenza in atomi indipendenti di rango 1, preserva la generalizzazione fuori dominio migliorando al contempo le prestazioni in-domain del codice.
• Efficienza: MoRAM ottiene prestazioni superiori utilizzando circa un terzo dei parametri attivi richiesti da uno standard rank-32 LoRA. Mantiene inoltre un basso utilizzo di memoria GPU e una latenza di inferenza comparabile ai metodi PEFT esistenti.

5. Significato e Rivendicazioni

Il paper sostiene che un apprendimento continuo ad alte prestazioni non richiede router esterni complessi o espansioni strutturali rigide. Al contrario, argomenta a favore di un cambio di paradigma verso il recupero preciso e content-addressable di memorie atomiche a basso rango.

• Mitigazione dell'Oblio Catastrofico: Trattando gli aggiornamenti come atomi di memoria indipendenti piuttosto che come blocchi intrecciati, MoRAM impedisce la sovrascrittura di concetti non correlati.
• Scalabilità: Il meccanismo di miscelazione auto-attivato e sparso permette al modello di scalare a molti task senza l'ambiguità di routing che affligge il MoE-LoRA a grana grossa.
• Efficienza: Il metodo riduce i requisiti di calcolo e memoria, rendendo la continua adattabilità di grandi modelli fattibile in contesti con risorse limitate.

Gli autori concludono che MoRAM offre un approccio "poco a poco" all'espansione della memoria, bilanciando efficacementamente plasticità e stabilità pur preservando la conoscenza generalizzata del modello pre-addestrato. Il lavoro futuro suggerisce di esplorare impostazioni di temperatura adattive basate sulla distribuzione dei dati e di estendere l'applicabilità a una gamma più ampia di PTM.