Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning

Riepilogo Tecnico: Rivitalizzare l'Inizio: Evitare la Dipendenza dall'Archiviazione per la Fusione di Modelli nell'Apprendimento Continuo

1. Enunciato del Problema

L'Apprendimento Continuo (CL) mira a consentire ai modelli di acquisire nuove conoscenze in sequenza senza dimenticare catastroficamente. Sebbene la Fusione di Modelli (Model Merging) sia emersa come un paradigma privo di addestramento per integrare competenze specializzate in un unico modello multi-compito, i metodi esistenti affrontano un conflitto critico con i vincoli di memoria rigorosi del CL. La maggior parte delle tecniche di fusione attuali (ad esempio, Model Stock, TIES, MagMax) richiede l'accesso a tutti i vettori dei compiti precedenti e al modello iniziale durante la fase di fusione. Questo è funzionalmente equivalente all'archiviazione dell'intero insieme di esperti precedenti, violando il principio del CL che vieta il mantenimento di dati o modelli storici.

Gli autori dimostrano che, sotto vincoli CL rigorosi — dove è disponibile solo l'esperto corrente e il modello appena fuso — i metodi esistenti subiscono un degrado delle prestazioni catastrofico (fino al 6%). Attraverso esperimenti diagnostici, il documento individua tre cause profonde di questo fallimento:

1. Convergenza Locale Subottimale: I metodi esistenti danno priorità all'allineamento globale, causando l'insediamento dei modelli fusi in regimi ad alta perdita, lontani dai bacini ottimali dei singoli compiti, portando all'accumulo di errori specifici per compito.
2. Interruzione della Rappresentazione Semantica Strutturale: La fusione lineare frantuma le delicate dipendenze funzionali tra i livelli, causando una significativa deriva semantica, in particolare nei livelli più profondi dove sono codificate le semantiche specifiche per compito.
3. Perdita di Plasticità Ottimizzativa: I modelli fusi spesso mostrano un "irrigidimento direzionale", dove la deviazione angolare del gradiente è minimizzata. Ciò indica che il modello è intrappolato in regioni patologicamente piatte del paesaggio della perdita, risultando in gradienti che svaniscono e nell'incapacità di adattarsi ai compiti successivi.

2. Metodologia: Fusione con Regularizzazione della Traiettoria (TRM)

Per affrontare queste limitazioni senza archiviare dati storici, gli autori propongono la Fusione con Regularizzazione della Traiettoria (TRM). Questo framework riformula la fase di fusione come un problema di ottimizzazione guidato all'interno di un sottospazio di traiettoria aumentato.

Costruzione del Sottospazio Aumentato:
Invece di cercare una soluzione esclusivamente all'interno dello span lineare 1D del vettore del compito corrente ($\tau_t$) e del vettore del compito precedente ($\tau_{t-1}$), TRM introduce un vettore di perturbazione $P$ ortogonale allo span di questi vettori. Questa espansione compensa le informazioni perse a causa dei vincoli di archiviazione, permettendo alla ricerca di esplorare regioni più elastiche dello spazio dei parametri non convesso. Il vettore del compito fuso è formulato come:
$$\tau_{mrg}^t(\alpha, \beta) = \alpha \cdot \tau_t + (1-\alpha) \cdot \tau_{t-1} + \beta \cdot P$$
dove $\alpha$ e $\beta$ sono rispettivamente i coefficienti di interpolazione ed espansione.

Segnale di Supervisione Multi-Obiettivo:
Per identificare i coefficienti ottimali $\{\alpha, \beta\}$, TRM ottimizza una funzione obiettivo unificata composta da tre vincoli sinergici:

1. Allineamento al Compito ($L_{align}$): Minimizza il rischio empirico (perdita di entropia incrociata) sul compito corrente. Ciò garantisce che il modello fuso rimanga ancorato alla competenza più recente, prevenendo lo spostamento dai bacini locali ad alta precisione.
2. Coerenza delle Previsioni ($L_{pre}$): Minimizza la distanza L2 livello per livello tra le rappresentazioni nascoste del modello fuso e il centroide funzionale del modello fine-tuned corrente e del modello consolidato precedente. Viene applicato uno schema di ponderazione progressiva, dando priorità ai livelli superiori dove risiedono le semantiche specifiche per compito, per prevenire la deriva semantica strutturale.
3. Responsività del Gradiente ($L_{res}$): Massimizza la norma quadrata del gradiente sul compito corrente. Basandosi sull'osservazione che esistono sovrapposizioni di caratteristiche di basso livello tra compiti sequenziali, massimizzare la norma del gradiente sul compito corrente riattiva la responsività cinetica del modello, assicurando che non sia intrappolato in regioni piatte e mantenga la plasticità per i compiti futuri.

La perdita totale è definita come $L_{total} = L_{align} + \lambda_1 L_{pre} + \lambda_2 L_{res}$. Inoltre, per prevenire una convergenza precoce verso ottimi locali durante la ricerca, l'inizializzazione comporta un incrocio stocastico dei parametri dai modelli precedente e corrente.

3. Contributi Chiave

Il documento delinea quattro contributi principali:

• Identificazione delle Limitazioni: Evidenzia che i metodi esistenti di fusione di modelli non aderiscono pienamente ai principi del CL e subiscono un degrado significativo delle prestazioni quando l'archiviazione delle conoscenze non è consentita.
• Analisi Teorica: Analizza le cause di questo divario (perdita di ottimalità locale, deriva semantica e perdita di plasticità) e riformula la fusione come un problema di ricerca del punto ottimale all'interno di un sottospazio di traiettoria aumentato ortogonalmente.
• Nuovo Framework: Propone TRM, un metodo guidato da tre vincoli (allineamento al compito, coerenza delle previsioni e responsività del gradiente) per armonizzare la stabilità storica con la plasticità futura senza fare affidamento su modelli archiviati o replay di dati.
• Validazione Empirica: Dimostra prestazioni all'avanguardia su molteplici benchmark sotto vincoli CL rigorosi.

4. Risultati Sperimentali

Gli autori hanno valutato TRM su tre dataset: CIFAR100, ImageNet-R e Stanford Cars, utilizzando l'apprendimento incrementale per classe (CIL) con un numero variabile di compiti (5, 10 e 20). Lo scheletro utilizzato è stato CLIP ViT-B/16.

• Prestazioni: TRM ha ottenuto risultati all'avanguardia nella maggior parte delle configurazioni. Su ImageNet-R, ha superato i metodi SOTA precedenti con margini dal 1,4% al 3,4% su 5, 10 e 20 compiti. Su CIFAR100, ha migliorato il SOTA precedente del 3,1% (5 compiti) e del 1,5% (10 compiti).
• Studi di Ablazione: La rimozione di uno qualsiasi dei tre vincoli ha portato a cali delle prestazioni, confermando che stabilità (allineamento/coerenza) e plasticità (responsività) si rafforzano a vicenda.
• Scalabilità: Esperimenti su ImageNet1K su larga scala (100 compiti) e su diversi scheletri (ViT-L/14, ViT-B/16 pre-addestrato su LAION) hanno confermato la robustezza e la scalabilità del metodo.
• Efficienza: Sebbene TRM introduca un leggero aumento del tempo di addestramento rispetto ad alcune baseline (ad esempio, 33 minuti contro 30 minuti su ImageNet-R), ottiene guadagni significativi nelle prestazioni con un sovraccarico minimo.
• Stabilità dell'Ottimizzazione: L'analisi della norma spettrale dell'Hessiana ha mostrato che TRM mantiene una curvatura del paesaggio della perdita moderata e stabile, evitando la nitidezza patologica associata a una scarsa generalizzazione.

5. Significato e Affermazioni

Il documento afferma che TRM colma con successo il divario tra i benefici teorici della fusione di modelli e i vincoli pratici dell'apprendimento continuo. Evitando la necessità di archiviare vettori di compiti storici o di riprodurre dati, TRM offre una soluzione scalabile e rispettosa della privacy per l'integrazione di competenze specializzate. Gli autori affermano che il loro metodo mitiga efficacemente la dimenticanza catastrofica nei flussi di dati continui rivitalizzando l'"inizio" della fase di addestramento successiva — assicurando che il modello fuso parta da uno stato che è sia stabile (mantenendo le conoscenze precedenti) sia plastico (pronto per una nuova ottimizzazione). Il lavoro suggerisce che riformulare la fusione come un'ottimizzazione vincolata all'interno di un sottospazio aumentato è una strada percorribile per il CL, andando oltre le semplici euristiche di interpolazione lineare.