Riepilogo Tecnico: MoRe: Rappresentazioni Modulari per l'Apprendimento Continuo di Rappresentazioni Principiato su Dati Sequenziali

1. Definizione del Problema

Il documento affronta la sfida dell'Apprendimento Continuo (CL), in particolare il problema della dimenticanza catastrofica quando i modelli si adattano a nuovi dati in sequenza. Gli autori sostengono che i metodi CL esistenti (sia supervisionati che non supervisionati) si basano largamente su strategie euristiche—come vincoli sui parametri, replay, distillazione o isolamento architetturale—per decidere cosa preservare e cosa aggiornare. Questi approcci trattano spesso la decisione su "cosa aggiornare" come un problema a livello di compito o di parametro, piuttosto che come un problema rappresentazionale.

La questione centrale identificata è che i compiti richiedono rappresentazioni distinte ma strutturate che possano essere aggiornate selettivamente senza disturbare la conoscenza esistente. Tuttavia, i metodi attuali mancano di un criterio principiato, radicato nella struttura intrinseca dei dati, per determinare quali parti di una rappresentazione dovrebbero essere riutilizzate rispetto a quelle sostituite. Il documento ipotizza che, per i dati sequenziali, le dipendenze con ritardo temporale forniscano un segnale naturale per scoprire l'organizzazione intrinseca dei dati, rivelando come le rappresentazioni fondamentali diano origine a quelle specifiche.

2. Metodologia: Framework MoRe

Gli autori propongono MoRe (Rappresentazioni Modulari), un framework per l'apprendimento continuo di rappresentazioni principiato. A differenza dei metodi che allocano la modularità a livello architetturale (ad esempio, reti separate per ogni compito), MoRe identifica la modularità all'interno della rappresentazione stessa.

2.1 Modello Generativo e Assunzioni

MoRe assume che i dati siano generati da un processo gerarchico in cui le variabili latenti $Z_t$ sono organizzate in $d$ livelli ($Z^1_t, \dots, Z^d_t$):

• Gerarchia: I livelli superiori codificano conoscenze fondamentali e agnostiche al dominio (ad esempio, principi fisici), mentre i livelli inferiori catturano informazioni specializzate e specifiche del dominio.
• Dipendenze Unidirezionali con Ritardo Temporale: Gli effetti tra livelli fluiscono in modo unidirezionale dai livelli fondamentali a quelli specifici con un ritardo temporale (ad esempio, $Z^i_t$ dipende da $Z^j_{t-\tau}$ dove $j < i$). Le dipendenze istantanee tra livelli sono vietate.
• Dipendenze Intra-livello: Le dipendenze all'interno dello stesso livello sono illimitate.

2.2 Garanzie Teoriche (Identificabilità)

Un contributo centrale è la dimostrazione che questa specifica struttura generativa consente l'identificabilità del processo latente:

• Teorema 1 (Identificabilità delle Variabili Latenti): In condizioni di densità regolare e variabilità sufficiente, le relazioni istantanee assicurano che le variabili latenti possano essere mescolate solo all'interno dello stesso livello, non tra livelli diversi.
• Teorema 2 (Identificabilità dell'Ordine Gerarchico): Gli effetti unidirezionali con ritardo temporale tra livelli vincolano le permutazioni ammissibili dei livelli. La gerarchia è identificabile fino a un "ordine compatibile" (un ordine che non inverte i veri effetti con ritardo temporale).
• Corollario 1: Combinando questi elementi, l'intero processo latente è identificabile fino a indeterminazioni intra-livello e ordine gerarchico compatibile. Questo trasforma i moduli da costrutti euristici in oggetti ben definiti, consentendo decisioni principiate su riutilizzo ed espansione.

2.3 Algoritmo di Adattamento

MoRe impiega una procedura di adattamento in due fasi per nuovi dataset $D_k$:

1. Adattamento e Valutazione (Solo Inferenza):

   • I nuovi dati sono proiettati nel sistema di coordinate esistente utilizzando il codificatore precedente $f_{k-1}$.
   • Punteggio di Auto-coerenza: Ogni modulo esistente viene valutato ($a_j$) in base alla conservazione della sua struttura generativa assunta (autocorrelazione temporale e indipendenza condizionale dai residui di altri moduli) nei nuovi dati.
   • Analisi dei Residui: Il residuo di ricostruzione nello spazio delle osservazioni viene analizzato per identificare nuove coordinate candidate ($V_{new}$) ortogonali alla base esistente, portando alla luce strutture mancanti.

2. Aggiornamento Selettivo:

   • Meccanismo di Gate: Ogni modulo (esistente e nuovo candidato) è associato a un gate Hard Concrete ($g_j$). Il punteggio di auto-coerenza $a_j$ inizializza il prior del gate (alto $a_j$ $\rightarrow$ logit positivo; basso $a_j$ $\rightarrow$ logit negativo).
   • Allineamento: Una matrice di allineamento apprendibile $T$ (inizializzata come identità) consente piccoli aggiustamenti delle coordinate ai moduli riutilizzati senza un riaddestramento completo.
   • Funzione Obiettivo: La perdita combina l'adattamento ai dati (verosimiglianza del cambio di variabili), un regolarizzatore di allineamento ($\|T - I\|_F^2$) e penalità di sparsità sui gate ($L_0$) e sui nuovi blocchi di transizione ($J_{new}$).
   • Impegno: Al termine dell'addestramento, i gate vengono binarizzati. I moduli con $g_j=0$ vengono disattivati (ma mantenuti nella libreria), e i nuovi moduli con $g_j=1$ vengono aggiunti.

3. Contributi Chiave

1. Framework MoRe: Un metodo per decomporre le rappresentazioni in una gerarchia di moduli fondamentali e specifici che riflette il processo di generazione dei dati piuttosto che i confini dei compiti.
2. Garanzie di Identificabilità: Dimostrazioni teoriche che mostrano come, sotto dipendenze con ritardo temporale tra livelli, la struttura modulare gerarchica sia identificabile, fornendo una base principiata per decidere quali moduli riutilizzare o espandere.
3. Procedura di Adattamento: Un algoritmo in due fasi che interpreta i nuovi dati attraverso i moduli esistenti, li valuta per coerenza e li allinea, mantiene o espande selettivamente utilizzando gate apprendibili.
4. Validazione Empirica: Dimostrazioni su benchmark sintetici e dati reali di attivazione di Modelli Linguistici su larga scala (LLM) che mostrano una struttura gerarchica interpretabile e migliorati compromessi plasticità-stabilità.

4. Risultati Sperimentali

4.1 Benchmark Sintetici

• Identificabilità (S-RQ1): MoRe ha recuperato con successo fattori latenti attraverso dimensioni variabili (fino a 128) e profondità (fino a 4 livelli) sia in contesti lineari che non lineari, raggiungendo alti Coefficienti di Correlazione Media (MCC > 0,9).
• Plasticità-Stabilità (S-RQ2): In scenari di transizione che coinvolgono nuovi fattori o fattori mancanti, MoRe ha raggiunto una dimenticanza vicina allo zero o negativa (migliorando il recupero dei fattori vecchi) mantenendo una plasticità comparabile al fine-tuning. Studi di ablazione hanno confermato che la matrice di allineamento $T$ è critica per proteggere le rappresentazioni vecchie.
• Allocazione dei Fattori (S-RQ3): MoRe ha instradato correttamente i fattori verso moduli riutilizzati o nuovi. Nei casi "difficili" di selezione in cui vecchi e nuovi fattori si sovrapponevano parzialmente, l'accuratezza del gate è scesa a 0,5, riflettendo un'ambiguità intrinseca, ma ha richiesto penalità di sparsità sia sui gate vecchi che su quelli nuovi per funzionare correttamente.

4.2 Attivazioni LLM Reali

• Emergenza Gerarchica (RW-RQ1): Applicato alle attivazioni di Pythia-1.4B e Gemma-2-9B su dataset come ArXiv, AMPS e Wikipedia, MoRe ha scoperto una struttura "dal generale allo specifico".
  • Concentrazione dei Concetti: Sul dataset AMPS (curricolo matematico), i livelli inferiori ($L_0$) hanno mostrato una maggiore concentrazione dei concetti (specificità rispetto ai livelli di difficoltà) rispetto ai livelli superiori, allineandosi alla gerarchia del curricolo.
  • Collegamenti tra Livelli: I collegamenti estratti dalla matrice B hanno mostrato transizioni da concetti fondamentali (ad esempio, aritmetica) a concetti specifici (ad esempio, algebra lineare) in AMPS, e da matematica astratta a domini applicati in ArXiv.
• Efficienza delle Etichette (RW-RQ2): I sonde lineari addestrate su rappresentazioni MoRe congelate hanno superato i baseline PCA in contesti few-shot. Ad esempio, MoRe ha raggiunto prestazioni equivalenti a quelle di PCA con 256 dimensioni utilizzando solo 64 dimensioni da un singolo livello e la metà dei dati etichettati.

5. Significato e Affermazioni

Il documento afferma che la sfida centrale dell'apprendimento continuo è rappresentazionale. Radicando il processo di adattamento nella struttura identificabile dei dati (in particolare, le dipendenze con ritardo temporale tra livelli), MoRe offre un'alternativa principiata all'isolamento euristico basato su compiti o parametri.

• Fondamento Principiato: Il framework suggerisce che l'adattamento continuo non dovrebbe essere guidato dalle etichette dei compiti, ma dall'organizzazione intrinseca dei dati, consentendo il riutilizzo di mattoni fondamentali mentre si espandono i componenti specifici.
• Interpretabilità: La gerarchia appresa è interpretabile, riflettendo la transizione da principi generali ad applicazioni specifiche, come dimostrato dall'allineamento con gerarchie definite dall'uomo nei dataset reali.
• Efficienza: Il metodo dimostra che rappresentazioni ricche, una volta apprese, consentono un adattamento a valle efficiente in termini di etichette, richiedendo solo pochi campioni per assemblare rappresentazioni per nuovi compiti.

Gli autori rimangono modesti riguardo alle limitazioni, notando che l'implementazione attuale utilizza istanze lineari e che le assunzioni teoriche (ritardi unidirezionali, sparsità) potrebbero essere soddisfatte solo approssimativamente nella pratica. Considerano questo lavoro un passo fondazionale verso un sistema completo di apprendimento continuo, lasciando la stabilità a lungo orizzonte e la scalabilità non lineare per ricerche future.