Sintesi Tecnica: FOGO (Forgetting-aware Orthogonalization Optimizer)

1. Definizione del Problema

Il paper sostiene che l'oblio (forgetting) non sia meramente un modo di fallimento specifico dell'apprendimento continuo (CL), ma un fenomeno di ottimizzazione fondamentale inerente all'addestramento stocastico standard. Gli autori postulano che, durante l'addestramento standard, i gradienti dominanti dei mini-batch sopprimano direzioni di aggiornamento rare ma utili, causando un oblio a breve termine ad ogni step. Quando queste direzioni soppresse non vengono rivisitate, le perdite si accumulano in un oblio a lungo termine, che è il classico modo di fallimento dell'apprendimento continuo.

Le soluzioni esistenti spesso trattano l'addestramento standard e l'apprendimento sequenziale di task come problemi separati. I metodi basati sull'interferenza del gradiente (ad es., OGD, GEM) tentano di risolvere i conflitti, ma spesso si affidano alla memorizzazione di dati grezzi o basi di gradiente a pieno rango, che non scalano su modelli da miliardi di parametri. Al contrario, gli ottimizzatori "matrix-aware" (ad es., Muon) migliorano il condizionamento tramite ortogonalizzazione, ma mancano di meccanismi per preservare esplicitamente le direzioni di aggiornamento storiche nel tempo.

2. Metodologia: FOGO

Gli autori introducono FOGO, un ottimizzatore scalabile progettato per rilevare e risolvere continuamente l'interferenza del gradiente sia nei regimi di apprendimento standard che in quelli di apprendimento continuo. FOGO opera senza memorizzare dati grezzi, affidandosi invece a una memoria compatta e proiettata delle direzioni del gradiente.

Meccanismi Core

1. Ortogonalizzazione Spettrale:
   FOGO ortogonalizza gli aggiornamenti del momentum per evitare che le direzioni singolari dominanti monopolizzino la traiettoria di ottimizzazione. Appiattendo lo spettro singolare (utilizzando iterazioni di Newton–Schulz), assicura che le direzioni più deboli ma coerenti rimangano visibili e contribuiscano all'aggiornamento, anziché essere sovrascritte da modi ad alta energia.

2. Momentum a Doppio Flusso (Dual-Stream Momentum):
   Per catturare sia i trend stabili che le direzioni emergenti, FOGO mantiene due stati di momentum:

   • Flusso Lento ($B^{(s)}$): Cattura i trend persistenti.
   • Flusso Veloce ($B^{(f)}$): Traccia i cambiamenti recenti.
     Questi sono fusi tramite interpolazione sferica (SLERP) per bilanciare plasticità e stabilità.

3. Memoria Direzionale Compatta tramite Proiezione Casuale:
   Invece di memorizzare i gradienti grezzi, FOGO proietta gli aggiornamenti ad alta dimensione in uno spazio a bassa dimensione ($d \ll |\theta|$) utilizzando una matrice di proiezione casuale di Rademacher fissa $\Pi$.

   • Base Teorica: Sfruttando il lemma di Johnson–Lindenstrauss, questa proiezione preserva le distanze a coppie tra i vettori di gradiente con alta probabilità, mantenendo la struttura geometrica della distribuzione del gradiente.
   • Codebook: Gli aggiornamenti proiettati sono riassunti in un codebook sferico (centroidi) utilizzando statistiche di Media Mobile Esponenziale (EMA). Questo codebook funge da memoria di direzioni passate rappresentative.

4. Risoluzione dei Conflitti:
   Ad ogni step, FOGO confronta l'aggiornamento ortogonalizzato corrente con il codebook per risolvere i conflitti:

   • Filtraggio a Breve Termine: Identifica e sopprime le componenti che sono anti-allineate (in conflitto) con le direzioni memorizzate o eccessivamente allineate (con rischio di collasso) con le direzioni locali dominanti. Ciò avviene tramite una correzione ortogonale leggera nello spazio proiettato.
   • Protezione a Lungo Termine: Dopo il completamento di un task, i centroidi importanti vengono congelati con pesi di importanza. Durante i task successivi, gli aggiornamenti sono vincolati per rimanere quasi ortogonali a queste direzioni congelate, prevenendo l'oblio catastrofico delle conoscenze sensibili dei task passati.

5. Sollevamento Prossimale (Proximal Lifting):
   Poiché la proiezione casuale $\Pi$ non è invertibile, l'aggiornamento corretto nello spazio proiettato viene riportato (lifted) nello spazio dei parametri originale ad alta dimensione tramite un passo di minimi quadrati prossimale. Ciò assicura che la correzione sia coerente con i vincoli proiettati minimizzando al contempo la distorsione nello spazio originale.

3. Contributi Chiave

• Visione Unificata dell'Oblio: Il paper inquadra l'oblio come un problema di ottimizzazione generale derivante dall'interferenza del gradiente sia nell'apprendimento standard che in quello continuo, piuttosto che come un problema distinto di CL.
• Memoria a Livello di Ottimizzatore Scalabile: FOGO introduce un meccanismo di memoria che opera interamente in uno spazio proiettato a bassa dimensione. Ciò consente di tracciare la geometria del gradiente e la risoluzione dei conflitti senza memorizzare dati grezzi o eseguire costose decomposizioni a pieno rango, rendendolo scalabile a grandi modelli (ad es., LLaVA-7B, GPT-2).
• Design a Doppio Meccanismo: La combinazione di ortogonalizzazione spettrale (per esporre le direzioni rare) e memoria direzionale (per preservarle) affronta sia la soppressione a breve termine che l'accumulo dell'oblio a lungo termine.
• Garanzie Teoriche: Il paper fornisce un'analisi teorica (Teorema 1, Corollari 2 & 3) dimostrando come le direzioni fuori sottospazio vengano soppresse sotto il momentum standard e come la protezione della memoria di FOGO preservi le direzioni apprese lasciando liberi per l'adattamento i sottospazi non vincolati.

4. Risultati Sperimentali

FOGO è stato valutato in quattro scenari distinti, superando costantemente Adam e Muon (e altri baseline di CL come UPGD, CBP, FIRE):

• Classificazione con Squilibrio di Classe (CIFAR-10): In uno scenario con 5 classi rare (10% dei dati), FOGO ha migliorato l'accuratezza delle classi rare di circa il 2–3% e ha ridotto l'oblio delle classi rare di circa il 6% rispetto ad Adam e Muon. Gli studi di ablazione hanno confermato che il filtraggio a breve termine è il principale motore di questo miglioramento.
• Apprendimento Visivo Continuo:
  • Domain-IL (PACS): FOGO ha ottenuto il più basso oblio medio (AF) senza replay, superando Muon di 2,67 punti in AF. Con il replay (ER), ha ulteriormente migliorato le prestazioni.
  • Class-IL (CIFAR-10): FOGO ha ottenuto un'accuratezza superiore e un oblio inferiore rispetto ad Adam, Muon e UPGD.
• Fine-tuning Continuo (LLaVA-7B): Sul benchmark di Continual VisualQA (10 task di ragionamento), FOGO ha migliorato le prestazioni medie di circa 2 punti e ha ridotto l'oblio totale di circa 10 punti rispetto ad AdamW e Muon. L'analisi ha mostrato che FOGO induce una varianza più bilanciata delle feature degli esperti, mitigando il collasso degli esperti.
• Pretraining del Linguaggio (GPT-2): Nel pretraining non supervisionato standard su OpenWebText, FOGO è convergente più velocemente di Adam e Muon, particolarmente nelle fasi iniziali (primi 30K step), suggerendo benefici anche in contesti non continui.

5. Significato e Rivendicazioni

Il paper afferma che l'oblio è un problema di ottimizzazione generale risolvibile a livello di ottimizzatore. Risolvendo l'interferenza del gradiente attraverso l'ortogonalizzazione spettrale e una memoria direzionale compatta e priva di dati, FOGO offre una via pratica per mantenere la conoscenza in entrambi gli scenari di apprendimento standard e continuo.

Gli autori sottolineano che il loro approccio non richiede la memorizzazione di dati grezzi o snapshot precedenti del modello, rendendolo adatto a modelli su larga scala dove la memoria è un vincolo. Sebbene FOGO introduca un overhead computazionale modesto rispetto ad Adam (a causa dell'ortogonalizzazione a doppio flusso e delle operazioni di proiezione), il paper sostiene che ciò sia accettabile date le costanti migliorie in termini di convergenza, prestazioni e ritenzione della conoscenza. Il lavoro suggerisce che le future soluzioni all'oblio dovrebbero integrare le strategie di ottimizzazione con quelle architettoniche e di dati, con FOGO che affronta l'asse dell'ottimizzazione.