Riepilogo Tecnico: CP-MoE

Enunciato del Problema

L'oblio catastrofico rimane un ostacolo primario nell'applicazione dei Modelli Linguistici su Larga Scala (LLM) e dei Modelli Vision-Language (VLM) a scenari di apprendimento continuo (CL) in cui le distribuzioni dei dati evolvono nel tempo. Sebbene le architetture Mixture-of-Experts (MoE) combinate con il Fine-Tuning Efficiente dei Parametri (PEFT), in particolare LoRA-MoE, offrano una via scalabile per l'adattamento, i metodi esistenti affrontano un compromesso fondamentale:

1. Isolamento eccessivo: L'isolamento aggressivo di esperti specifici per compito (ad esempio, strategie di apprendimento e congelamento) limita il trasferimento di conoscenze tra compiti, portando a una scarsa generalizzazione su compiti non visti.
2. Fusione eccessiva: Consentire agli aggiornamenti specifici per compito di sovrascrivere i parametri esistenti porta a un grave oblio.
3. Rigidità dell'instradamento: I vincoli standard di bilanciamento del carico nelle MoE spesso impongono un utilizzo uniforme degli esperti, il che confligge con la necessità di specializzazione specifica per compito nell'apprendimento sequenziale, causando interferenza semantica e collasso della rappresentazione.

Gli approcci attuali mancano di meccanismi per valutare la compatibilità delle rappresentazioni prima di integrare nuove conoscenze e non riescono a proteggere i parametri storici critici durante gli aggiornamenti sequenziali.

Metodologia: CP-MoE

Gli autori propongono CP-MoE (Mixture-of-Experts a Conservazione della Coerenza), un framework progettato per integrare nuove conoscenze di compito in esperti stabili mitigando al contempo le interferenze. L'innovazione centrale è l'uso di un esperto transitorio come sonda leggera prima che avvengano aggiornamenti permanenti.

1. Protezione dei Parametri Guidata dall'Esperto Transitorio

Invece di aggiornare direttamente gli esperti stabili, CP-MoE istanzia un esperto transitorio ($\phi^{TE}_t$) per ogni compito in arrivo $t$.

• Fase di Warm-up: L'esperto transitorio è un adattatore LoRA specifico per il compito addestrato su un piccolo sottoinsieme di warm-up dei dati del nuovo compito, mentre il backbone congelato e gli esperti stabili rimangono fissi.
• Stima Anticipata: La traiettoria di ottimizzazione dell'esperto transitorio viene utilizzata per stimare l'importanza prospettica dei parametri tramite una regola di integrale di percorso. Ciò genera una maschera di importanza specifica per il compito ($\Omega_t$) che identifica quali parametri sono critici per il nuovo compito.
• Regolarizzazione Selettiva: Questa maschera viene trasferita agli esperti stabili. Durante la fase principale di addestramento, un termine di regolarizzazione protegge selettivamente i parametri considerati importanti per le conoscenze precedenti, permettendo ai parametri meno critici di adattarsi. Ciò previene la sovrascrittura indiscriminata.

2. Instradamento per la Coerenza della Rappresentazione degli Esperti

Per affrontare la tensione tra bilanciamento del carico e specializzazione degli esperti, CP-MoE introduce un Bias a Conservazione della Coerenza (CP).

• Misura di Similarità: L'esperto transitorio funge da sonda per misurare la similarità delle rappresentazioni con ciascun esperto stabile utilizzando l'Allineamento del Kernel Centrato (CKA).
• Bias di Instradamento: Questi punteggi di similarità ($h^{CP}_i$) vengono iniettati come bias nei logit del router. Ciò indirizza il meccanismo di instradamento verso esperti con rappresentazioni compatibili con il compito corrente.
• Bilanciamento del Carico Disaccoppiato: Il bias CP guida l'allineamento semantico, mentre una perdita di bilanciamento del carico ausiliaria standard (calcolata sui logit nativi senza il bias) garantisce un utilizzo equilibrato, prevenendo il collasso degli esperti senza forzare input semanticamente non corrispondenti su esperti specializzati.

3. Obiettivo Complessivo

L'obiettivo finale di addestramento combina la perdita del compito, la regolarizzazione pesata per importanza (che protegge i parametri storici) e la perdita di bilanciamento del carico:
$$L^{total}_t = L^{task}_t + \lambda L^{reg}_t + \gamma L^{aux}_t$$
Crucialmente, l'esperto transitorio viene scartato dopo la fase di warm-up, garantendo nessun sovraccarico computazionale persistente o espansione dei parametri.

Contributi Chiave

1. Esperto Transitorio per la Consolidazione Selettiva: Un meccanismo innovativo che utilizza un adattatore LoRA specifico per il compito e monouso per sondare i segnali di adattamento precoce e stimare l'importanza dei parametri, consentendo un'integrazione selettiva in un pool fisso di esperti stabili.
2. Bias di Instradamento a Conservazione della Coerenza: Un meccanismo di instradamento che utilizza la similarità delle rappresentazioni (CKA) per favorire esperti compatibili, migliorando la stabilità e la specializzazione dell'instradamento oltre il bilanciamento del carico standard.
3. Regolarizzazione Guidata dalla Rappresentazione: Uno schema di regolarizzazione dinamico che protegge selettivamente i parametri storici importanti basandosi sulla traiettoria dell'esperto transitorio, riducendo le interferenze.
4. Validazione Empirica: Dimostrazione di prestazioni all'avanguardia sia su benchmark unimodali (SuperNI) che multimodali (VQA v2), ottenendo un forte trasferimento zero-shot e un oblio significativamente ridotto rispetto a baselines solide.

Risultati Sperimentali

Gli autori hanno valutato CP-MoE su:

• SuperNI (Unimodale): Un benchmark di compiti linguistici sequenziali diversificati.
  • Prestazioni: Ha raggiunto la più alta Prestazione Media (AP) del 50,84% e un Trasferimento Zero-Shot (ZST) del 35,80% su Ordine 1, superando baselines come GainLoRA e InfLoRA.
  • Oblio: Ha mantenuto un Oblio Medio (AF) basso dello 0,62%.
  • Zero-Shot: Ha dimostrato una generalizzazione superiore ai compiti non visti rispetto ai metodi che isolano gli esperti in modo troppo aggressivo.
• VQA v2 (Multimodale): Un benchmark di risposta a domande visive diviso in 10 compiti di ragionamento sequenziali.
  • Prestazioni: Ha raggiunto la migliore AP del 62,30%.
  • Oblio: Ha raggiunto un Oblio Medio vicino allo zero (-0,35%), un miglioramento sostanziale rispetto al precedente stato dell'arte CL-MoE (-1,77%).

Gli Studi di Ablazione hanno confermato che sia la Regolarizzazione dell'Esperto Transitorio (TE-Reg) che il Bias CP sono complementari; la rimozione di qualsiasi componente porta a un aumento dell'oblio e a una riduzione dell'accuratezza. È stato dimostrato che il punteggio di coerenza basato su CKA è critico, poiché una regolarizzazione uniforme senza di esso ha portato a un oblio più elevato (1,50% contro 0,62%).

Significato e Affermazioni

Il documento afferma che CP-MoE risolve con successo il compromesso tra trasferimento di conoscenze e oblio catastrofico nell'apprendimento continuo basato su MoE. Introducendo un esperto transitorio come sonda "anticipatoria", il framework abilita una consolidazione selettiva senza la necessità di espansione dinamica degli esperti o sovraccarico computazionale persistente.

Gli autori sottolineano che fondare le decisioni di instradamento sulla coerenza intrinseca delle rappresentazioni, piuttosto che su vincoli rigidi di bilanciamento del carico, preserva uno spazio di rappresentazione più stabile e trasferibile. Inoltre, la protezione selettiva dei parametri permette al modello di mantenere le conoscenze pre-addestrate mentre si adatta a nuovi compiti. Il lavoro suggerisce che questo approccio è altamente efficace sia per i modelli fondazionali unimodali che multimodali, offrendo una via scalabile per l'adattamento continuo in ambienti reali non stazionari.

Il documento riconosce modestamente le limitazioni riguardanti la scala di campionamento fissa dell'esperto transitorio, notando che il campionamento ottimale può variare con la complessità del dataset, e suggerisce lavori futuri su meccanismi di campionamento adattivo.