🤖 machine learning

SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning

Il documento propone SAME, un framework di Mixture-of-Experts stabilizzato per il Multimodal Continual Instruction Tuning che mitiga il drift di router ed esperti attraverso il routing in sottospazi ortogonali, la scalatura consapevole della curvatura e l'attivazione adattiva degli esperti, raggiungendo prestazioni allo stato dell'arte su un nuovo benchmark a sequenza lunga.

Autori originali: Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

Pubblicato 2026-08-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate uno studente che è bravissimo a risolvere problemi di matematica ma che, quando gli viene chiesto di leggere una poesia, improvvisamente dimentica come contare. Questa è la sfida centrale che affrontano i moderni sistemi di intelligenza artificiale noti come modelli linguistici di grandi dimensioni multimodali. Questi sono computer potenti che possono vedere immagini e leggere testi, imparando a rispondere a domande sul mondo studiando enormi quantità di dati. Sono addestrati per seguire istruzioni, come "descrivi il gatto nella foto" o "risolvi questo problema di fisica". Tuttavia, nel mondo reale, questi sistemi non imparano tutto in una volta. Inveve, incontrano nuovi tipi di compiti uno dopo l'altro, come uno studente che passa da una lezione di matematica a una di storia e poi a una d'arte. Il problema è che, mentre questi modelli apprendono nuove abilità, spesso dimenticano quelle vecchie, un fenomeno che gli scienziati chiamano oblio catastrofico. Per mantenere questi modelli utili, i ricercatori hanno bisogno di un modo per insegnare loro cose nuove senza cancellare ciò che già sanno.

Per un certo periodo, gli esperti hanno cercato di risolvere questo problema fornendo al modello un team di aiutanti specializzati, una struttura nota come miscela di esperti (mixture of experts). Pensate al modello come a un grande ufficio dove diversi lavoratori, o "esperti", si occupano di diversi tipi di lavori. Quando arriva una domanda, un manager, chiamato router, decide quale lavoratore è il più adatto per rispondere. Se la domanda riguarda un grafico, il router la invia all'analista di dati; se riguarda una poesia, va allo scrittore. Questo sistema funziona bene quando i compiti sono stabili, ma i ricercatori hanno scoperto un difetto quando il modello doveva apprendere una lunga sequenza di nuovi compiti. Mentre il modello apprendeva nuove abilità, il manager iniziava a commettere errori, inviando vecchi tipi di domande ai lavoratori sbagliati. Allo stesso tempo, i lavoratori stessi iniziavano a cambiare, perdendo le abilità specifiche che avevano sviluppato per i compiti precedenti. Questo doppio fallimento significava che il modello non solo stava inviando le domande alle persone sbagliate, ma stava anche dimenticando come svolgere i lavori che quelle persone avrebbero dovuto fare.

Un team di ricercatori ha ora proposto un nuovo metodo chiamato SAME per risolvere questi problemi. Hanno scoperto che la confusione del manager e la perdita di memoria dei lavoratori erano due problemi separati che richiedevano soluzioni diverse. Per impedire al manager di confondersi, i ricercatori hanno progettato un sistema che traccia attentamente il modo in cui il modello vede il mondo. Invece di lasciare che il manager cambi completamente idea con ogni nuova lezione, limitano quanto può spostare il suo focus. Permettono al manager di apprendere nuovi modi per classificare le domande, ma proteggono i vecchi modi di classificare che erano essenziali per i compiti precedenti. Ciò assicura che una domanda su un'immagine medica, ad esempio, continui a essere inviata all'esperto medico, anche dopo che il modello ha imparato a leggere mappe o a risolvere problemi di chimica.

Per evitare che i lavoratori dimentichino il proprio lavoro, i ricercatori hanno introdotto un modo per misurare quanto il nuovo apprendimento di un lavoratore possa danneggiare le sue vecchie abilità. Hanno esaminato i tipi di dati che i lavoratori avevano visto in passato e hanno usato questa cronologia per rallentare i cambiamenti che avrebbero danneggiato quelle vecchie abilità. È come dire a un lavoratore: "Puoi imparare questa nuova abilità, ma fallo in modo da non cancellare come riparavi le vecchie macchine". Facendo così, il modello preserva le abilità specifiche acquisite dai compiti precedenti pur essendo ancora in grado di adattarsi a nuovi compiti. Inoltre, i ricercatori hanno scoperto che non tutti i lavoratori devono essere attivi per ogni lezione. Hanno creato una regola per mettere temporaneamente in pausa i lavoratori che non sono necessari per il compito corrente, il che risparmia energia e impedisce loro di essere accidentalmente modificati da informazioni irrilevanti.

Il team ha testato questo nuovo approccio su una serie di benchmark impegnativi, inclusi un nuovo set di compiti che hanno creato per mimare la realtà disordinata e variegata del mondo reale. Questo nuovo test includeva dieci diversi tipi di compiti, che spaziavano dalla lettura di documenti medici e l'analisi di grafici scientifici alla comprensione di scene stradali complesse e formule chimiche. I risultati hanno dimostrato che il loro metodo, SAME, era significativamente migliore nel ricordare i vecchi compiti rispetto ai metodi precedenti. In un test specifico che coinvolgeva una lunga sequenza di otto compiti, il nuovo metodo ha mantenuto un livello di accuratezza molto più alto sul primissimo compito rispetto ad altri approcci. Si è anche dimostrato più efficiente, richiedendo meno tempo e memoria informatica per l'addestramento perché aggiorna solo i lavoratori necessari.

Forse la cosa più importante è che i ricercatori hanno osservato che il loro metodo preveniva un tipo di fallimento sottile ma comune in cui il modello otteneva la risposta corretta ma la formattava in modo errato. Ad esempio, se un compito richiedeva una risposta in lettere maiuscole, il modello poteva iniziare a dare la risposta in lettere minuscole dopo aver appreso un nuovo compito che utilizzava le minuscole. Il nuovo sistema ha mantenuto il modello coerente, assicurando che seguisse le regole di formattazione specifiche di ogni compito senza confondersi con lo stile del compito successivo. Stabilizzando sia la decisione di chi risponde alla domanda sia la memoria della persona che risponde, questo lavoro offre un modo più affidabile per far sì che l'intelligenza artificiale apprenda continuamente, espandendo le sue capacità senza perdere le fondamenta di ciò che già sa.

Riassunto Tecnico: SAME – StAbilized Mixture-of-Experts per il Multimodal Continual Instruction Tuning

1. Definizione del Problema

I Modelli Linguistici Multimodali Grandi (MLLM) hanno dimostrato una forte capacità di generalizzazione attraverso l'instruction tuning. Tuttavia, l'implementazione nel mondo reale richiede che questi modelli espandano continuamente le proprie capacità apprendendo flussi sequenziali di task multimodali (Multimodal Continual Instruction Tuning, o MCIT). Una sfida primaria in questo contesto è il catastrophic forgetting (oblio catastrofico), in cui l'apprendimento di nuovi task degrada le prestazioni su quelli precedentemente appresi.

Gli approcci recenti utilizzano architetture Mixture-of-Experts (MoE) combinate con LoRA (Low-Rank Adaptation) per promuovere la specializzazione dei task tramite routing sparso. Nonostante la loro promessa, gli autori identificano che i metodi MCIT basati su MoE soffrono di due fonti distinte ma accoppiate di oblio:

Router Drift (Deriva del Router): Man mano che la distribuzione dei dati evolve con nuovi task, il processo decisionale del router diventa instabile. Gli input di task precedenti, che precedentemente attivavano specifici esperti di "localizzazione" o "grounding", vengono progressivamente riassegnati ad esperti irrilevanti. Ciò porta a un accesso inconsistente ai corretti moduli funzionali.
Expert Drift (Deriva degli Esperti): Anche se il router identifica correttamente l'esperto rilevante, i parametri interni dell'esperto vengono sovrascritti dagli aggiornamenti dei nuovi task. Questo causa la perdita della funzionalità originale dell'esperto (ad esempio, convenzioni di formattazione o specifiche capacità di ragionamento) acquisita durante le fasi di addestramento precedenti.

Gli autori dimostrano, attraverso esperimenti diagnostici, che l'oblio persiste anche quando il router viene ri-addestrato per corrispondere alla distribuzione del task originale, confermando che il degrado degli esperti stessi è un modo di fallimento critico.

2. Metodologia: SAME

Gli autori propongono StAbilized Mixture-of-Experts (SAME), un framework progettato per mitigare sia la deriva del router che quella degli esperti senza richiedere il rehearsal dei dati (ovvero la conservazione dei dati passati). SAME è composto da tre componenti principali:

2.1 Spectral-Aware Routing (Per affrontare il Router Drift)

Per stabilizzare la selezione degli esperti, SAME decompone la dinamica di routing in sottospazi ortogonali basati sulla cronologia della covarianza degli input.

Meccanismo: Il metodo mantiene una matrice di covarianza non centrata degli input nascosti del router. Attraverso la SVD (Singular Value Decomposition), separa lo spazio di aggiornamento in un sottospazio di segnale (direzioni ad alta energia rilevanti per i nuovi task) e un approssimativo spazio nullo (direzioni a bassa energia associate ai task storici).
Strategia di Aggiornamento: I gradienti del router sono proiettati su questi sottospazi. Gli aggiornamenti nel sottospazio di segnale sono scalati utilizzando una media a finestra scorrevole dei valori singolari per evitare cambiamenti aggressivi nelle direzioni critiche per i vecchi task. Gli aggiornamenti nello spazio nullo sono proiettati per garantire che abbiano un impatto trascurabile sugli input storici ( $V_\perp^T x_{old} \approx 0$ ).
Risultato: Ciò assicura che le decisioni di routing per i vecchi task rimangano coerenti pur permettendo l'adattamento per i nuovi task.

2.2 Curvature-Aware Scaling (Per affrontare l'Expert Drift)

Per evitare che gli esperti vengano sovrascritti, SAME regola gli aggiornamenti degli esperti utilizzando la geometria degli input storici.

Meccanismo: Invece di minimizzare un vincolo rigido sui dati passati (che non sono disponibili in contesti senza rehearsal), il metodo approssima la geometria degli input storici utilizzando la matrice di covarianza accumulata ( $C_{t-1}$ ).
Ottimizzazione: Gli autori formulano un problema di ottimizzazione vincolata in cui il degrado funzionale (variazione quadratica attesa dell'output sugli input storici) è limitato. Ciò porta a un aggiornamento del gradiente Riemanniano in cui il gradiente euclideo è precondizionato dall'inversa della matrice di covarianza storica ( $C_{t-1}^{-1}$ ).
Implementazione: Per gestire i costi computazionali, l'inversa è approssimata utilizzando una pseudo-inversa smorzata dei fattori a basso rango mantenuti dalla decomposizione spettrale. Questo riduce il peso degli aggiornamenti lungo le direzioni su cui i task precedenti facevano forte affidamento, preservandone la funzionalità.

2.3 Adaptive Expert Activation (Attivazione Adattiva degli Esperti)

Per ridurre ulteriormente l'interferenza e il costo computazionale, SAME introduce un meccanismo di congelamento a livello di task.

Meccanismo: Durante l'addestramento di un task specifico, gli esperti vengono valutati in base a due segnali:
1. Utilizzo Corrente ( $U$ ): La frequenza con cui l'esperto viene attivato per il task corrente.
2. Importanza Storica ( $F_{pre}$ ): Una proxy dell'importanza storica derivata dalla traccia dell'Average Gradient Outer Product (AGOP), stimata tramite l'energia dell'input pesata dal routing.
Regola di Congelamento: Gli esperti con bassa utilità corrente ma alta importanza storica vengono temporaneamente congelati (sia la propagazione in avanti che quella all'indietro vengono saltate) durante l'addestramento del task corrente. Essi vengono riattivati per i task successivi.
Risultato: Ciò riduce il calcolo ridondante e previene la deriva dei parametri non necessaria negli esperti che sono critici per i task passati ma non necessari per quello corrente.

3. Contributi Chiave

Diagnosi della Deriva: Il paper isola e definisce empiricamente il router drift e l'expert drift come le cause primarie dell'oblio nei modelli MoE-based MCIT, dimostrando che entrambi devono essere affrontati simultaneamente.
Framework Stabilizzato (SAME): L'introduzione di un framework senza rehearsal che combina routing consapevole dello spettro, scaling Riemanniano consapevole della curvatura e attivazione adattiva degli esperti per stabilizzare il processo di adattamento MoE.
Nuovo Benchmark (TriGap): Gli autori introducono TriGap, un nuovo benchmark progettato per testare sotto stress i modelli MCIT in condizioni realistiche. A differenza dei benchmark esistenti (CoIN, UCIT), TriGap presenta:
- Sequenza Estesa: 10 task sequenziali (rispetto ai 6–8 di altri).
- Ampiezza di Dominio: Domini diversificati che includono medicina, scienza, telerilevamento e comprensione di documenti.
- Gap di Scala: Dataset altamente sbilanciati per dimensione per task (10k–40k campioni) per simulare flussi di dati reali.
Efficienza: Il metodo riduce il tempo di addestramento e l'uso della memoria GPU congelando gli esperti a bassa utilità, ottenendo velocità significative senza sacrificare l'accuratezza.

4. Risultati Sperimentali

Gli autori hanno valutato SAME su tre benchmark: CoIN, UCIT e il nuovo TriGap.

Prestazioni: SAME supera costantemente i baseline allo stato dell'arte (inclusi MoELoRA, HiDe-LLaVA, CL-MoE e ProgLoRA).
- Su TriGap, SAME ha raggiunto un'accuratezza media del 46,53%, superando il miglior baseline (MoELoRA) del +2,08%.
- Su CoIN, SAME ha raggiunto un'accuratezza media del 66,82%, superando significativamente il precedente migliore.
- Su UCIT, SAME ha raggiunto un'accuratezza media del 67,12%.
Analisi dell'Oblio: SAME ha dimostrato il più basso oblio medio ( $\bar{F} = -4,23\%$ ) rispetto a MoELoRA ( $-19,04\%$ ) e HiDe-LLaVA ( $-6,38\%$ ).
Stabilità della Formattazione: Un'analisi specifica sul task ScienceQA ha rivelato che i metodi baseline spesso soffrono di "oblio indotto dalla formattazione" (ad esempio, il passaggio da risposte in maiuscolo a minuscolo). SAME ha preservato con successo la formattazione dell'output specifica per il task attraverso l'intera sequenza.
Efficienza: L'attivazione adattiva degli esperti ha ridotto il tempo di addestramento di una media di 32,1 minuti per task e l'uso della memoria GPU di 2,3 K MiB/GPU.

5. Significato e Rivendicazioni

Il paper sostiene che SAME fornisca una soluzione robusta per il Multimodal Continual Instruction Tuning affrontando le cause profonde dell'oblio nelle architetture MoE. La sua importanza risiede in:

Operatività Senza Rehearsal: Raggiunge una forte ritenzione senza memorizzare o riprodurre dati passati, rendendolo adatto ad ambienti sensibili alla privacy o con vincoli di archiviazione.
Scalabilità: L'uso di approssimazioni a basso rango della covarianza e il congelamento adattivo consentono al metodo di scalare su lunghe sequenze di task e modelli grandi senza un overhead computazionale proibitivo.
Generalizzazione: La selezione stabilizzata degli esperti e la preservazione della conoscenza storica consentono al modello di mantenere capacità generalizzabili, come dimostrato dalle migliori prestazioni Out-of-Distribution (OOD) sul benchmark MMMU.

Gli autori concludono che, stabilizzando sia il meccanismo di routing che i parametri degli esperti, SAME consente agli MLLM di apprendere continuamente nuove capacità visione-linguaggio preservando in modo affidabile la conoscenza precedentemente acquisita.