💻 computer science

Sparse Mixture-of-Experts Routing in Visual Diffusion Transformers:Diagnosis, Boundary Calibration and Evolutionary Roadmap from Routing Collapse to Selective Deadlock

Questo articolo diagnostica sistematicamente cinque distinti modi di fallimento nell'addestramento dei Transformer per la diffusione video basati su Mixture-of-Experts sparsi a scelta di token, propone un'"Ipotesi di Ridondanza Funzionale" per spiegare il deadlock selettivo osservato e offre una soluzione ingegneristica completa insieme a una roadmap evolutiva per scalare queste architetture.

Autori originali: Haiying Sha

Pubblicato 2026-05-20

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Haiying Sha

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Quadro Generale: Tentativo di Aggiornare un Generatore Video

Immagina di avere un montatore video estremamente talentuoso e individuale (un "Modello Denso") capace di fare tutto: montare clip, aggiungere testo, cambiare colori e seguire istruzioni. È eccellente, ma è lento e costoso da eseguire.

I ricercatori volevano aggiornare questo montatore in un team di Mixture-of-Experts (MoE). Pensa a questo come all'assunzione di un team di specialisti:

Il Manager (Router): Decide quale compito assegnare a chi.
Gli Specialisti (Routed Experts): Due cloni del montatore originale, pronti a svolgere compiti specifici.
Il Tirocinante (Shared Expert): Una nuova assunzione che apprende conoscenze generali per aiutare tutti.

L'obiettivo era rendere il generatore video più intelligente e veloce facendo sì che il Manager inviasse diverse parti di un video a diversi Specialisti. Tuttavia, i ricercatori hanno scoperto che questo aggiornamento non ha funzionato senza intoppi. Invece di un team felice, hanno trovato un sistema che spesso si "congelava" o collassava.

Le Tre Regole dell'Aggiornamento (Le "Tre Leggi")

Prima degli esperimenti, i ricercatori hanno realizzato che dovevano seguire tre regole rigide per poter anche solo iniziare, altrimenti l'intero sistema si sarebbe bloccato:

Non Cambiare le Uniformi (Coerenza Strutturale): Gli Specialisti devono essere costruiti esattamente come il montatore originale. Se l'originale utilizzava un tipo specifico di matematica (GELU), gli Specialisti devono usare la stessa. Se si tenta di sostituire con uno stile diverso (come SwiGLU), i pesi non si adattano e il modello si rompe immediatamente.
Non Ridurre il Segnale (Clonazione 1:1): Quando si copia il cervello del montatore originale negli Specialisti, bisogna copiarlo esattamente. Non si deve tentare di "ridimensionare" i numeri per farli adattar meglio. Se si riduce il segnale, l'output video sfuma nel nero perché il segnale si perde strato per strato.
Il Tirocinante "Rumore Micro" (Inizializzazione dell'Esperto Condiviso): Questa è la parte più delicata. Il "Tirocinante" (Esperto Condiviso) inizia con quasi zero conoscenze.
- La Trappola: Se si avvia il Tirocinante con pesi perfettamente zero, la matematica del computer (in particolare la precisione bfloat16) è così grezza che arrotonda gli aggiornamenti minuscoli a zero. Il Tirocinante non si sveglia mai.
- La Soluzione: Bisogna dare al Tirocinante una scintilla minuscola, quasi invisibile, di "rumore" (come una piccola scossa statica) per iniziare. Questo è sufficiente a svegliarlo senza cambiare l'output video, ma gli permette di iniziare ad apprendere.

Cosa è Andato Storto: La Diagnosi del Fallimento

I ricercatori hanno eseguito il sistema per 5.000 passaggi e hanno osservato come il "Manager" (Router) assegnava i compiti. Hanno trovato una gerarchia di fallimenti:

1. Il Router Lineare: Il Problema della "Linea Piattezza"

La Configurazione: Hanno utilizzato un Manager semplice e a linea retta.
Il Risultato: Il Manager si è confuso. Non riusciva a distinguere tra i compiti. Alla fine inviava tutto a entrambi gli Specialisti in modo uguale, ma in un modo che li rendeva identici.
L'Analogia: Immagina un manager che può disegnare solo una linea retta su una mappa. Se il terreno è complesso (come un video con molti compiti), una linea retta non può separare le aree. I due Specialisti sono diventati cloni l'uno dell'altro (99% simili), e il sistema ha semplicemente aggiunto costi extra senza aggiungere nuove competenze.

2. Il Router MLP: La "Bloccatura Selettiva"

La Configurazione: Hanno aggiornato il Manager per renderlo più intelligente (non lineare/MLP).
Il Risultato: La confusione globale è cessata, ma è apparso un nuovo, subdolo problema chiamato Bloccatura Selettiva.
Il Fenomeno: Circa un terzo degli strati video ha smesso di utilizzare entrambi gli Specialisti. Invece, ne sceglieva uno e ignorava completamente l'altro.
L'Analogia: Immagina un team di due lavoratori. Il Manager si rende conto: "Ehi, il Lavoratore A sta facendo il 90% del lavoro, e il Lavoratore B non aggiunge molto". Quindi, il Manager smette di inviare lavoro al Lavoratore B. Il Lavoratore B rimane inattivo. Anche se si urla al Manager (aumentando la penalità per la mancata bilanciatura), non cambierà perché il sistema si è convinto che un lavoratore sia sufficiente.
Il Modello: Questo non è accaduto a caso. È accaduto a forma di U:
- Cima della U (Strati Iniziali): Gli "occhi" del modello (che elaborano i pixel grezzi) si sono bloccati.
- Fondo della U (Strati Profondi): Il "cervello" del modello (che elabora significati complessi) si è bloccato.
- Centro: Gli strati centrali funzionavano bene.

3. Il Router Cross-Attention: Il Tentativo di "Auto-Guarigione"

La Configurazione: Hanno dato al Manager un superpotere: la capacità di leggere le istruzioni testuali mentre guarda il video (utilizzando Cross-Attention).
Il Risultato: Questa era la configurazione migliore. Alcuni strati che erano "morti" si sono effettivamente risvegliati e hanno ricominciato a lavorare!
Il Limite: Anche con questo superpotere, circa 9 strati sono rimasti ostinatamente bloccati. Il Manager non riusciva ancora a capire come utilizzare entrambi gli Specialisti in quegli strati specifici.

La Teoria della "Ridondanza Funzionale": Perché è Accaduto?

I ricercatori hanno proposto una teoria per spiegare perché gli Specialisti si sono bloccati. La chiamano Ipotesi della Ridondanza Funzionale.

La Metafora: Immagina un team di "Due Maestri + Un Apprendista".
- I Maestri (Routed Experts) sono cloni identici dell'esperto originale.
- L'Apprendista (Shared Expert) inizia con quasi nessuna abilità (rumore micro).
Il Processo:
1. Inizio: L'Apprendista non fa nulla. I due Maestri sono identici. Il Manager (Gate) non vede motivo di usare entrambi i Maestri, quindi ne sceglie uno e ignora l'altro. Il Maestro ignorato diventa una "riserva strategica" (bloccata).
2. Crescita: L'Apprendista impara lentamente competenze generali.
3. Risveglio: Una volta che l'Apprendista è abbastanza bravo da gestire i compiti noiosi e di base, il Manager si rende conto: "Posso dare le cose di base all'Apprendista!". Questo libera il Maestro "morto" per imparare qualcosa di nuovo e diverso.
La Conclusione: Gli strati "morti" non sono rotti; stanno aspettando. Stanno aspettando che l'Apprendista (Esperto Condiviso) cresca abbastanza da sostenerli. Finché l'Apprendista non è forte, il sistema rimane in una "bloccatura" per risparmiare energia.

La Trappola "Bfloat16"

Il documento ha anche scoperto una trappola tecnica nascosta. Quando si addestra con un tipo specifico di matematica informatica (bfloat16), se un numero è molto piccolo (come il minuscolo rumore dato al Tirocinante), il computer arrotonda gli aggiornamenti a zero. È come cercare di misurare la crescita di un seme con un righello che misura solo in metri. Il seme cresce, ma il righello dice "0".

La Soluzione: Mantenere la "copia master" dei pesi in alta precisione (float32) e utilizzare solo la matematica più grezza per i passaggi effettivi di generazione video.

La Roadmap: Dove si Sta Andando

Sulla base di questi risultati, gli autori propongono un piano in tre fasi per il futuro:

Breve Termine: Correggere la generazione del testo. Attualmente, il modello non riesce a scrivere bene le parole. Hanno intenzione di aggiungere uno specifico "Esperto Testo" al team che si occupa solo di lettere e forme.
Medio Termine: Aggiungere il Suono. Vogliono aggiungere un "Esperto Audio" in modo che il modello possa generare video e suono insieme, invece di crearli separatamente.
Lungo Termine: Costruire un "Modello del Mondo". Vogliono aggiungere esperti che comprendono la fisica (gravità, collisioni) in modo che l'IA non crei solo immagini belle, ma capisca come funziona realmente il mondo.

La Conclusione

Il documento conclude che, sotto l'attuale sistema "Token-Choice" (dove i token scelgono gli esperti), la bloccatura è un problema strutturale, non un bug. Non si può risolvere semplicemente aggiustando i numeri. Per risvegliare completamente tutti gli esperti, è necessario o iniziare con un "Tirocinante" (Esperto Condiviso) più intelligente o cambiare completamente il modo in cui il team è organizzato. Questo è uno dei primi studi dettagliati che mostra esattamente perché questi aggiornamenti AI video spesso non funzionano come previsto.

Riepilogo Tecnico: Diagnosi del Routing MoE Visivo

1. Enunciato del Problema

Mentre il Mixture-of-Experts (MoE) ha permesso di scalare con successo i modelli linguistici, la sua applicazione alla generazione video tramite Diffusion Transformers (DiT) rimane agli albori e soggetta a fallimenti. I tentativi esistenti spesso producono benefici limitati a causa delle differenze fondamentali tra token visivi e linguistici: i token visivi presentano una ridondanza spaziale estrema, una deriva della distribuzione indotta dai passi temporali della diffusione e segnali di routing conflittuali in contesti multi-task.

Questo lavoro affronta la mancanza di una diagnosi sistematica riguardante la dinamica di addestramento del MoE sparso a scelta di token (Token-Choice) nei DiT per video. Nello specifico, indaga perché i meccanismi di routing falliscono, portando a un "blocco" (deadlock) in cui specifici livelli o esperti cessano di funzionare efficacemente, e cerca di comprendere le condizioni limite dell'attuale paradigma Token-Choice.

2. Metodologia

La ricerca adotta una configurazione sperimentale rigorosa e minimalista, progettata per eliminare gli effetti di mascheramento derivanti dalle capacità pre-addestrate:

Modello Base: Un modello pre-addestrato denso per la generazione video (Kiwi-Edit, ~8 miliardi di parametri, che combina Wan2.2-TI2V-5B e Qwen2.5-VL-3B) viene convertito in un'architettura MoE.
Strategia di Conversione (Le "Tre Leggi"):
1. Coerenza Strutturale: Gli esperti instradati devono corrispondere esattamente alla struttura FFN originale (ad esempio, attivazione GELU, configurazioni dei bias).
2. Clonazione 1:1 dei Pesi: Gli esperti instradati vengono inizializzati clonando esattamente i pesi FFN densi senza scalatura (a differenza delle strategie standard di inizializzazione casuale).
3. Inizializzazione degli Esperti Condivisi: Gli esperti condivisi vengono inizializzati con pesi tutti a zero per la verifica architetturale (garantendo l'equivalenza dell'output rispetto al modello denso) e successivamente ri-inizializzati con rumore non nullo estremamente piccolo (ad esempio, $\sigma=10^{-4}$ ) per l'addestramento, al fine di rompere la simmetria ed evitare l'arresto hardware.
Architetture del Router: Vengono confrontati tre tipi di router: Lineare (Softmax), MLP non lineare e Cross-Attention (sfruttando istruzioni testuali multimodali).
Regime di Addestramento: Un dataset video multi-task 9-in-1 (20k campioni) viene utilizzato per 5.000 step su una singola NVIDIA A100. L'addestramento utilizza precisione mista bfloat16 con i parametri addestrabili (gate ed esperti condivisi) mantenuti in copie master float32.
Monitoraggio: Registrazione dettagliata dell'utilizzo degli esperti (frazione di esperti minoritari) attraverso 30 livelli Transformer e oltre 65 milioni di token.

3. Risultati e Scoperte Chiave

3.1 Gerarchia dei Fallimenti di Routing

Lo studio identifica una progressione di modalità di fallimento:

Saturazione Morbida Globale (Router Lineari): I router lineari soffrono di saturazione morbida globale in cui i gradienti Softmax svaniscono, portando a una completa omogeneizzazione degli esperti (similarità coseno >0,99). Il MoE degenera in una rete densa strutturalmente disuguale senza alcun guadagno di capacità.
Blocco Selettivo (Router MLP): I router MLP non lineari risolvono la saturazione globale ma introducono un "blocco selettivo". Circa un terzo dei livelli degenera in una modalità a singolo esperto. Aumentare la perdita ausiliaria (fino a 0,2) non riesce a prevenire ciò, indicando un problema strutturale a livello di sistema piuttosto che un semplice problema di bilanciamento del carico.
Auto-Ripristino e Blocco Persistente (Router Cross-Attention): I router cross-attention esibiscono un fenomeno unico di "auto-ripristino" in cui alcuni livelli bloccati rimbalzano spontaneamente. Tuttavia, circa 9 livelli rimangono ostinatamente bloccati.

3.2 La Distribuzione a "U" del Blocco

I livelli bloccati non sono distribuiti casualmente ma seguono una struttura a U pronunciata:

Livelli Superficiali (1–10): Fortemente concentrati a causa della difficoltà nel distinguere le caratteristiche visive di basso livello ridondanti spazialmente.
Livelli Profondi (18–25): Fortemente concentrati a causa degli spazi decisionali compressi nei livelli di integrazione semantica.
Livelli Intermedi: Mantengono un utilizzo quasi uniforme.

3.3 La Trappola della Precisione bfloat16

È stata identificata una trappola numerica critica: sotto precisione mista bfloat16, minuscoli aggiornamenti dei pesi per gli esperti condivisi (inizializzati vicino allo zero) vengono troncati a zero dall'hardware perché l'entità dell'aggiornamento scende al di sotto dell'Unità nell'Ultima Posizione (ULP).

Soluzione: Il documento documenta la necessità di mantenere le copie master dei parametri addestrabili in float32 e di inizializzare gli esperti condivisi con micro-rumore ( $10^{-4}$ ) invece che con zero assoluto per garantire l'accumulo del gradiente.

3.4 L'Ipotesi della Ridondanza Funzionale

Il lavoro propone l'Ipotesi della Ridondanza Funzionale per spiegare il blocco selettivo. Essa postula che il blocco sia una strategia razionale di allocazione delle risorse a fasi all'interno di una triade "gate, esperto condiviso, esperti instradati":

Inizialmente, l'esperto condiviso (apprendista) ha capacità quasi nulla. Il sistema si affida ai due esperti instradati (maestri), che sono identici a causa della clonazione dei pesi.
Il gate seleziona naturalmente un maestro per minimizzare la ridondanza, lasciando l'altro come "riserva strategica" (bloccato).
Man mano che l'esperto condiviso impara gradualmente conoscenze comuni, crea nuova ridondanza funzionale. Ciò permette infine al sistema di "liberare" l'esperto instradato bloccato per una divisione del lavoro specializzata.
L'ipotesi suggerisce che per eliminare il blocco è necessario che l'esperto condiviso raggiunga una soglia critica di capacità prima che il sistema possa riconfigurarsi.

4. Contributi Ingegneristici

Tre Leggi della Conversione da Densità a MoE: Un protocollo verificato per convertire modelli densi pre-addestrati in MoE senza disallineamento architetturale o collasso del segnale.
Mitigazione della Trappola di Precisione: Una soluzione completa per il problema della troncatura degli aggiornamenti bfloat16 nell'addestramento MoE.
Condizionamento in Contesto: Validazione della concatenazione di sequenze (rispetto all'addizione) per la fusione di caratteristiche multimodali per evitare la contaminazione delle caratteristiche.
Soluzione per il Rendering di Testo: Un'architettura proposta basata su MoE per la generazione di testo che coinvolge un "esperto testo" dedicato e un codificatore Glyph-ByT5 per risolvere il collasso a livello di carattere.

5. Significato e Affermazioni

Il lavoro afferma di fornire la prima diagnosi empirica completa del fallimento del routing nei deploy MoE per la generazione video nel mondo reale. Il suo significato risiede in:

Calibrazione dei Limiti: Definisce con precisione il limite di capacità del paradigma Token-Choice, concludendo che, nelle attuali condizioni di singola GPU ed esperti congelati, l'eliminazione completa degli esperti morti è strutturalmente impossibile indipendentemente dalla complessità del router.
Prospettiva Teorica: Offre un nuovo quadro teorico (Ridondanza Funzionale) radicato nella biologia dei sistemi per interpretare la dinamica di addestramento MoE, andando oltre le semplici metriche di bilanciamento del carico.
Roadmap Evolutiva: Basandosi su questi risultati, gli autori delineano un percorso dall'"unificazione visiva" a un "motore di intelligenza generale", suggerendo che i progressi futuri richiedono:
1. Miglioramento dell'inizializzazione degli esperti condivisi (conoscenza pre-addestrata).
2. Design differenziato dei pesi degli esperti.
3. Potenziale migrazione verso paradigmi di routing Expert-Choice o dinamico.
4. Integrazione di priors fisici e ragionamento causale per la modellazione del mondo.

Il lavoro sottolinea che, sebbene l'attuale MoE Token-Choice affronti un blocco strutturale nei domini visivi, la comprensione di queste modalità di fallimento fornisce la base necessaria per la prossima generazione di modelli generativi multimodali.