Riepilogo Tecnico: Adattamento di Auto-distillazione a Zero Esperti (ZEDA)

1. Enunciato del Problema

Le architetture Mixture-of-Experts (MoE) sono diventate lo standard per scalare i Large Language Models (LLM) aumentando la capacità contenendo al contempo il calcolo per token. Sebbene le varianti MoE dinamiche offrano ulteriore efficienza regolando il numero di esperti attivati in base alla difficoltà dell'input, i metodi esistenti richiedono tipicamente un pre-addestramento da zero o un adattamento specifico per compito. Di conseguenza, la conversione pratica di modelli MoE statici completamente post-allenati (che hanno subito un esteso pre-addestramento, Fine-Tuning Supervisionato (SFT) e Apprendimento per Rinforzo (RL)) in controparti dinamiche efficienti rimane poco esplorata. L'applicazione diretta di metodi di routing dinamico esistenti a questi modelli maturi rischia di disturbare le distribuzioni di routing e le capacità attentamente calibrate stabilite durante le loro pipeline di addestramento completo. La sfida principale è migrare un MoE statico post-allenato in uno dinamico che salti gli esperti non necessari per i token "facili" senza sacrificare le prestazioni consolidate o incorrere in costi di adattamento proibitivi.

2. Metodologia: ZEDA

Il documento introduce Zero-Expert Self-Distillation Adaptation (ZEDA), un framework a basso costo che trasforma i modelli MoE statici post-allenati in modelli dinamici. Il metodo è composto da tre componenti principali:

2.1 Iniezione a Zero Esperti

ZEDA converte architetturalmente un MoE statico in uno dinamico iniettando esperti zero privi di parametri ($Z = \{Z_1, ..., Z_{N_Z}\}$) nel pool di esperti esistente.

• Meccanismo: Questi esperti zero producono in modo identico zero ($Z_j(h) = 0$) per qualsiasi stato nascosto di input $h$.
• Routing: Il router seleziona un sottoinsieme top-$K$ dal pool espanso di $N + N_Z$ esperti. Se viene selezionato un esperto zero, non contribuisce al calcolo, riducendo efficacemente il numero di esperti normali attivi per quel token.
• Inizializzazione: I parametri originali del router per gli esperti normali sono preservati. I nuovi parametri del router per gli esperti zero sono inizializzati da una distribuzione Gaussiana che corrisponde alla media e alla varianza dei parametri originali per mantenere la scala dei logit del router.

2.2 Auto-distillazione in Due Fasi

Per adattare il modello aumentato senza ri-addestramento da zero, ZEDA impiega un processo di auto-distillazione in due fasi utilizzando il MoE originale post-allenato come insegnante congelato:

1. Fine-Tuning Supervisionato (SFT): Il modello studente viene addestrato su risposte campionate dall'insegnante. La perdita combina la cross-entropia standard con la Group Auxiliary Loss.
2. Distillazione On-Policy (OPD): Lo studente genera le proprie traiettorie e l'insegnante le valuta per fornire target a livello di token. L'obiettivo minimizza la divergenza KL inversa tra la distribuzione on-policy dello studente e la distribuzione dell'insegnante.

2.3 Group Auxiliary Loss ($L_{GA}$)

Le perdite di bilanciamento del carico standard (che impongono l'uniformità su tutti gli esperti) non sono adatte ai MoE post-allenati in quanto disturberebbero i pattern di routing appresi, non uniformi, tra gli esperti normali. ZEDA introduce una Group Auxiliary Loss che bilancia l'attivazione a livello di gruppo piuttosto che a livello di singolo esperto:

• Gruppi: Gli esperti normali formano il gruppo $\mathcal{E}$; gli esperti zero formano il gruppo $\mathcal{Z}$.
• Obiettivo: La perdita regola la frequenza di attivazione relativa tra i due gruppi, controllata da un parametro di peso $w$. Incoraggia il rapporto tra esperti normali attivati ed esperti zero a convergere verso un rapporto target ($N : N_Z \cdot w$) senza appiattire la distribuzione di routing all'interno del gruppo degli esperti normali.
• Risultato: Questo permette al modello di imparare quando saltare il calcolo (selezionando esperti zero) preservando al contempo la logica di routing interna del modello originale.

3. Contributi Chiave

1. Framework di Adattamento Post-Allenamento: ZEDA è il primo metodo a convertire efficacemente modelli MoE statici completamente post-allenati in modelli dinamici tramite iniezione di esperti zero e auto-distillazione, evitando la necessità di un costoso ri-pre-addestramento.
2. Conversione Architetturale Stabile: L'introduzione della Group Auxiliary Loss stabilizza la conversione regolando l'utilizzo degli esperti zero senza disturbare le strutture di routing apprese degli esperti normali.
3. Trade-off Efficienza-Prestazioni: Il metodo ottiene una riduzione significativa del calcolo (saltando >50% degli esperti) con una perdita di accuratezza solo marginale, superando le basi e le varianti MoE dinamiche esistenti (ad es. Naive Expert Truncation).
4. Insight sulle Dinamiche di Attivazione: Il documento fornisce un'analisi che mostra come l'attivazione degli esperti zero sia correlata ai gap di distribuzione insegnante-studente (logp-diff) e all'incertezza del modello, piuttosto che alla difficoltà generale del compito. I segmenti strutturati (come codice o espressioni matematiche) tendono ad avere rapporti di attivazione degli esperti zero più elevati (meno calcolo) rispetto al testo naturale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su Qwen3-30B-A3B e GLM-4.7-Flash su 11 benchmark che coprono matematica, codice e follow-up delle istruzioni.

• Prestazioni: ZEDA elimina oltre il 50% dei FLOP degli esperti (raggiungendo $r_{ZE} \approx 51.2\%$ su Qwen e $53.0\%$ su GLM) mantenendo prestazioni comparabili al modello statico originale.
  • Su Qwen3-30B-A3B, ZEDA supera la base dinamica più forte (AdaMoE) di 6.1 punti in media.
  • Su GLM-4.7-Flash, supera la base di 4.0 punti.
  • A differenza delle basi che collassano su compiti di ragionamento difficili o di codice, ZEDA mantiene prestazioni competitive uniformemente su tutti i domini.
• Efficienza: L'adattamento produce un aumento della velocità di inferenza end-to-end di circa 1.20× (circa un 20% di velocità in più sia nella fase di prefill che in quella di decode) su 8 GPU NVIDIA H200.
• Costo di Adattamento: L'intero processo di adattamento richiede meno di 31 ore per Qwen e 62 ore per GLM, il che è trascurabile rispetto ai costi del pre-addestramento o del post-allenamento completo.
• Generalizzazione: ZEDA dimostra una forte generalizzazione Out-of-Distribution (OOD) su MMLU-Redux e GPQA-Diamond, preservando l'accuratezza mentre mantiene un elevato utilizzo degli esperti zero.

5. Significato e Affermazioni

Il documento afferma che ZEDA offre una soluzione pratica ed economicamente vantaggiosa per migliorare l'efficienza di distribuzione dei sistemi MoE su larga scala. Sfruttando le capacità esistenti dei modelli post-allenati e utilizzando l'auto-distillazione per imparare il routing dinamico, ZEDA permette ai token "facili" di bypassare il calcolo degli esperti non necessari senza compromettere le conoscenze consolidate o le capacità di ragionamento del modello.

Gli autori sottolineano che questo approccio evita le sostanziali modifiche architetturali e i costi di ri-addestramento associati ai precedenti metodi MoE dinamici. I risultati suggeriscono che i modelli MoE post-allenati possono essere migrati con successo verso architetture dinamiche efficienti, rendendo i modelli ad alta capacità più fattibili per il servizio nel mondo reale dove i costi di inferenza sono un vincolo primario. Il lavoro evidenzia che l'allocazione dinamica del calcolo è intrinsecamente legata all'incertezza interna del modello e all'allineamento tra le distribuzioni studente e insegnante, piuttosto che alla sola difficoltà esterna del compito.