ConMoE: Expert-Pool Consolidation via Prototype Reassignment for MoE Compression

Riepilogo Tecnico di ConMoE: Consolidamento del Pool di Esperti tramite Riassegnazione di Prototipi per la Compressione di MoE

1. Enunciato del Problema

I modelli linguistici Mixture-of-Experts (MoE) raggiungono la scalabilità attivando solo un piccolo sottoinsieme di esperti per token, riducendo il calcolo per token. Tuttavia, l'intero pool di esperti instradati deve comunque essere memorizzato e servito, creando un collo di bottiglia significativo nella memoria per il deployment. I metodi esistenti di compressione post-addestramento affrontano questo problema principalmente attraverso la potatura degli esperti (rimozione degli esperti in base all'utilizzo o all'importanza) o la fusione degli esperti (combinazione di più esperti in nuovi moduli fusi).

Gli autori sostengono che questi approcci spesso confondano due decisioni distinte:

1. Quali parametri degli esperti dovrebbero essere mantenuti?
2. Come dovrebbero essere rappresentati i riferimenti originali agli esperti del router dopo la compressione?

La potatura elimina i parametri, mentre la fusione costruisce nuovi pesi, richiedendo spesso un fine-tuning post-compressione o operatori di fusione complessi. Il documento propone una visione complementare: Consolidamento del Pool di Esperti. Questo approccio mantiene un insieme più piccolo di esperti pre-addestrati come prototipi riutilizzabili e rimappa deterministicamente ogni riferimento originale a uno di questi prototipi selezionati. Ciò separa l'archiviazione del pool ridotto dalla struttura di riutilizzo, consentendo all'interfaccia originale del router di rimanere invariata senza aggiornamenti dei pesi.

2. Metodologia: ConMoE

Il framework proposto, ConMoE, è un metodo di compressione one-shot senza addestramento che opera tramite selezione dei prototipi e riassegnazione deterministica.

A. Formulazione del Problema
Il metodo definisce un ambito locale $G$ contenente uno o più strati MoE adiacenti. Dato un rapporto di riduzione $\rho$, l'obiettivo è costruire un pool di prototipi ridotto $P_G$ di dimensione $K$ dal pool di esperti originale $E_G$. Viene stabilita una mappa di riassegnazione $m_G: E_G \to P_G$, dove ogni esperto originale $e$ è mappato su un prototipo selezionato $p$.
L'obiettivo ideale è minimizzare il costo di riassegnazione $L_G(P)$, bilanciando l'importanza degli esperti mantenuti contro l'errore introdotto dalla rimappatura degli altri.

B. Punteggio e Selezione dei Prototipi
Invece di risolvere direttamente il problema di ottimizzazione combinatoria, ConMoE utilizza una regola di punteggio euristica per selezionare i top-$K$ esperti come prototipi. Per ogni esperto $e$, vengono calcolati due punteggi utilizzando dati di calibrazione:

1. Contributo Condizionato all'Instradamento ($a_e$): Misura il contributo medio di un esperto quando viene selezionato dal router, ponderato dalle probabilità di instradamento e dalle norme di output.
2. Sostituibilità ($b_e$): Misura la distanza dal vicino più prossimo all'interno dell'ambito. Una distanza maggiore implica che l'esperto sia più difficile da sostituire.

Il punteggio finale è il prodotto dei punteggi normalizzati di contributo e sostituibilità ($s_e = \bar{a}_e \bar{b}_e$). I top-$K$ esperti sono selezionati come pool di prototipi $P_G$.

C. Riassegnazione Deterministica
Una volta selezionati i prototipi, ogni esperto originale viene assegnato al suo prototipo più vicino in $P_G$.

• Nessun Aggiornamento dei Pesi: I prototipi selezionati vengono riutilizzati direttamente come esperti pre-addestrati; non avviene alcuna fusione dei pesi o fine-tuning nella pipeline predefinita.
• Preservazione del Router: Il router originale rimane invariato. Quando il router seleziona un insieme di esperti per un token, l'operatore consolidato reindirizza queste chiamate ai loro prototipi assegnati. Se più esperti instradati mappano sullo stesso prototipo, i loro pesi di instradamento vengono aggregati in un singolo coefficiente.

D. Ambito e Riutilizzo Cross-Layer
ConMoE supporta la condivisione locale cross-layer. Un ambito può contenere più strati adiacenti, consentendo la condivisione di prototipi tra di essi se mostrano ridondanza. Tuttavia, l'ambito è delimitato per evitare di disallineare le trasformazioni specifiche della profondità presenti negli strati distanti.

3. Contributi Chiave

1. Formulazione: Il documento formula la compressione MoE one-shot come consolidamento del pool di esperti, separando esplicitamente la decisione su quali parametri memorizzare da come vengono rappresentati gli slot originali del router.
2. Framework (ConMoE): Un metodo di rimappatura senza addestramento che preserva l'interfaccia originale del router riducendo il pool logico di esperti instradati. Si basa su segnali di contributo e sostituibilità basati sulla calibrazione per selezionare i prototipi senza aggiornamenti dei gradienti.
3. Validazione Empirica: Gli autori dimostrano che il consolidamento basato sulla rimappatura è un'alternativa valida alla potatura e alla fusione su diversi modelli MoE pre-addestrati (Qwen3, DeepSeekMoE, OLMoE).
4. Insight dalle Ablazioni:
   • La riassegnazione deterministica è identificata come il componente più stabile del framework.
   • La condivisione cross-layer è benefica ma strettamente locale; espandere gli ambiti troppo ampiamente (ad es. 8–16 strati) degrada le prestazioni a causa del disallineamento della profondità.
   • La fusione dei pesi post-hoc (ad es. Arcee, media ponderata) si è rivelata meno stabile del riutilizzo diretto dei prototipi in questo contesto.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre modelli: Qwen3-30B-A3B, deepseek-moe-16b-base e OLMoE-1B-7B-0125. La compressione è stata valutata a rapporti di riduzione logica degli esperti instradati del 25% e del 50% utilizzando sei benchmark a scelta multipla (WinoGrande, ARC-C, ARC-E, BoolQ, HellaSwag, PIQA).

• Prestazioni: ConMoE eguaglia o supera potenti baseline di potatura (Frequency, REAP) e fusione (M-SMoE, HC-SMoE).
  • Su DeepSeekMoE, ConMoE ha ottenuto il punteggio medio migliore sia al 25% che al 50% di riduzione.
  • Su OLMoE, ha ottenuto i risultati migliori al 25% di riduzione e si è mantenuto competitivo al 50%.
  • Su Qwen3, sebbene la potatura fosse forte (specialmente al 50%), ConMoE è rimasto competitivo e ha mantenuto prestazioni elevate su compiti specifici come WinoGrande e BoolQ.
• Ablazioni:
  • Dimensione dell'Ambito: Ambiti piccoli (1–4 strati) hanno prodotto risultati comparabili o migliori. Ambiti più grandi (8–16 strati) hanno causato cali significativi delle prestazioni, confermando che la sostituibilità degli esperti è locale.
  • Politica di Selezione: Il contributo condizionato all'instradamento è stato il segnale dominante. La selezione basata solo sulla distanza ha ottenuto risultati scarsi, e la sostituibilità ha funzionato meglio come regolarizzatore per l'allocazione della capacità.
  • Fusione: La rimappatura diretta dei prototipi ha superato i metodi che applicavano fusione dei pesi post-hoc, suggerendo che i guadagni derivano dalla struttura di rimappatura stessa piuttosto che dalla fusione dei pesi.

5. Significato e Affermazioni

Il documento afferma che la riassegnazione deterministica dei prototipi offre un'alternativa robusta e senza addestramento alla potatura e alla fusione tradizionali. Trattando la compressione come un consolidamento del pool di esperti in prototipi riutilizzabili, ConMoE raggiunge significativi risparmi di memoria (riduzione logica) mantenendo l'interfaccia del router del modello originale ed evitando l'instabilità spesso associata alla fusione dei pesi o al fine-tuning.

Gli autori sottolineano che il loro approccio è modesto per quanto riguarda il suo ambito:

• È senza addestramento ma si basa su dati di calibrazione per le statistiche di instradamento.
• Il riutilizzo cross-layer è locale; non assume l'intercambiabilità globale degli esperti attraverso l'intera profondità del modello.
• I risparmi riportati sono logici; realizzare risparmi fisici di memoria nel deployment richiede un runtime o un formato di checkpoint a prototipo condiviso, non solo un checkpoint materializzato.

Il lavoro si distingue mostrando che la "struttura di riutilizzo" può essere una parte esplicita del modello compresso piuttosto che un sottoprodotto della cancellazione o della fusione, fornendo una base stabile per la compressione MoE.