ConMoE: Expert-Pool Consolidation via Prototype Reassignment for MoE Compression

Technische Samenvatting van ConMoE: Consolidatie van Expert-pools via Prototypische Hertoewijzing voor MoE-compressie

1. Probleemstelling

Mixture-of-Experts (MoE) taalmodellen bereiken schaalbaarheid door slechts een klein subset van experts per token te activeren, wat de berekening per token verlaagt. De volledige gerouteerde expert-pool moet echter nog steeds worden opgeslagen en bediend, wat een aanzienlijke geheugenflesnek creëert voor implementatie. Bestaande compressiemethoden na training adresseren dit voornamelijk via expert-pruning (verwijderen van experts op basis van gebruik of belangrijkheid) of expert-merging (samenvoegen van meerdere experts tot nieuwe, gefuseerde modules).

De auteurs betogen dat deze benaderingen vaak twee verschillende beslissingen door elkaar halen:

1. Welke expert-parameters moeten worden behouden?
2. Hoe moeten de oorspronkelijke expert-referenties van de router na compressie worden weergegeven?

Pruning verwijdert parameters, terwijl merging nieuwe gewichten construeert, wat vaak post-compressie fine-tuning of complexe fusie-operatoren vereist. Het artikel presenteert een complementair perspectief: Expert-Pool Consolidatie. Deze benadering behoudt een kleinere set voorgeprogrammeerde experts als herbruikbare prototypes en wijst elke oorspronkelijke expert-referentie deterministisch toe aan een van deze geselecteerde prototypes. Dit scheidt de opslag van de gereduceerde pool van de herbruikstructuur, waardoor de oorspronkelijke router-interface ongewijzigd kan blijven zonder gewichtsupdates.

2. Methodologie: ConMoE

Het voorgestelde raamwerk, ConMoE, is een train-vrije, one-shot compressiemethode die werkt via prototypeselectie en deterministische hertoewijzing.

A. Probleemformulering
De methode definieert een lokale scope $G$ die één of meer aangrenzende MoE-lagen bevat. Gegeven een reductieverhouding $\rho$, is het doel een gereduceerde prototype-pool $P_G$ van grootte $K$ te construeren uit de oorspronkelijke expert-pool $E_G$. Een hertoewijzingskaart $m_G: E_G \to P_G$ wordt vastgesteld, waarbij elke oorspronkelijke expert $e$ wordt gekoppeld aan een geselecteerd prototype $p$.
Het ideale doel is om de hertoewijzingskosten $L_G(P)$ te minimaliseren, waarbij het belang van behouden experts wordt afgewogen tegen de fout die wordt geïntroduceerd door het opnieuw toewijzen van anderen.

B. Prototypische Scorebepaling en Selectie
In plaats van het combinatorische optimalisatieprobleem direct op te lossen, gebruikt ConMoE een heuristische scoreregel om de top-$K$ experts te selecteren als prototypes. Voor elke expert $e$ worden twee scores berekend met behulp van kalibratiegegevens:

1. Routing-geconditioneerde bijdrage ($a_e$): Meet de gemiddelde bijdrage van een expert wanneer deze door de router wordt geselecteerd, gewogen op routing-kansen en output-normen.
2. Vervangbaarheid ($b_e$): Meet de afstand tot de dichtstbijzijnde buur binnen de scope. Een grotere afstand impliceert dat de expert moeilijker te vervangen is.

De uiteindelijke score is het product van de genormaliseerde bijdrage- en vervangbaarheidsscores ($s_e = \bar{a}_e \bar{b}_e$). De top-$K$ experts worden geselecteerd als de prototype-pool $P_G$.

C. Deterministische Hertoewijzing
Zodra prototypes zijn geselecteerd, wordt elke oorspronkelijke expert toegewezen aan zijn dichtstbijzijnde prototype in $P_G$.

• Geen gewichtsupdates: De geselecteerde prototypes worden direct hergebruikt als voorgeprogrammeerde experts; er vindt geen gewichtsfusie of fine-tuning plaats in de standaardpijplijn.
• Routerbehoud: De oorspronkelijke router blijft ongewijzigd. Wanneer de router een set experts voor een token selecteert, leidt de geconsolideerde operator deze oproepen om naar hun toegewezen prototypes. Als meerdere gerouteerde experts naar hetzelfde prototype worden gemapt, worden hun routing-gewichten samengevoegd tot één coëfficiënt.

D. Scope en Cross-Layer Hergebruik
ConMoE ondersteunt lokaal cross-layer delen. Een scope kan meerdere aangrenzende lagen bevatten, waardoor prototypes kunnen worden gedeeld tussen deze lagen als ze redundantie vertonen. De scope is echter begrensd om mismatches in dieptespecifieke transformaties in verre lagen te voorkomen.

3. Belangrijkste Bijdragen

1. Formulering: Het artikel formuleert one-shot MoE-compressie als expert-pool consolidatie, waarbij de beslissing welke parameters moeten worden opgeslagen expliciet wordt gescheiden van hoe oorspronkelijke router-slots worden weergegeven.
2. Raamwerk (ConMoE): Een train-vrije herkoppelmethode die de oorspronkelijke router-interface behoudt terwijl de logische gerouteerde expert-pool wordt gereduceerd. Het vertrouwt op kalibratie-gebaseerde bijdrage- en vervangbaarheidssignalen om prototypes te selecteren zonder gradiëntupdates.
3. Empirische Validatie: De auteurs tonen aan dat herkoppeling-gebaseerde consolidatie een levensvatbaar alternatief is voor pruning en merging bij meerdere voorgeprogrammeerde MoE-modellen (Qwen3, DeepSeekMoE, OLMoE).
4. Ablatie-insichten:
   • Deterministische hertoewijzing wordt geïdentificeerd als het meest stabiele onderdeel van het raamwerk.
   • Cross-layer delen is gunstig maar strikt lokaal; het te breed uitbreiden van scopes (bijv. 8–16 lagen) verslechtert de prestaties door dieptemismatches.
   • Post-hoc gewichtsfusie (bijv. Arcee, gewogen gemiddelde) blijkt in deze setting minder stabiel dan direct prototype-hergebruik.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op drie modellen: Qwen3-30B-A3B, deepseek-moe-16b-base en OLMoE-1B-7B-0125. Compressie werd geëvalueerd bij logische reductieverhoudingen van gerouteerde experts van 25% en 50% met behulp van zes meerkeuze-benchmarks (WinoGrande, ARC-C, ARC-E, BoolQ, HellaSwag, PIQA).

• Prestaties: ConMoE komt overeen met of overtreft sterke pruning-baselines (Frequency, REAP) en merging-baselines (M-SMoE, HC-SMoE).
  • Op DeepSeekMoE behaalde ConMoE de beste gemiddelde score bij zowel 25% als 50% reductie.
  • Op OLMoE presteerde het het beste bij 25% reductie en bleef het concurrerend bij 50%.
  • Op Qwen3 was pruning sterk (vooral bij 50%), maar ConMoE bleef concurrerend en behield sterke prestaties op specifieke taken zoals WinoGrande en BoolQ.
• Ablaties:
  • Scope-grootte: Kleine scopes (1–4 lagen) leverden vergelijkbare of beste resultaten op. Grotere scopes (8–16 lagen) veroorzaakten aanzienlijke prestatiedalingen, wat bevestigt dat expert-vervangbaarheid lokaal is.
  • Selectiebeleid: Routing-geconditioneerde bijdrage was het dominante signaal. Selectie op basis van alleen afstand presteerde slecht, en vervangbaarheid diende het beste als regularisator voor capaciteitsallocatie.
  • Fusie: Directe prototype-herkoppeling presteerde beter dan methoden die post-hoc gewichtsfusie toepasten, wat suggereert dat de winst voortkomt uit de herkoppelstructuur zelf in plaats van gewichtsmerging.

5. Betekenis en Claims

Het artikel claimt dat deterministische prototype-herkoppeling een robuust, train-vrij alternatief biedt voor traditionele pruning en merging. Door compressie te behandelen als een consolidatie van de expert-pool tot herbruikbare prototypes, bereikt ConMoE aanzienlijke geheugenbesparingen (logische reductie) terwijl de router-interface van het oorspronkelijke model behouden blijft en de instabiliteit die vaak gepaard gaat met gewichtsfusie of fine-tuning wordt vermeden.

De auteurs benadrukken dat hun benadering bescheiden is wat betreft haar scope:

• Het is train-vrij maar vertrouwt op kalibratiegegevens voor routing-statistieken.
• Cross-layer hergebruik is lokaal; het gaat niet uit van globale uitwisselbaarheid van experts over de volledige modeldiepte.
• De gerapporteerde besparingen zijn logisch; het realiseren van fysieke geheugenbesparingen bij implementatie vereist een gedeelde-prototype runtime of checkpointformaat, niet alleen een gematerialiseerd checkpoint.

Het werk onderscheidt zich door aan te tonen dat de "hergebruikstructuur" een expliciet onderdeel kan zijn van het gecomprimeerde model in plaats van een bijproduct van verwijdering of fusie, en zo een stabiele basislijn biedt voor MoE-compressie.