🤖 AI

ConMoE: Expert-Pool Consolidation via Prototype Reassignment for MoE Compression

ConMoE ist ein trainingsfreies Framework zur Komprimierung von Mixture-of-Experts (MoE)-Modellen, das den Expertenpool durch die Auswahl einer kleineren Menge an Prototyp-Experten konsolidiert und die ursprünglichen Expertenaufrufe deterministisch auf diese umlenkt, wodurch die Speicherkosten reduziert werden, ohne dass Gewichtsaktualisierungen oder eine Nachkomprimierungs-Feinabstimmung erforderlich sind.

Ursprüngliche Autoren: Yilun Yao, Jiaming Pan, Elsie Dai, Peizhuang Cong, Yaoming Li, Tong Yang

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yilun Yao, Jiaming Pan, Elsie Dai, Peizhuang Cong, Yaoming Li, Tong Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige, hochmoderne Restaurantküche vor. Diese Küche ist mit einem Mixture-of-Experts (MoE)-System konzipiert. Anstatt dass jeder Koch jedes Gericht zubereitet, verfügt die Küche über hunderte spezialisierter „Experten" (Köche). Wenn eine Bestellung eingeht, betrachtet ein „Router" (der Oberkellner) das Gericht schnell und ruft nur die besten 2 oder 3 Köche, die für diese spezifische Aufgabe am besten geeignet sind.

Das Problem:
Obwohl nur wenige Köche jedes Gericht zubereiten, muss das Restaurant dennoch Miete zahlen, Uniformen lagern und die Ausrüstung für alle hunderte Köche im Gebäude bereitstellen. Wenn das Restaurant wächst (das KI-Modell wird größer), werden diese Speicherkosten enorm, was den Betrieb teuer und langsam macht, selbst wenn nicht alle Köche gleichzeitig arbeiten.

Die alten Lösungen:
Bisherige Methoden versuchten, diese Küche auf zwei Arten zu verkleinern:

Pruning (Beschneiden): Entlassung der Köche, die am wenigsten beschäftigt zu sein scheinen.
Merging (Verschmelzung): Zwei Köche nehmen, ihre Rezepte mischen und einen neuen „Super-Koch" mit einem neuen, gemischten Stil schaffen.

Die neue Lösung: ConMoE
Die Arbeit stellt ConMoE vor, das einen anderen Ansatz verfolgt. Anstatt Köche zu feuern oder ihre Rezepte zu mischen, sagt ConMoE: „Behalten wir ein kleineres, kuratiertes Team unserer besten ursprünglichen Köche und sagen dem Oberkellner einfach, er soll die Bestellungen an sie senden."

So funktioniert es, mit Alltagsanalogien erklärt:

1. Das „Prototyp"-Team (Die Sterne-Köche)

ConMoE betrachtet alle ursprünglichen Köche und wählt eine kleinere Gruppe als „Prototypen" aus. Dies sind die ursprünglichen, unveränderten Köche, die im Dienst bleiben.

Wie sie ausgewählt werden: Das System prüft zwei Dinge:
- Beitrag: Wer wird tatsächlich am häufigsten gerufen und leistet die beste Arbeit?
- Ersetzbarkeit: Wer ist einzigartig? Wenn wir Koch A verlieren, kann dann jemand anderes genau das tun, was er tut? Wenn Koch A einzigartig ist, bleibt er. Wenn Koch B Koch C sehr ähnlich ist, könnte Koch B entlassen werden.

2. Das „Remapping" (Die neue Speisekarte)

Sobald das kleinere Team der „Prototyp"-Köche ausgewählt ist, erstellt ConMoE eine deterministische Zuordnung (ein striktes Regelwerk).

Wenn der ursprüngliche Oberkellner „Koch #42" rufen wollte, besagt das Regelwerk: „Schicken Sie diese Bestellung stattdessen an Prototyp-Koch #5."
Wenn der Kellner „Koch #99" rufen wollte, besagt das Regelwerk: „Schicken Sie das ebenfalls an Prototyp-Koch #5."
Kritisch: Die Köche selbst ändern sich nicht. Sie lernen keine neuen Rezepte und mischen ihre Stile nicht. Sie werden einfach wiederverwendet. Der „Router" (Oberkellner) muss nicht neu trainiert werden; er folgt einfach der neuen Karte.

3. Die „Lokale Nachbarschaft"-Regel

Die Arbeit ergab, dass man nicht einfach jeden Koch aus dem ganzen Gebäude auswählen kann, um einen anderen zu ersetzen.

Die Analogie: Ein Koch im 1. Stock (frühe Schichten der KI) leistet sehr unterschiedliche Arbeit als ein Koch im 50. Stock (tiefe Schichten). Sie sind nicht austauschbar.
Die Lösung: ConMoE erlaubt nur, dass Köche mit anderen in ihrer „lokalen Nachbarschaft" (ein paar Stockwerke höher oder tiefer) ausgetauscht werden. Dies stellt sicher, dass der ersetzende Koch den Kontext der Bestellung tatsächlich versteht.

Warum ist das besser?

Kein Neulernen: Sie müssen den Köchen keine neuen Tricks beibringen (kein „Fine-Tuning"). Sie ändern nur das Telefonverzeichnis.
Stabilität: Da die Köche nicht gemischt oder verändert werden, bleiben ihre ursprünglichen Fähigkeiten intakt.
Ergebnisse: Die Arbeit testete dies an drei verschiedenen großen KI-Modellen. Sie ergab, dass ConMoE genauso gut (und manchmal besser) abschneidet als Methoden, die Köche feuern oder ihre Rezepte mischen, während das System viel einfacher bleibt.

Der Haken (Einschränkungen)

Es braucht eine „Speisekarte" zum Lesen: Das System benötigt eine kleine Menge an Beispieltext (Kalibrierungsdaten), um herauszufinden, welche Köche die Stars und welche die Ersatzkräfte sind.
Nur lokal: Sie können keinen Koch aus dem Keller mit einem aus der Dachterrasse austauschen; sie erledigen unterschiedliche Aufgaben.
Speicherrealität: Obwohl die logische Anzahl der Köche kleiner ist, benötigt das Restaurant, um tatsächlich physischen Speicherplatz zu sparen, eine spezielle Art, das Gebäude zu speichern, sodass mehrere „Slots" auf denselben physischen Koch zeigen.

Kurz gesagt: ConMoE ist wie das Behalten eines kleineren, elitären Teams Ihrer ursprünglichen Experten und das einfache Umleiten aller Arbeiten zu ihnen, anstatt Leute zu feuern oder zu versuchen, neue „hybride" Experten zu schaffen. Es ist eine intelligente, trainingsfreie Möglichkeit, große KI-Modelle zu verkleinern.

Technischer Überblick zu ConMoE: Konsolidierung des Expertenpools durch Prototypen-Neuzuweisung zur Kompression von MoE-Modellen

1. Problemstellung

Mixture-of-Experts (MoE)-Sprachmodelle erreichen Skalierbarkeit, indem sie pro Token nur eine kleine Teilmenge von Experten aktivieren, was die Berechnung pro Token reduziert. Der vollständige geroutete Expertenpool muss jedoch dennoch gespeichert und bereitgestellt werden, was ein erhebliches Speicherproblem für den Einsatz darstellt. Bestehende Kompressionsmethoden nach dem Training adressieren dies primär durch Experten-Pruning (Entfernen von Experten basierend auf Nutzung oder Bedeutung) oder Experten-Merging (Kombinieren mehrerer Experten zu neuen, fusionierten Modulen).

Die Autoren argumentieren, dass diese Ansätze oft zwei unterschiedliche Entscheidungen vermischen:

Welche Expertenparameter sollten beibehalten werden?
Wie sollten die ursprünglichen Expertenreferenzen des Routers nach der Kompression dargestellt werden?

Pruning löscht Parameter, während Merging neue Gewichte konstruiert, was oft eine Nachkompressions-Feinabstimmung oder komplexe Fusionsoperatoren erfordert. Das Papier vertritt eine komplementäre Sichtweise: Konsolidierung des Expertenpools. Dieser Ansatz behält eine kleinere Menge vortrainierter Experten als wiederverwendbare Prototypen bei und weist jede ursprüngliche Expertenreferenz deterministisch einem dieser ausgewählten Prototypen neu zu. Dies trennt die Speicherung des reduzierten Pools von der Wiederverwendungsstruktur, sodass die ursprüngliche Router-Schnittstelle ohne Gewichtsaktualisierungen unverändert bleibt.

2. Methodik: ConMoE

Das vorgeschlagene Framework, ConMoE, ist eine trainingsfreie, einmalige Kompressionsmethode, die über Prototypenauswahl und deterministische Neuzuweisung operiert.

A. Problemformulierung
Die Methode definiert einen lokalen Bereich $G$ , der eine oder mehrere benachbarte MoE-Schichten enthält. Gegeben ein Reduktionsverhältnis $\rho$ besteht das Ziel darin, einen reduzierten Prototypenpool $P_G$ der Größe $K$ aus dem ursprünglichen Expertenpool $E_G$ zu konstruieren. Eine Neuzuweisungsmapping $m_G: E_G \to P_G$ wird etabliert, wobei jeder ursprüngliche Experte $e$ einem ausgewählten Prototypen $p$ zugeordnet wird.
Das ideale Ziel ist es, die Neuzuweisungskosten $L_G(P)$ zu minimieren und dabei die Bedeutung der beibehaltenen Experten gegen den Fehler abzuwägen, der durch die Umleitung anderer entsteht.

B. Prototypen-Scoring und -Auswahl
Anstatt das kombinatorische Optimierungsproblem direkt zu lösen, verwendet ConMoE eine heuristische Scoring-Regel, um die Top- $K$ -Experten als Prototypen auszuwählen. Für jeden Experten $e$ werden zwei Scores unter Verwendung von Kalibrierungsdaten berechnet:

Routing-konditionierter Beitrag ( $a_e$ ): Misst den durchschnittlichen Beitrag eines Experten, wenn er vom Router ausgewählt wird, gewichtet durch Routing-Wahrscheinlichkeiten und Ausgabennormen.
Ersetzbarkeit ( $b_e$ ): Misst die Distanz zum nächsten Nachbarn innerhalb des Bereichs. Eine größere Distanz impliziert, dass der Experte schwerer zu ersetzen ist.

Der endgültige Score ist das Produkt aus dem normalisierten Beitrag und den Ersetzbarkeitsscores ( $s_e = \bar{a}_e \bar{b}_e$ ). Die Top- $K$ -Experten werden als Prototypenpool $P_G$ ausgewählt.

C. Deterministische Neuzuweisung
Sobald Prototypen ausgewählt sind, wird jeder ursprüngliche Experte seinem nächsten Prototypen in $P_G$ zugewiesen.

Keine Gewichtsaktualisierungen: Die ausgewählten Prototypen werden direkt als vortrainierte Experten wiederverwendet; im Standard-Pipeline findet keine Gewichtungsfusion oder Feinabstimmung statt.
Erhaltung des Routers: Der ursprüngliche Router bleibt unverändert. Wenn der Router für einen Token eine Menge von Experten auswählt, leitet der konsolidierte Operator diese Aufrufe zu ihren zugewiesenen Prototypen um. Wenn mehrere geroutete Experten auf denselben Prototypen abbilden, werden ihre Routing-Gewichte zu einem einzigen Koeffizienten aggregiert.

D. Bereich und schichtenübergreifende Wiederverwendung
ConMoE unterstützt lokale schichtenübergreifende Freigabe. Ein Bereich kann mehrere benachbarte Schichten enthalten, sodass Prototypen zwischen diesen geteilt werden können, wenn sie Redundanz aufweisen. Der Bereich ist jedoch begrenzt, um eine Fehlanpassung von tiefen-spezifischen Transformationen zu vermeiden, die in entfernten Schichten vorkommen.

3. Hauptbeiträge

Formulierung: Das Papier formuliert die einmalige MoE-Kompression als Konsolidierung des Expertenpools und trennt explizit die Entscheidung, welche Parameter gespeichert werden sollen, von der Darstellung der ursprünglichen Router-Slots.
Framework (ConMoE): Eine trainingsfreie Umleitungsmethode, die die ursprüngliche Router-Schnittstelle bewahrt, während der logische geroutete Expertenpool reduziert wird. Sie stützt sich auf kalibrierungsbasierte Beitrags- und Ersetzbarkeitssignale, um Prototypen ohne Gradientenaktualisierungen auszuwählen.
Empirische Validierung: Die Autoren zeigen, dass eine auf Umleitung basierende Konsolidierung eine gangbare Alternative zu Pruning und Merging über mehrere vortrainierte MoE-Modelle hinweg ist (Qwen3, DeepSeekMoE, OLMoE).
Ablations-Erkenntnisse:
- Deterministische Neuzuweisung wird als stabilste Komponente des Frameworks identifiziert.
- Schichtenübergreifende Freigabe ist vorteilhaft, aber streng lokal; eine zu weitreichende Erweiterung der Bereiche (z. B. 8–16 Schichten) verschlechtert die Leistung aufgrund von Tiefen-Mismatch.
- Nachträgliche Gewichtungsfusion (z. B. Arcee, gewichteter Durchschnitt) erwies sich in diesem Setting als weniger stabil als die direkte Prototypen-Wiederverwendung.

4. Experimentelle Ergebnisse

Experimente wurden an drei Modellen durchgeführt: Qwen3-30B-A3B, deepseek-moe-16b-base und OLMoE-1B-7B-0125. Die Kompression wurde bei logischen Reduktionsverhältnissen von 25 % und 50 % für geroutete Experten unter Verwendung von sechs Multiple-Choice-Benchmarks bewertet (WinoGrande, ARC-C, ARC-E, BoolQ, HellaSwag, PIQA).

Leistung: ConMoE entspricht starken Pruning-Baselines (Frequency, REAP) und Merging-Baselines (M-SMoE, HC-SMoE) oder übertrifft sie.
- Bei DeepSeekMoE erreichte ConMoE die beste Durchschnittsleistung sowohl bei 25 % als auch bei 50 % Reduktion.
- Bei OLMoE schnitt es bei 25 % Reduktion am besten ab und blieb bei 50 % wettbewerbsfähig.
- Bei Qwen3 war Pruning zwar stark (insbesondere bei 50 %), doch ConMoE blieb wettbewerbsfähig und bewahrte eine starke Leistung bei spezifischen Aufgaben wie WinoGrande und BoolQ.
Ablationen:
- Bereichsgröße: Kleine Bereiche (1–4 Schichten) erzielten vergleichbare oder beste Ergebnisse. Größere Bereiche (8–16 Schichten) führten zu signifikanten Leistungseinbußen, was bestätigt, dass die Ersetzbarkeit von Experten lokal ist.
- Auswahlstrategie: Der routing-konditionierte Beitrag war das dominierende Signal. Eine rein distanzbasierte Auswahl performte schlecht, und die Ersetzbarkeit diente am besten als Regularisierer für die Kapazitätszuweisung.
- Fusion: Die direkte Prototypen-Neuzuweisung übertraf Methoden, die eine nachträgliche Gewichtungsfusion anwendeten, was darauf hindeutet, dass die Gewinne aus der Neuzuweisungsstruktur selbst stammen und nicht aus dem Gewichts-Merging.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass deterministische Prototypen-Neuzuweisung eine robuste, trainingsfreie Alternative zu traditionellem Pruning und Merging bietet. Indem Kompression als Konsolidierung des Expertenpools in wiederverwendbare Prototypen behandelt wird, erzielt ConMoE erhebliche Speichereinsparungen (logische Reduktion), während die Router-Schnittstelle des ursprünglichen Modells erhalten bleibt und die Instabilität vermieden wird, die oft mit Gewichtungsfusion oder Feinabstimmung verbunden ist.

Die Autoren betonen, dass ihr Ansatz in Bezug auf seinen Umfang bescheiden ist:

Er ist trainingsfrei, stützt sich jedoch auf Kalibrierungsdaten für Routing-Statistiken.
Schichtenübergreifende Wiederverwendung ist lokal; sie geht nicht von einer globalen Austauschbarkeit von Experten über die gesamte Modelltiefe aus.
Die berichteten Einsparungen sind logisch; die Realisierung physischer Speichereinsparungen beim Einsatz erfordert eine Shared-Prototype-Laufzeit oder ein Checkpoint-Format, nicht nur einen materialisierten Checkpoint.

Die Arbeit zeichnet sich dadurch aus, dass sie zeigt, dass die „Wiederverwendungsstruktur" ein expliziter Teil des komprimierten Modells sein kann und nicht nur ein Nebenprodukt von Löschung oder Fusion, und bietet somit eine stabile Basislinie für MoE-Kompression.