📊 statistics

Expert Merging in Sparse Mixture of Experts with Nash Bargaining

Dieses Paper stellt NAMEx vor, ein neuartiges Framework zum Mergen von Experten für Sparse Mixture of Experts, das Nash-Verhandlung und komplexen Impuls nutzt, um eine ausgewogene Kollaboration sowie eine beschleunigte Konvergenz zu erreichen, wobei es eine überlegene Leistung über verschiedene Aufgaben und großskalige Modelle hinweg demonstriert.

Ursprüngliche Autoren: Dung V. Nguyen, Anh T. Nguyen, Minh H. Nguyen, Luc Q. Nguyen, Shiqi Jiang, Ethan Fetaya, Linh Duy Tran, Gal Chechik, Tan M. Nguyen

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Dung V. Nguyen, Anh T. Nguyen, Minh H. Nguyen, Luc Q. Nguyen, Shiqi Jiang, Ethan Fetaya, Linh Duy Tran, Gal Chechik, Tan M. Nguyen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein riesiges, hochintelligentes Team von Spezialisten (genannt „Experten“) aufgebaut, um schwierige Probleme zu lösen. In der modernen KI sind diese Teams oft als Sparse Mixture of Experts (SMoE) organisiert. Denken Sie an ein riesiges Krankenhaus, in dem für jeden Patienten nur wenige spezifische Ärzte gerufen werden, während der Rest Pause macht. Das spart Energie und Geld, schafft aber ein neues Problem: Wie kombinieren wir das Wissen all dieser Ärzte zu einem einzigen Super-Arzt, wenn wir das Modell einsetzen wollen?

Derzeit nehmen die meisten KI-Teams einfach einen „einfachen Durchschnitt“ des Rats aller Experten. Das ist so, als würde man zehn Köchen bitten, ihre Geheimrezepte aufzuschreiben, die Zutaten in einem riesigen Topf mischen und hoffen, dass das Ergebnis gut schmeckt. Oft tut es das nicht. Einige Köche sind vielleicht großartig bei der Suppe, aber schrecklich beim Nachtisch, und das Durchschnittsberechnen ruiniert beides.

Dieses Paper stellt eine neue Art vor, diese Experten zu mischen, genannt NAMEx (Nash Merging of Experts). So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Der „Durchschnitt“ ist ein schlechter Kompromiss

Die Autoren argumentieren, dass das einfache Mitteln von Experten wie eine schlechte Verhandlung ist. Wenn ein Experte sagt „Füge Salz hinzu“ und ein anderer „Füge Zucker hinzu“, ergibt ein einfacher Durchschnitt vielleicht „Füge ein bisschen von beidem hinzu“, was zu einer salzig-süßen Suppe führt. Niemand gewinnt.

2. Die Lösung: Ein Spiel der „fairen Verhandlung“

Anstatt zu mitteln, behandeln die Autoren die Experten als Spieler in einem Spiel (speziell einem „Nash-Bargaining“-Spiel).

Die Spieler: Jeder Experte ist ein Spieler mit seinem eigenen einzigartigen „Nutzen“ (dem, worin er gut ist).
Das Ziel: Sie müssen sich auf einen einzigen Satz von Anweisungen einigen (das gemergte Modell), der alle so zufrieden wie möglich macht, ohne dass jemand das Gefühl hat, zu etwas gezwungen zu werden, in dem er schlecht ist.
Das Ergebnis: Das System findet einen „Pareto-optimalen“ Punkt. Stellen Sie sich eine Gruppe von Freunden vor, die entscheiden, wo sie essen gehen. Ein einfacher Durchschnitt könnte einen Ort wählen, der für alle „okay“ ist, aber für niemanden großartig. Die Nash-Bargaining-Lösung findet ein Restaurant, in dem alle wirklich glücklich sind, weil ihre spezifischen Bedürfnisse respektiert wurden.

In dem Paper beweisen sie mathematisch, dass diese „faire Verhandlung“ zu einem besseren finalen Modell führt als das bloße Mitteln.

3. Der Geschwindigkeitsschub: „Complex Momentum“

Es gab eine vorherige Methode (genannt EP-CAMEx), die etwas Ähnliches versuchte, aber langsam lernte, wie ein Schüler, der immer wieder dieselbe Seite liest, ohne sie zu verstehen.

Die Autoren haben NAMEx um Complex Momentum erweitert.

Die Analogie: Stellen Sie sich vor, Sie schieben einen schweren Einkaufswagen.
- Standard Momentum: Sie schieben ihn vorwärts, und er rollt ein Stück weiter.
- Complex Momentum: Stellen Sie sich vor, der Wagen befindet sich auf einer Schiene, die es ihm ermöglicht, sich nicht nur vorwärts/rückwärts, sondern auch „seitwärts“ auf eine komplexe, spiralförmige Weise zu bewegen. Dies hilft dem Wagen, schwierige Kurven (Konflikte zwischen Experten) viel schneller und reibungsloser zu durchfahren, ohne stecken zu bleiben.
Die Behauptung: Dieser mathematische Trick hilft den Experten, sich schneller und stabiler auf das finale Modell zu „einigen“, besonders wenn die Experten sehr unterschiedliche oder sogar gegensätzliche Ideen haben.

4. Was sie getestet haben (Die Ergebnisse)

Das Team testete dieses neue „Verhandlungsteam“ bei mehreren realen Aufgaben:

Sprache: Um die KI besser Texte schreiben zu lassen (WikiText-103).
Verständnis: Fragen beantworten und Sätze verstehen (GLUE-Benchmarks).
Vision: Objekte in Bildern erkennen (ImageNet), selbst wenn die Bilder verschwommen, künstlerisch oder seltsam sind (korrumpierte Daten).
Große Modelle: Sie probierten es an massiven, realen KI-Systemen wie DeepSeek-MoE und Qwen1.5-MoE aus (Modelle mit Milliarden von Parametern).

Das Ergebnis:
In fast jedem Test schlug das „Verhandlungsteam“ (NAMEx) das „Einfache-Durchschnitt-Team“ und das „Alte langsame Team“. Es war besser im Schreiben, im Verstehen und im Erkennen von Bildern. Selbst wenn die Bilder unordentlich waren oder die Fragen schwierig, hielt NAMEx seine Position besser als die anderen.

Zusammenfassung

Das Paper schlägt vor, dass wir, anstatt KI-Experten blind zusammenzumischen, sie unter Verwendung der Spieltheorie verhandeln lassen sollten. Indem sie den Merging-Prozess als ein faires Verhandlungsspiel behandeln und ein spezielles „Complex Momentum“ hinzufügen, um die Dinge zu beschleunigen, haben sie eine Methode geschaffen, die stärkere, robustere KI-Modelle baut, die in den Bereichen Sprache, Vision und großskalige Aufgaben besser abschneiden.

Hinweis: Das Paper konzentriert sich vollständig auf die mathematische Methode des Verschmelzens dieser KI-Modelle und das Testen ihrer Leistung anhand von Standard-Benchmarks. Es wird nicht behauptet, dass es medizinische Anwendungen, klinische Nutzungen oder spezifische zukünftige Auswirkungen über die Verbesserung der Art und Weise hat, wie diese KI-Systeme gebaut und zusammengeführt werden.

Technisches Resümee: Expert Merging in Sparse Mixture of Experts mit Nash-Verhandlung

Problemstellung

Sparse Mixture of Experts (SMoE)-Architekturen sind zu einer tragenden Säule für die effiziente Skalierung neuronaler Netze geworden, indem sie nur eine Teilmenge von Expertenmodulen pro Input aktivieren. Während die Forschung sich signifikant auf die Verbesserung von Routing-Mechanismen (z. B. Lastverteilung, Stabilität) konzentriert hat, bleibt das komplementäre Problem des Expert Merging – die Kombination aller Expertenparameter in ein vereinheitlichtes Modell für Deployment oder Inferenz – weitgehend unerforscht.

Bestehende Merging-Strategien verlassen sich typischerweise auf heuristische Gewichtungsschemata, wie etwa einfache, input-unabhängige Mittelwertbildung oder Top- $k$ -Aggregation. Diese Methoden ignorieren oft die komplexen kooperativen und kompetitiven Dynamiken zwischen Experten. Darüber hinaus haben neuere Ansätze wie Curvature-aware Merging of Experts (CAMEx) und dessen dynamische Variante (EP-CAMEx), die natürliche Gradienten zur Ausrichtung von Experten nutzen, gewisse Einschränkungen aufgezeigt. Speziell zeigt EP-CAMEx oft eine geringere Leistung als sein statisches Gegenstück, was wahrscheinlich auf eine unzureichende Koordination der Expertenbeiträge und eine langsame Konvergenz in der Propagation zurückzuführen ist. Die Kernherausforderung besteht darin, das Zusammenführen von Experten nicht bloß als linearen Durchschnitt zu interpretieren, sondern als eine strukturierte Interaktion, die die einzigartigen Beiträge diverser Experten ausbalanciert.

Methodik: NAMEx

Die Autoren schlagen NAMEx (Nash Merging of Experts) vor, ein Framework, das das Zusammenführen von Experten durch die Linse der Spieltheorie, spezifisch unter Verwendung der Nash-Verhandlungslösung (Nash Bargaining Solution, NBS), neu interpretiert.

1. Expert Merging als Verhandlungsspiel

Die Autoren rahmen den Merging-Prozess als ein kooperatives-kompetitives Spiel zwischen Experten ein.

Spieler: Jeder Experte $i$ in der SMoE-Schicht.
Nutzenfunktion: Definiert als $u_i(\Delta E) = \tau_i^\top \Delta E$ , wobei $\tau_i = E_i - E_m$ der „Domänen-Vektor“ ist, der die Abweichung des $i$ -ten Experten vom Basisexperten $E_m$ darstellt. Dieser Vektor erfasst den einzigartigen Beitrag des Experten.
Disagreement Point (Dissenspunkt): Auf 0 gesetzt, was keinerlei Aktualisierung des Basisexperten entspricht.
Zielsetzung: Finde eine Aktualisierungsrichtung $\Delta E$ innerhalb einer Kugel $B_\epsilon$ , die das Produkt der individuellen Gewinne über den Dissenspunkt maximiert:
$\Delta E^* = \arg\max_{\Delta E \in B_\epsilon} \prod_{i=1}^N (\Delta E^\top \tau_i)$
Unter der Annahme linear unabhängiger Domänenvektoren wird die Lösung als gewichtete Summe der Domänenvektoren abgeleitet:
$\Delta E = \sum_{i=1}^N \alpha_i \tau_i$
wobei die Gewichte $\alpha$ die Nash-Ver Gleichung erfüllen: $G^\top G \alpha = 1/\alpha$ , wobei $G$ die Matrix der Domänenvektoren ist und $1/\alpha$ die elementweise Kehrwerte bezeichnet.

2. Integration mit Expert Propagation

NAMEx wird in das EP-CAMEx-Framework integriert. Anstatt einen festen Gradientenabstiegsschritt für die Basisexperten-Propagation zu verwenden, berechnet NAMEx die optimale Aktualisierungsrichtung $\Delta E^{(l)}$ in jeder Schicht $l$ unter Verwendung der Nash-Lösung. Der Basisexperte $E_m$ wird aktualisiert als:
$E_m^{(l+1)} = E_m^{(l)} + \gamma \sum_{i=1}^N \alpha_i^{(l)} \tau_i^{(l)}$
wobei $\gamma$ die Schrittweite ist.

3. Komplexer Momentum

Um die beobachtete langsame Konvergenz in EP-CAMEx zu adressen, integrieren die Autoren komplexen Momentum in das NAMEx-Framework (NAMEx-Momentum).

Ein komplexer Momentum-Buffer $\mu^{(j)} \in \mathbb{C}^d$ akkumuliert Richtungs-Updates.
Die Aktualisierungsregel beinhaltet einen komplexen Momentum-Koeffizienten $\beta \in \mathbb{C}$ :
$\mu^{(j+1)} = \beta \mu^{(j)} + \Delta E^{(j)}$
$E_m^{(j+1)} = E_m^{(j)} + \Re(\gamma \mu^{(j+1)})$
Theoretische Analysen (Proposition 3.5 und Theorem C.3) liefern Konvergenzgarantien und zeigen, dass unter moderaten Bedingungen der Spektralradius der Systemmatrix unter 1 gehalten werden kann, was eine lineare Konvergenz sicherstellt.

Zentrale Beiträge

NAMEx-Framework: Eine neuartige Methode zum Zusammenführen von Experten, die das Nash-Verhandlungs-Optimierungsframework in die Experten-Propagation integriert und Experten-Domänenvektoren als Nutzenfunktionen verwendet, um faire und effiziente Merging-Koeffizienten abzuleiten.
Integration von komplexem Momentum: Die Einbindung von komplexem Momentum in NAMEx zur Beschleunigung der Konvergenz und Verbesserung der Stabilität, insbesondere in Szenarien mit adversen oder konfliktreichen Experten-Dynamiken. Die Autoren liefern theoretische Beweise für die Konvergenzrate von NAMEx-Momentum.
Skalierbarkeit und empirische Validierung: Demonstration der Effektivität von NAMEx über diverse Aufgaben hinweg (Sprachmodellierung, Textklassifikation, Bildklassifikation) sowie dessen Skalierbarkeit auf großskalige Systeme (Qwen1.5-MoE 14B, DeepSeek-MoE 16B).

Experimentelle Ergebnisse

Die Autoren evaluierten NAMEx gegen Baselines (SMoE, CAMEx, EP-CAMEx) über mehrere Benchmarks hinweg:

Sprachmodellierung (WikiText-103): NAMEx-Full-Mom erreichte die niedrigsten Validierungs- und Test-Perplexitäten sowohl für kleine als auch für mittlere Skalen der Pre-Training-Phase und übertraf damit alle Baselines.
Textklassifikation (GLUE): Auf dem GLUE-Benchmark unter Verwendung von T5-Base erreichte NAMEx-Full-Mom die besten Ergebnisse über alle Aufgaben (SST-2, MRPC, CoLA, etc.) hinweg und zeigte konsistente Verbesserungen gegenüber SMoE und kurvatur-bewussten Methoden.
Bildklassifikation (ImageNet-1k & Robustheit): Auf Swin-MoE übertraf NAMEx-Mom alle Baselines in der Top-1 Genauigkeit. Entscheidend ist, dass es eine überlegene Robustheit auf korrumpierten Datensätzen (ImageNet-A, ImageNet-O, ImageNet-R) demonstrierte, wobei die Momentum-Varianten die stärksten Zuwächse zeigten.
Großskalige Modelle: Bei der Anwendung auf DeepSeek-MoE (16B) und Qwen1.5-MoE (14B) übertraf NAMEx-Full konsistent die Baselines und EP-CAMEx sowohl in Zero-Shot- als auch in Fine-Tuned-Settings (SmolTalk) auf MMLU, GSM8K und ARC Benchmarks.
Ablationsstudien:
- Momentum: Komplexer Momentum verbesserte die Konvergenzgeschwindigkeit und Performance signifikant im Vergleich zu realwertigem Momentum.
- Iterationen: Das Lösen des Nash-Systems mit 2 Iterationen pro Schicht erwies sich als effizient und effektiv, mit abnehmendem Grenznutzen bei höheren Iterationszahlen.
- Disagreement Point: Die Verwendung von 0 als Disagreement Point erwies sich im Vergleich zur Verwendung des Mittelwerts als robust und stabil.

Bedeutung und Behauptungen

Das Paper behauptet, dass NAMEx eine fundierte Alternative zu heuristischem Expert Merging bietet. Durch die Modellierung der Experteninteraktionen als Verhandlungsspiel stellt NAMEx einen Pareto-effizienten Merging-Prozess sicher, der sowohl die Kooperation als auch die Konkurrenz zwischen Experten berücksichtigt. Die Integration von komplexem Momentum adressiert Konvergenzengpässe in dynamischen Merging-Szenarien.

Die Autoren betonen, dass NAMEx:

Die Performance verbessert: Konsistent beste Ergebnisse gegenüber existierenden Merging-Strategien in Vision- und Sprachaufgaben erzielt.
Die Robustheit erhöht: Eine überlegene Generalisierung unter Datenkorruption und Verteilungsschifts zeigt.
Effektiv skaliert: Die Durchführbarkeit für großskalige MoE-Architekturen (bis zu 16B Parametern) beweist, ohne die Inferenzkosten signifikant zu erhöhen, da die Trainings-Overheads handhabbar bleiben.
Theoretische Fundierung bietet: Konvergenzgarantien für die momentum-gestützte Variante liefert und damit über rein empirische Heuristiken hinausgeht.

Die Arbeit legt nahe, dass die Betrachtung des Expert Merging durch die Linse der Spieltheorie neue Wege zur Optimierung modularer Deep-Learning-Systeme eröffnet, mit potenziellen Anwendungen in Federated Learning und Transfer Learning, wo eine faire Kombination von Experten kritisch ist.