💻 computer science

Selective Sinkhorn Routing for Improved Sparse Mixture of Experts

Dieses Paper stellt Selective Sinkhorn Routing (SSR) vor, einen leichtgewichtigen Mechanismus, der die Token-zu-Experten-Zuweisung als ein beschränktes optimales Transportproblem formuliert, um eine ausgewogene Expertenauslastung und eine verbesserte Modellleistung zu erreichen, ohne auf Hilfsverlustfunktionen für das Balancing oder komplexe trainierbare Komponenten angewiesen zu sein.

Ursprüngliche Autoren: Duc Anh Nguyen, Huu Binh Ta, Nhuan Le Duc, Tan Minh Nguyen, Toan Tran

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Duc Anh Nguyen, Huu Binh Ta, Nhuan Le Duc, Tan Minh Nguyen, Toan Tran

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten ein riesiges, hochmodernes Callcenter. Sie haben tausende eingehende Anrufe (Tokens) und ein Team von 100 spezialisierten Agenten (Experten). Ihr Ziel ist es, jeden Anruf an den besten Agenten zu leiten, um das Problem schnell zu lösen.

In einem Standard-Setup verwenden Sie eine einfache Regel: „Leite den Anruf an den Agenten weiter, der gerade am besten qualifiziert scheint.“ Das ist wie ein Softmax-Router. Das Problem? Dieselben wenigen „Super-Agenten“ bekommen alle Anrufe, während die anderen 90 Agenten untätig herumsitzen. Dies wird als Routing-Kollaps bezeichnet. Das Callcenter wird dadurch ineffizient, weil Sie nicht Ihr gesamtes Team nutzen.

Um dies zu beheben, versuchten frühere Methoden, die Balance zu erzwingen. Sie fügten einen „Manager“ hinzu, der das System ständig anmahnte: „Hey, Agent 5 hat seit einer Stunde keinen Anruf mehr erhalten, schick mal einen zu ihm!“ oder „Agent 1 ist zu beschäftigt, hör auf, Anrufe zu senden!“ Dies sind die Hilfsverluste (auxiliary losses), die im Paper erwähnt werden. Obwohl sie helfen, sind sie klobig, verursachen dem Computer zusätzliche Arbeit und verwirren das System manchmal bei dem, was es eigentlich lernen will.

Die neue Idee: Die „perfekt ausbalancierte“ Zuweisung

Die Autoren dieses Papers schlagen einen klügeren Weg vor, Anrufe zuzuweisen, indem sie ein mathematisches Konzept namens Optimal Transport (speziell den Sinkhorn-Algorithmus) verwenden.

Denken Sie dies nicht als einen Manager, der Agenten anmahnt, sondern als einen perfekt choreografierten Tanz.

Das Ziel: Jeder Agent muss über die Zeit genau die gleiche Anzahl an Anrufen erhalten, und jeder Anrufer muss einem Agenten zugeordnet werden, der gut in seinem Job ist.
Die Methode: Anstatt einfach nur den „besten“ Agenten für jeden Anruf auszuwählen, berechnet das System eine globale Karte. Es betrachtet alle Anrufe und alle Agenten gleichzeitig und findet den effizientesten Weg, die Arbeit zu verteilen, sodass niemand überlastet und niemand gelangweilt ist.

Das Problem mit dem „perfekten Tanz“

Es gibt einen Haken. Wenn Sie diese perfekte Balance bei jedem einzelnen eingehenden Anruf erzwingen, wird das System verwirrt. Es könnte einen Anruf über „Programmierung“ an einen Agenten leiten, der großartig im „Kochen“ ist, nur um die Zahlen im Gleichgewicht zu halten. Das beeinträchtigt die Leistung.

Der Durchbruch des Papers ist das Selective Sinkhorn Routing (SSR).

Wie SSR funktioniert: Die „Hybrid“-Strategie

Anstatt den komplexen „perfekten Tanz“ für jeden einzelnen Anruf zu nutzen, verwendet SSR eine kluge Mischung:

Die meiste Zeit (99 %+): Es verwendet die Standardmethode (Softmax), die schnell ist, um Anrufe zu routen. Dies ermöglicht es dem System zu lernen, worin die Agenten tatsächlich gut sind.
Selten (0,1 % bis 1 % der Zeit): Es hält inne und führt den „perfekten Tanz“ (Sinkhorn-Algorithmus) aus.
- Warum? Dieses winzige bisschen „perfekte Ausbalancierung“ wirkt wie ein sanfter Anstoß. Es erinnert das System: „Vergiss die anderen Agenten nicht!“, ohne bei jedem einzelnen Anruf eine schlechte Zuordnung zu erzwingen.
- Das Ergebnis: Das System lernt, sich natürlich selbst zu balancieren, ohne einen anmahnenden Manager (Hilfsverlust) oder einen massiven zusätzlichen Rechenaufwand zu benötigen.

Das Geheimrezept: Ein wenig Rauschen hinzufügen

Das Paper schlägt auch vor, während des Trainings ein wenig zufälliges Rauschen (wie statisches Rauschen im Radio) in den Entscheidungsprozess einzubauen.

Analogie: Stellen Sie sich vor, die Agenten wären leicht betrunken oder die Telefonleitungen wären etwas verrauscht. Das System kann sich nicht zu 100 % sicher sein, wer der „beste“ Agent ist, also probiert es ein paar andere Leute aus.
Vorteil: Dies verhindert, dass das System in einer Routine stecken bleibt, in der es immer dieselben Top-3-Agenten wählt. Es zwingt das System, zu explorieren und zu entdecken, dass auch andere Agenten eigentlich ziemlich gut sind.
Wichtiger Hinweis: Das Paper betont, dass Sie dieses Rauschen abschalten, wenn das System tatsächlich arbeitet (Inferenz). Sie wollen nicht, dass Ihr Callcenter beim Einsatz zufällig agiert, wenn ein Kunde wartet; Sie wollen, dass es schnell und deterministisch ist.

Was sie herausgefunden haben

Die Autoren testeten dies an zwei Hauptaufgaben:

Sprachmodellierung (Schreiben): Sie testeten es auf Datensätzen wie WikiText-103.
- Ergebnis: Ihre Methode (SSR) schrieb besseren Text (niedrigere „Perplexity“, was ein Wert dafür ist, wie verwirrt die KI ist) als bisherige Methoden.
- Geschwindigkeit: Es war viel schneller zu trainieren, da es keine schweren „anmahnenden“ Verluste benötigte. Es nutzte die komplexe Mathematik nur für einen winzigen Bruchteil der Zeit.
Bildklassifizierung (Vision): Sie testeten es auf ImageNet (Erkennen von Bildern).
- Ergebnis: Es erkannte Bilder genauer und ging besser mit seltsamen, korrupten oder „adversarialen“ Bildern um (Bilder, die darauf ausgelegt sind, die KI zu täuschen).

Das Fazum

Das Paper behauptet, dass Selective Sinkhorn Routing eine leichte, effiziente Methode ist, um das Problem des „Routing-Kollapses“ in Sparse Mixture of Experts (SMoE)-Modellen zu lösen.

Alter Weg: Schwere, komplexe Mathematik oder anmahnende Strafen verwenden, um die Balance zu erzwingen. (Langsam, manchmal instabil).
Neuer Weg (SSR): Die komplexe Mathematik nur selten verwenden, um das System zu leiten, und ein wenig Zufälligkeit hinzufügen, um das Training interessant zu halten.
Ergebnis: Sie erhalten eine intelligentere, ausgewogenere KI, die schneller und besser trainiert, ohne den zusätzlichen Ballast.

Entscheidend ist, dass das Paper betont, dass die „perfekte Balancierung“ und das „Rauschen“ nur für das Training gedacht sind. Wenn das Modell tatsächlich in der realen Welt eingesetzt wird, wechselt es zurück in einen Standardmodus, der schnell und deterministisch ist. Dies stellt sicher, dass das Endprodukt sowohl hochwertig als auch effizient ist.

Technisches Resümee: Selektives Sinkhorn-Routing zur Verbesserung von Sparse Mixture of Experts

Problemstellung

Sparse Mixture-of-Experts (SMoE)-Modelle bieten einen skalierbaren Ansatz zur Erhöhung der Modellkapazität bei gleichzeitiger Aufrechterhaltung der Recheneffizienz, indem pro Token nur eine Teilmenge von Experten aktiviert wird. Herkömmliche SMoE-Modelle, die auf Softmax-basiertem Routing beruhen, leiden jedoch häufig unter „Routing-Kollaps“, bei dem eine kleine Teilmenge von Experten übermäßig genutzt wird, während andere untergenutzt bleiben.

Bestehende Minderungsstrategien verlassen sich typischerweise auf:

Auxiliäre Zielsetzungen: Load-Balancing-Verluste oder z-Verluste, die eine ungleiche Expertennutzung bestrafen. Diese können zu einer Fehlausrichtung der Zielsetzung (Objective Misalignment), Trainingsinstabilität und erhöhter Komplexität führen.
Rauschbeigabe (Noisy Gating): Das Injizieren von Rauschen, um die Exploration zu fördern, was trainierbare Parameter oder Hyperparameter hinzufügt.
Sinkhorn-basiertes Routing: Vorherige Methoden, die den Sinkhorn-Algorithmus für optimalen Transport (OT) verwenden, nutzen die Transportmap oft ausschließlich für die Expertenauswahl (Top-k) statt für die Gewichtzuweisung. Darüber hinaus können sie die Flexibilität des Routings einschränken, da die Gating-Matrix nicht auf die gleiche Weise wie bei Softmax-Methoden direkt durch gradientenbasierte Lernprozesse optimiert wird, oder sie verursachen erheblichen Trainingsoverhead durch die iterative Natur der Sinkhorn-Updates.

Methodik

Das Paper schlägt Selective Sinkhorn Routing (SSR) vor, einen leichtgewichtigen Mechanismus, der die Zuweisung von Token zu Experten als ein entropie-reguliertes optimales Transportproblem formuliert.

Kernformulierung

Die Autoren modellieren die Zuweisung von $m$ Token zu $n$ Experten als ein Maximum-Cost-Optimal-Transport-Problem mit Entropie-Regularisierung. Das Ziel ist es, einen Transportplan $\hat{\Pi}$ zu finden, der die Kompatibilität maximiert und gleichzeitig spezifische Randbedingungen erfüllt:

Positivität: $\Pi > 0$ .
Zeilensumme: Jedes Token leitet seine gesamte Masse an Experten weiter ( $\Pi \mathbf{1}_n = \mathbf{1}_m$ ).
Spaltensumme: Jeder Experte erhält eine gleiche erwartete Gesamtlast ( $\Pi^\top \mathbf{1}_m = \frac{m}{n} \mathbf{1}_n$ ).

Die Kostenmatrix $C$ wird aus den Gating-Scores $S$ abgeleitet. Die Autoren schlagen zwei Varianten vor:

Lineare Kosten: $C = S$ .
Softmax-Kosten: $C_{i,:} = \text{softmax}(S_{i,:})$ , verwendet, um numerischen Überlauf während der Sinkhorn-Iterationen zu verhindern.

Im Gegensatz zu vorherigen OT-basierten Methoden, die die Transportmap nur für die Auswahl verwenden, nutzt SSR die Werte in $\hat{\Pi}$ direkt zur Berechnung der Routing-Gewichte. Für jedes Token werden die Top- $k$ -Experten basierend auf den höchsten Einträgen der entsprechenden Zeile von $\hat{\Pi}$ ausgewählt, und die Gewichte werden aus diesen Einträgen normalisiert.

Selektive Strategie und Rauschbeigabe

Eine zentrale Herausforderung ist die Identifizierung, dass das Sinkhorn-Routing die Gating-Gewichtsmatrix $W_g$ nicht aktualisiert, da $W_g$ vom OT-Ziel entkoppelt ist. Um dies zu adressieren, verwendet SSR eine hybride Trainingsstrategie:

Selektive Anwendung: Während des Trainings verwendet jeder MoE-Block mit einer kleinen Wahrscheinlichkeit $p$ (z. B. 0,001) Sinkhorn-Routing und ansonsten Standard-Softmax-Gating. Dies ermöglicht es dem Softmax-Gating, $W_g$ effektiv zu aktualisieren, während das Sinkhorn-Routing balancierte Expertennutzungssignale liefert.
Rauschbeigabe: Um Expertenkollaps zu verhindern und die Exploration zu fördern, wird Gaußsches Rauschen zur Kostenmatrix hinzugefügt ( $\tilde{C} = C + \alpha_{noise} \cdot \epsilon$ ). Die theoretische Analyse (Proposition 4.3) zeigt, dass dies sicherstellt, dass jeder Experte eine Wahrscheinlichkeit von größer als Null hat, ausgewählt zu werden.

Inferenzverhalten

Die Autoren argumentieren, dass das Erzwingen balancierter Randbedingungen (wie gleicher Spaltensummen) während der Inferenz auf einen einzelnen Input kontraproduktiv ist, da es ein uniformes Routing unabhängig von den spezifischen Kompatibilitätswerten des Inputs erzwingt. Daher werden sowohl das Sinkhorn-Routing als auch die Rauschbeigabe während der Inferenz deaktiviert, um zu einem deterministischen Softmax-Routing zurückzukehren, welches konsistente, input-abhängige Vorhersagen gewährleistet.

Wichtigste Beiträge

Neuartiger Routing-Framework: Eine Methode, die Entropie-regulierten optimalen Transport mit stochastischer Rauschbeigabe integriert, um eine balancierte Expertennutzung ohne zusätzliche Hilfsverlustfunktionen zu fördern.
Theoretische Erkenntnisse: Beweise, die zeigen, dass Sinkhorn-basiertes Routing und Rauschbeigabe beim Training helfen, indem sie Exploration und Balancing fördern, aber während der Inferenz deaktiviert werden sollten, um verzerrte Zuweisungen zu vermeiden.
Effizienz und Leistung: Umfangreiche Evaluierungen zeigen, dass SSR die Trainingseffizienz, Genauigkeit und Robustheit im Vergleich zu State-of-the-Art-Baselines verbessert.

Experimentelle Ergebnisse

Die Autoren evaluierten SSR bei Sprachmodellierung (WikiText-103, Enwik-8) und Bildklassifizierung (ImageNet-1K, ImageNet-A, ImageNet-O, ImageNet-R).

Sprachmodellierung:
- Auf WikiText-103 übertrafen SSR-Varianten das Vanilla SMoE und Baselines, die Load-Balancing-Loss, z-Loss oder Rauschen verwendeten, konsistent.
- SSR-L mit Rauschen erreichte eine Test-Perplexität (PPL) von 34,367, eine Reduktion um 1,183 gegenüber Vanilla SMoE (35,550), und übertraf damit den nächstbesten Baseline-Wert deutlich.
- Entscheidend ist, dass SSR minimalen Trainingsoverhead (0,33% – 0,65%) verursachte, während ein volles Sinkhorn-basiertes SMoE einen Overhead von 72,47% aufwies.
- Unter Momentum-Einstellungen bewahrte SSR die charakteristische Norm-Evolution von Vanilla SMoE, verbesserte jedoch die Leistung, während andere Balancing-Methoden die Leistung verschlechterten.
Byte-Level-Modellierung (Enwik-8):
- SSR-S mit Rauschen erreichte das beste Test-Bits-per-Character (BPC) von 1,128, was eine Verbesserung gegenüber Vanilla SMoE um 0,010 BPC darstellt.
- Es war 2,28-mal schneller als das volle Sinkhorn-basierte SMoE.
Vision-Aufgaben:
- Auf ImageNet-1K erreichte SSR-L mit Rauschen eine Top-1-Genauigkeit von 77,420, einen Gewinn von +2,368 gegenüber Vanilla SMoE.
- Es zeigte auch eine starke Robustheit auf ImageNet-O und ImageNet-R.
Ablationsstudien:
- Die Wahrscheinlichkeit $p$ der Anwendung von Sinkhorn-Routing ist kritisch; sehr kleine Werte (z. B. $10^{-3}$ oder $10^{-4}$ ) waren ausreichend, um Balancing-Signale zu liefern, ohne den Router zu stark einzuschränken.
- Die Rauschbeigabe verbesserte die Leistung konsistent über verschiedene Settings hinweg.
- Die Deaktivierung der Balancing-Mechanismen während der Inferenz lieferte die besten Ergebnisse, was die theoretischen Behauptungen bestätigt.

Bedeutung und Ansprüche

Das Paper behauptet, dass Selective Sinkhorn Routing eine praktische und effektive Lösung für das SMoE-Design bietet. Durch den Ersatz komplexer Hilfsverluste durch effizientes, intermittierendes Sinkhorn-basiertes Optimieren erreicht SSR:

Verbesserte Trainingsstabilität: Durch eingebautes Experten-Balancing ohne Zielabweichung (Objective Misalignment).
Höhere Genauigkeit: Nachgewiesen über Text- und Vision-Benchmarks hinweg.
Robustheit: Verbesserte Leistung gegenüber Eingabekorruption und adversen Beispielen.
Effizienz: Minimaler Rechenoverhead im Vergleich zu sowohl Hilfsverlust-Methoden als auch vollem Sinkhorn-Routing.

Die Autoren betonen, dass die Methode leichtgewichtig ist, keine zusätzlichen trainierbaren Parameter erfordert (in der Rausch-Variante) und die Flexibilität der Expertenauswahl beibehält, während sie gleichzeitig eine balancierte Auslastung während der Trainingsphase sicherstellt.