🤖 machine learning

Eigenvectors of Experts are Training-free Non-collapsing Routers

Dieses Paper stellt SSMoE vor, ein trainingsfreies Framework, das die Eigenvektoren der Experten-Gewichtsmatrizen mittels Singulärwertzerlegung nutzt, um das Problem des Experten-Kollapses in Sparse Mixture of Experts-Modellen effektiv zu lösen und deren Leistung über verschiedene Aufgaben hinweg zu steigern.

Ursprüngliche Autoren: Giang Do, Hung Le, Truyen Tran

Veröffentlicht 2026-06-01

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Giang Do, Hung Le, Truyen Tran

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten eine riesige, hochspezialisierte Bibliothek (ein Large Language Model), die darauf ausgelegt ist, jede Frage zu beantworten, die Sie ihr stellen. In dieser Bibliothek gibt es hunderte von Experten-Bibliothekaren (genannt „Experten“). Wenn Sie eine Frage stellen, entscheidet ein Oberbibliothekar (genannt der „Router“), welche wenigen Experten Ihnen helfen sollen.

Das Problem: Der „Groupthink“-Fehler
Die Arbeit identifiziert einen schwerwiegenden Fehler in der Art und Weise, wie diese Bibliotheken derzeit funktionieren. Obwohl der Oberbibliothekar eigentlich die besten Experten für eine spezifische Frage auswählen sollte, gerät er oft in eine Sackgasse. Er wählt immer wieder dieselben wenigen Experten aus und ignoriert dabei die anderen.

Die Autoren nennen dies „Expert Collapse“ (Experten-Kollaps). Es ist wie in einem Restaurant, in dem der Manager jeden Kunden ständig zu denselben zwei Köchen schickt, obwohl die Küche noch 50 andere talentierte Köche hat. Das Ergebnis ist, dass das Restaurant ineffizient wird, die Qualität des Essens sinkt und die ungenutzten Köche (die anderen Experten) einfach nur untätig herumsitzen.

Frühere Versuche, dies zu beheben, beinhalteten das komplette Neu-Training des Oberbibliothekars, was so ist, als würde man einen neuen Manager einstellen und Monate damit verbringen, ihm beizubringen, wie man die Küche führt. Das ist teuer und langsam.

Die Entdeckung: Die Ausweise der Experten
Die Forscher stellten eine einfache Frage: Können wir Fragen routen, ohne überhaupt einen Oberbibliothekar zu haben?

Sie schauten in die „Ausweise“ (die mathematischen Gewichtmatrizen) der Experten selbst. Dabei entdeckten sie etwas Überraschendes: Die internen Strukturen der Experten enthalten bereits eine Karte dessen, worin sie gut sind. Speziell die „Eigenvektoren“ (ein schicker mathematischer Begriff für die Hauptrichtungen von Informationen) in diesen Ausweisen enthalten reiche, semantische Bedeutungen.

Man kann es sich so vorstellen: Anstatt einen Manager zu fragen, wer am besten italienisches Essen kochen kann, schaut man sich den eigenen Lebenslauf des Kochs an und sieht, dass sein Name buchstäblich in „Italienisch“ geschrieben steht. Die Experten schreien bereits: „Ich kann Mathe!“ oder „Ich kann Poesie!“ durch ihre eigene interne Struktur.

Die Lösung: SSMoE (Die selbstorganisierende Bibliothek)
Die Forscher schlagen ein neues System namens SSMoE vor. Anstatt einen gelernten Oberbibliothekar zu verwenden, der raten muss, wen er auswählen soll, nutzt SSMoE die eigenen „Ausweise“ (ihre Eigenvektoren) der Experten, um die Fragen zu routen.

Kein Training nötig: Dies ist der größte Gewinn. Sie müssen das Modell nicht neu trainen oder Geld für neue Daten ausgeben. Sie schauen einfach die vorhandene Mathematik innerhalb des Modells an und nutzen diese, um die Token zu routen. Es ist „trainingsfrei“.
Kein Kollaps: Da die internen Karten der Experten von Natur aus unterschiedlich sind (mathematisch „orthogonal“), kollabieren sie nicht in ein „Groupthink“. Sie verteilen die Arbeit ganz natürlich.
Bessere Leistung: Durch die Verwendung dieser Methode wird das Modell tatsächlich intelligenter. Es nutzt die richtigen Experten häufiger, was zu besseren Antworten führt.

Die Ergebnisse: Schlauer, schneller und stärker
Die Autoren testeten dies an verschiedenen „Bibliotheken“ (Modellen), die von kleinen bis hin zu massiven 120-Milliarden-Parameter-Giganten reichten.

Intelligentere Antworten: Bei schwierigen Denkaufgaben (wie Mathe- und Wissenschaftsfragen) übertraf SSMoE die ursprünglichen Modelle. Beispielsweise verbesserte sich bei einem 20-Milliarden-Parameter-Modell die Genauigkeit im Durchschnitt um etwa 6 %.
Spart Geld (Speicher): Da das Routing so effizient ist, konnten sie tatsächlich 25 % der Experten entfernen (diejenigen entlassen, die nicht benötigt wurden) und trotzdem bessere Ergebnisse erzielen als das vollständige Originalmodell. Dies sparte etwa 23 % des Computerarbeitsspeichers, der zum Ausführen des Modells benötigt wird.
Robustheit: Selbst wenn die Eingangsdaten unordentlich oder fehlerhaft waren (wie eine Frage mit zufälligen Tippfehlern oder Rauschen), hielt sich SSMoE besser als die traditionellen Modelle. Es war weniger wahrscheinlich, verwirrt zu werden.

Zusammenfassend
Die Arbeit zeigt, dass wir keinen komplizierten, teuren Manager brauchen, der den Experten sagt, was sie tun sollen. Wenn wir einfach auf die internen „Vibes“ (ihre Eigenvektoren) der Experten hören, können sie sich perfekt selbst organisieren. Dies macht KI-Modelle effizienter, genauer und weniger anfällig für die „Groupthink“-Fehler, die normalerweise diese Modelle plagen – und das alles, ohne sie neu trainieren zu müssen.

Technisches Resümee: Eigenvektoren von Experten sind trainingsfreie, nicht-kollabierende Router

Problemstellung

Sparse Mixture of Experts (SMoE)-Architekturen sind zu einem Eckpfeiler für die Skalierung von Large Language Models (LLMs) und Vision-Language-Modellen geworden, indem sie Input-Token an eine Teilmenge spezialisierter Experten routen. Diese Modelle leiden jedoch unter einem hartnäckigen Problem, das als Experten-Kollaps (oder Repräsentations-Kollaps) bekannt ist, bei dem verschiedene Experten dazu neigen, ähnliche oder redundante Ausgaben zu erzeugen, was die effektive Kapazität und Leistung des Modells verschlechtert.

Obwohl die bisherige Forschung versucht hat, dies durch die Verbesserung des Routers (des Mechanismus, der die Experten auswählt) zu mildern, erfordern diese Ansätze typischerweise ein Training von Grund auf oder ein Fine-Tuning, was hohe Rechen- und Datenverarbeitungskosten verursacht. Darüber hinaus zeigt die in dieser Arbeit präsentierte empirische Evidenz, dass selbst gut vortrainierte SMoE-Modelle, einschließlich State-of-the-Art-Systeme wie GPT-OSS, Qwen3 und DeepSeek-MoE, über verschiedene Schichten und Modellskalen hinweg weiterhin einen signifikanten Router-Kollaps aufweisen. Diese Persistenz deutet darauf hin, dass konventionelle Verbesserungen am Router unzureichend sind und eine grundlegende Neubewertung des Routing-Mechanismus notwendig ist.

Methodik: Singularwertzerlegung SMoE (SSMoE)

Die Autoren schlagen SSMoE vor, ein neuartiges, trainingsfreies Framework, das die Abhängigkeit von gelernten Routern eliminiert, indem es die spektralen Eigenschaften der Gewichtmatrizen der Experten selbst nutzt.

Kernaspekt

Durch die Analyse fortgeschrittener, vortrainierter SMoE-Modelle beobachten die Autoren, dass die Eigenvektoren der Experten-Gewichtsmatrizen reiche semantische Informationen kodieren. Im Gegensatz zu gelernten Router-Embeddings, die kollabieren können, bewahren diese Eigenvektoren natürlich ihre Orthogonalität und erfassen die intrinsische Spezialisierung der Experten.

Das SSMoE-Framework

Die Methode operiert in vier primären Schritten:

Extraktion der Eigenvektoren: Für jeden Experten $i$ berechnen die Autoren zwei Gram-Matrizen, die aus den Gewichten des Feedforward Neural Network (FFN) des Experten ( $FFN_1$ und $FFN_2$ ) abgeleitet sind. Anschließend extrahieren sie die Eigenvektoren dieser Matrizen.
Konstruktion des Spektral-Embeddings: Für einen gegebenen Experten werden die Top- $c$ Eigenvektoren, die dem Router-Embedding des Experten am ähnlichsten sind, aus beiden Gram-Matrizen ausgewählt. Diese werden gemittelt, um ein „Spektral-Embedding“ ( $C^{(i)}$ ) zu bilden, das die semantische Spezialisierung des Experten repräsentiert.
Routing: Die Spektral-Embeddings aller Experten werden zu einer Routing-Gewichtsmatrix ( $W_{EV}$ ) konkateniert. Der Input-Token $x$ wird durch diese Matrix projiziert, um Eigenvektor-basierte Logits ( $f_{EV}(x)$ ) zu generieren.
Hybrides Routing: Um das neue Spektralsignal mit dem ursprünglichen kontextsensitiven Router zu balancieren, verwendet SSMoE eine konvexe Kombination:
$V(x) = \alpha f_{EV}(x) + (1 - \alpha) s(x)$
wobei $s(x)$ die ursprünglichen gelernten Router-Logits sind und $\alpha \in [0, 1]$ ein abstimmbarer Balancefaktor ist. Empirische Ergebnisse legen nahe, dass $\alpha$ -Werte zwischen 0,5 und 0,9 eine optimale Leistung erzielen.

Theoretische Garantie

Das Paper liefert ein theoretisches Lemma, das zeigt, dass der SSMoE-Router die paarweisen Logit-Korrelationen reduziert. Speziell gilt: Wenn die Eigenvektor-Logits orthogonal zu den gelernten Router-Logits sind, wird die Kovarianz des kombinierten Routers im Vergleich zum ursprünglichen Router strikt um den Faktor $(1-\alpha)^2$ reduziert. Dies beweist mathematisch, dass SSMoE das im konventionellen SMoE-Router inhärente Kollaps-Problem mildert.

Zentrale Beiträge

Identifizierung des Kollapses in vortrainierten Modellen: Die Autoren demonstrieren empirisch, dass Router-Kollaps ein weit verbreitetes Problem in zehn State-of-the-Art MoE-basierten Modellen (von 4B bis 120B Parametern) ist, das sowohl Reasoning- als auch Non-Reasoning-Architekturen betrifft.
Semantische Kodierung in Eigenvektoren: Die Arbeit zeigt auf, dass die Eigenvektoren der Experten-Gewichtsmatrizen natürlich reiche semantische Informationen kodieren und somit eine robuste Alternative zu gelernten Router-Embeddings darstellen.
SSMoE-Framework: Die Einführung eines trainingsfreien, effizienten Frameworks, das diese spektralen Eigenschaften nutzt, um das Token-Routing und die Expertenrepräsentation zu verbessern, ohne zusätzliches Training zu erfordern.
Experten-Pruning-Strategie: Der Vorschlag einer Methode zum Verwerfen von Experten (Expert Dropping) basierend auf SSMoE, die die Leistung verbessert und gleichzeitig den Speicherverbrauch signifikant reduziert.

Experimentelle Ergebnisse

Die Autoren evaluierten SSMoE über diverse Aufgaben und Modellskalen hinweg, sowohl unter sauberen als auch unter korrumpierten (verrauschten) Datensettings.

Große Reasoning-Modelle (GPT-OSS): Auf GPT-OSS-20B und GPT-OSS-120B übertraf SSMoE die Originalmodelle sowie Baseline-Random-Dropping-Strategien.
- Es erreichte eine durchschnittliche Verbesserung von ~6% gegenüber den ursprünglichen GPT-OSS-Modellen in Reasoning-Benchmarks (ARC, GSM8K, etc.), während der Speicherverbrauch um ~23% reduziert wurde.
- In einem 10-Shot-Setting verbesserte SSMoE die Leistung gegenüber Baselines um 21% für das 20B-Modell und um 10% für das 120B-Modell.
- Entscheidend zeigten Ablationsstudien, dass die Leistungssteigerungen durch den Routing-Mechanismus selbst getrieben wurden und nicht bloß durch die Reduzierung der Anzahl der Experten.
Large Language Models (MTEB): In der Evaluierung von OLMoE, Qwen-MoE und DeepSeekMoE übertraf SSMoE konsistent die Baselines (Router, SMoE, MoEE) im Massive Text Embedding Benchmark (MTEB).
- Es erreichte State-of-the-Art-Leistung in 15/18 Aufgaben in sauberen Settings und 16/18 Aufgaben in korrumpierten Settings.
- Die Methode zeigte eine überlegene Robustheit unter adversen Perturbationen (korrumpierte Daten) und übertraf komplexe Repräsentationen, die signifikante Leistungseinbußen erlitten.
Vision-Language-Modelle (CLIP-MoE): Bei Zero-Shot Image-Text Retrieval (COCO, Flickr30k) und Klassifizierungsaufgaben verbesserte SSMoE den Recall@1 um bis zu +1,1% und zeigte im Vergleich zum Baseline-CLIP-MoE eine größere Robustheit gegenüber Bildrauschen.
Effizienz: Das Framework reduzierte den Speicherbedarf um etwa 23% in Reasoning-Aufgaben und um 5% an GFLOPs bei Embedding-Aufgaben, während es die Genauigkeit beibehielt oder verbesserte.

Bedeutung und Ansprüche

Das Paper behauptet, dass SSMoE einen Paradigmenwechsel in der Optimierung von SMoE-Architekturen darstellt. Durch die Verlagerung des Fokus vom Lernen eines Routers hin zur Analyse der intrinsischen spektralen Eigenschaften der Experten zeigen die Autoren, dass:

Trainingsfreie Optimierung praktikabel ist: Signifikante Leistungssteigerungen und Robustheit können ohne den Rechenaufwand eines Retrainings oder Fine-Tunings erreicht werden.
Interne Strukturen entscheidend sind: Ein tieferes Verständnis der Modellinterna (speziell die Orthogonalität von Eigenvektoren) kann die Entwicklung effektiverer Architekturen leiten.
Robustheit: Die auf Eigenvektoren basierende Repräsentation bietet ein stabileres und semantisch reicheres Signal, das weniger anfällig für Kollaps und resistenter gegen Datenkorruption ist als traditionelle gelernte Router.

Die Autoren schließen mit der Feststellung, dass ihre Ergebnisse die Bedeutung unterstreichen, spektrale Erkenntnisse zu nutzen, um effizientere, effektivere und robustere SMoE-Architekturen zu schaffen, was eine praktische Lösung für das langjährige Problem des Experten-Kollapses bietet.