💬 NLP

Tying the Loop -- Tied Expert Layers in Mixture-of-Experts Language Models

Dieses Paper stellt Expert Tying vor, eine Methode, die Expertenparameter über aufeinanderfolgende Transformer-Schichten in Mixture-of-Experts-Modellen teilt, um den Speicherbedarf um nahezu die Hälfte zu reduzieren, bei vernachlässigbarem Einfluss auf die Performance, wodurch das Rechen-zu-Speicher-Verhältnis beim Training und der Skalierung großer Sprachmodelle signifikant verbessert wird.

Ursprüngliche Autoren: Martin Jaggi

Veröffentlicht 2026-06-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Martin Jaggi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „riesige Bibliothek“ vs. der „kleine Leser“

Stellen Sie sich vor, Sie bauen einen riesigen, superintelligenten Roboter-Bibliothekar (ein Large Language Model), um Menschen beim Schreiben von Geschichten oder beim Lösen von Problemen zu helfen.

Um diesen Bibliothekar unglaublich schlau zu machen, geben Sie ihm Zugang zu einer massiven Bibliothek mit Milliarden von Büchern (dies sind die „Parameter“ oder „Experten“). Um den Bibliothekar jedoch schnell und effizend zu halten, entscheiden Sie sich dazu, dass er für jeden einzelnen Satz, den er liest, nur ein oder zwei spezifische Bücher öffnet, um die Antwort zu finden. Dies wird als Mixture-of-Experts (MoE)-Modell bezeichnet.

Der Haken: Obwohl der Bibliothekar in jedem Moment nur einen winzigen Bruchteil der Bücher liest, müssen Sie dennoch die gesamte Bibliothek physisch im Raum präsent halten (im Computer-Speicher). Wenn die Bibliothek 1.000 Bücher hat, der Bibliothekar aber immer nur 10 gleichzeitig öffnet, benötigen Sie trotzdem ein Zimmer, das groß genug ist, um alle 1.000 Bücher aufzunehmen. Dies macht das System sehr teuer und langsam, weil der „Raum“ (Speicher) riesig ist, obwohl das „Lesen“ (Rechenaufwand) gering ist.

Die Lösung: „Tying the Loop“ (Die Schleife schließen)

Die Autoren schlagen einen cleveren Trick vor, der Expert Tying genannt wird.

Stellen Sie sich vor, der Bibliothekar arbeitet in einem langen Flur mit 32 Zimmern (Layern). In einem Standard-Setup hat jedes Zimmer sein eigenes, einzigartiges Set von 1.000 Büchern.

Der alte Weg: Zimmer 1 hat die Bücher A–Z. Zimmer 2 hat die Bücher A–Z (aber eine andere Kopie). Zimmer 3 hat die Bücher A–Z (eine weitere Kopie). Sie benötigen 32 Sets an Büchern.
Der neue Weg (Expert Tying): Sie erkennen, dass die Bücher in Zimmer 1, Zimmer 2 und Zimmer 3 eigentlich sehr ähnliche Arbeit leisten. Also verbinden (tie) Sie diese miteinander. Sie legen ein einziges Set an Büchern auf einen Rollwagen, der von Zimmer 1 zu Zimmer 2 zu Zimmer 3 fährt. Der Bibliothekar nutzt in allen drei Zimmern dieselben physischen Bücher.

Das Ergebnis: Sie benötigen nicht mehr 32 Sets an Büchern, sondern nur noch 1 Set für alle 3 Zimmer. Dies reduziert die Größe der „Bibliothek“ (Speicher) um fast die Hälfte, aber der Bibliothekar liest immer noch genauso schnell, da er nach wie vor nur ein Buch zur Zeit öffnet.

Das Geheimrezept: Was man verbindet und was man getrennt hält

Die Forscher haben nicht einfach alles blind miteinander verbunden. Sie haben Experimente durchgeführt, um herauszufinden, was genau geteilt werden konnte, ohne den Bibliothekar dumm zu machen.

Stellen Sie sich ein Zimmer in der Bibliothek als bestehend aus vier Teilen vor:

Die Bücher (Experten): Das eigentliche Wissen.
Die Brille des Bibliothekars (Attention): Wie er die Wörter betrachtet.
Die Karteikarte (Router): Welches Buch er auswählt.
Der Schreibtisch (Normalization): Wie er seine Notizen organisiert.

Die Entdeckung:

Das Teilen der Bücher ist unproblematisch: Man kann dieselben Bücher über mehrere Zimmer hinweg teilen. Der Bibliothekar kann immer noch hervorragende Arbeit leisten, weil die Brille (Attention) in jedem Zimmer anders ist. Die Brille verändert, wie der Bibliothekar auf die Wörter blickt, was jedes Zimmer einzigartig macht, selbst wenn die Bücher dieselben sind.
Teilen Sie die Brille nicht: Wenn Sie auch die Brille teilen, wird der Bibliothekar verwirrt und die Qualität sinkt.
Die „Prelude und Coda“-Regel: Das allererste Zimmer (wo der Bibliothekar das Buch erhält) und das allerletzte Zimmer (wo er die Antwort schreibt) benötigen ihre eigenen, einzigartigen Bücher. Wenn Sie den Bibliothekar zwingen, für den Anfang und das Ende den geteilten Wagen zu nutzen, leidet die Qualität. Behalten Sie also die ersten zwei und die letzten zwei Zimmer als einzigartig und verbinden Sie die mittleren.

Die Ergebnisse: Schneller, kleiner und genauso schlau

Die Arbeit testete dies an drei berühmten KI-Modellen (OLMoE, Qwen3 und DeepSeek). Hier ist das Ergebnis:

Speichereinsparung: Durch das Verbinden der Experten in Gruppen von 4 reduzierten sie den benötigten Gesamtspeicher um 40 % bis 50 %. Es ist, als würde man die Größe der Bibliothek halbieren.
Kein „Gehirnschaden“: Die „Intelligenz“ (Perplexity und Genauigkeit) sank kaum. Es war fast so gut wie das ursprüngliche, riesige Modell.
Geschwindigkeitsvorteil: Da der Computer nicht so viele Bücher in den Speicher laden musste, wurde der Trainingsprozess um 23 % schneller.
Der „Reinvestitions“-Trick: Da sie durch das Teilen der Bücher so viel Platz gespart haben, nahmen sie diesen gesparten Platz und fügten dem geteilten Wagen mehr Bücher hinzu. Dies schuf ein Modell, das tatsächlich besser als das Original war, obwohl es die gleiche Menge an Speicher verwendete.

Zusammenfassende Analogie

Stellen Sie sich eine Baustelle vor, auf der ein Wolkenkratzer gebaut wird.

Alter Weg: Jede Etage hat ihr eigenes, voll ausgestattetes Werkzeugset. Der Lastwagen, der all die Werkzeugsets transportiert, ist riesig und teuer.
Neuer Weg (Tying the Loop): Die Etagen 3 bis 28 teilen sich alle dasselbe Werkzeugset, das mit dem Aufzug nach oben gereicht wird. Die Etagen 1, 2, 29 und 30 behalten ihre eigenen speziellen Werkzeugsets.
Ergebnis: Der Lastwagen ist nun halb so groß (spart Geld und Platz), die Crew bewegt sich schneller, weil sie keine zusätzliche Last schleppen muss, und das Gebäude ist genauso stabil. Tatsächlich, weil sie Geld beim Lastwagen gespart haben, konnten sie bessere Werkzeuge für das gemeinsame Werkzeugset kaufen, was das Gebäude sogar noch stärker macht.

Das Wichtigste in Kürze: Man kann KI-Modelle viel kleiner und schneller machen, indem man dasselbe „Wissen“ über mehrere Layer des Modells hinweg wiederverwendet, solange man die „Brillen“ (Attention) für jeden Layer einzigartig hält und die allerersten und allerletzten Layer unberührt lässt.

Technisches Resümee: Tying the Loop – Tied Expert Layers in Mixture-of-Experts Sprachmodellen

Problemstellung

Mixture-of-Experts-Architekturen (MoE) sind zum Standard für die Skalierung von Large Language Models (LLMs) geworden, indem sie die Gesamtzahl der Parameter von der pro-Token-Rechenleistung entkoppeln. Indem nur eine kleine Teilmenge der Experten-Feed-Forward-Netzwerke (FFNs) pro Token aktiviert wird, erreichen MoE-Modelle eine hohe Kapazität bei effizienter Inferenz. Es bleibt jedoch ein kritischer Engpass bestehen: der Speicherbedarf (Memory Footprint). Obwohl während eines Forward-Passes nur ein Bruchteil der Parameter aktiv ist, muss der gesamte Parametersatz (der von den Experten-Gewichten dominiert wird) im Trainings- und Inferenzspeicher präsent sein.

Dies erzeugt ein Spannungsverhältnis mit dem aufkommenden Trend der „Parametereffizienz“ in Reasoning- und Looped-Depth-Modellen, die darauf abzielen, mehr Rechenleistung aus jedem einzigartigen Parameter zu extrahieren. Standardmäßige MoE-Architekturen werden in dieser Hinsicht als ineffizient betrachtet, da sie den Speicher mit Parametern aufblähen, die in einem gegebenen Durchlauf untätig sind. Das Paper versucht, die geringe pro-Token-Rechenleistung von MoE mit dem Ziel einer höheren Rechenleistung pro einzigartigem Parameter zu versöhnen, ohne die Modellqualität zu opfern.

Methodik: Expert Tying

Die Autoren schlagen Expert Tying vor, eine architektonische Modifikation, die die Parameter der Experten-FFNs über eine Gruppe aufeinanderfolgender Transformer-Layer hinweg teilt, während layerspezifische Komponenten erhalten bleiben.

Kernmechanismus

Parameterteilung: Für eine Gruppe von $g$ aufeinanderfolgenden Layern werden die Gate-, Up- und Down-Projektionsgewichte der $N$ Experten aliased (geteilt). Dies reduziert die einzigartigen FFN-Parameter um den Faktor $g$ .
Gewahrte Unabhängigkeit: Entscheidend ist, dass der Router (Gating-Netzwerk), die Self-Attention-Projektionen (Q, K, V, O) und die Normalisierungsschichten für jeden Layer unabhängig bleiben.
Implementierung: Die Methode wird als einfache Pointer-Zuweisung im Modellcode (z. B. Hugging Face Transformers) implementiert. Sie erfordert keine Änderungen an der Trainings- oder Inferenz-Infrastruktur, außer sicherzustellen, dass der Optimizer die Gradienten aus den multiplen Nutzungsstellen der geteilten Parameter korrekt akkumuliert.
Skalierung der Lernrate: Um die Gradientenakkumulation aus $g$ Layern zu bewältigen, wird die Lernrate für die geteilten Experten-Gewichte mit $1/\sqrt{g}$ skaliert.

Design-Rationale

Die Autoren hypothetisieren, dass der Pool der FFN-Experten über benachbarte Layer hinweg geteilt werden kann, da die pro-Layer Attention sicherstellt, dass der effektive Operator jedes Layers distinkt bleibt. Selbst mit identischen Experten-Gewichten erzeugt das Attentieren über unterschiedliche Mischungen von Token-Positionen in jeder Tiefe unterschiedliche Transformationen.

Zentrale Beiträge

1. Kontrollierte Komponentenauswahl (Ablation Study)

Bevor sie auf Produktionsmodelle skalierten, führten die Autoren eine kontrollierte Ablationsstudie an einer kleineren Architektur durch, um zu bestimmen, welche Komponenten geteilt werden können, ohne die Qualität zu verschlechtern.

Ergebnis: Die pro-Layer Attention ist der primäre Treiber der Layer-Distinktheit. Das Entkoppeln (Untying) der Attention (Beibehaltung der Unabhängigkeit) verbessert den Loss signifikant stärker als das Entkoppeln des Routers.
Router-Einfluss: Während das Entkoppeln des Routers die Routing-Diversität erhöht (die Cross-Loop-Übereinstimmung sinkt), hat es einen vernachlässigbaren Einfluss auf den finalen Loss, sofern die Attention gekoppelt bleibt.
Schlussfolgerung: Die optimale Strategie besteht darin, die Experten-Gewichte zu teilen, die Attention pro Layer beizubehalten und den Router als geteilt oder ungeteilt zu behandeln, wobei der Unterschied im Kostenaufwand minimal ist.
Prelude/Coda: Die ersten und letzten Layer des Stapels (Embedding-Input und LM-Head-Output) sollten ungeteilt bleiben. Ein „2+2“ ungeteilter Prelude und Coda liefert den größten architektonischen Gewinn im Vergleich zu voll rekurrenten Designs.

2. Skalierung auf Produktionsarchitekturen

Die Methode wurde auf drei State-of-the-Art MoE-Architekturen angewendet: OLMoE, Qwen3-MoE und DeepSeekMoE.

Konfiguration: Gruppen von $g=4$ Layern teilen die Experten-Gewichte, mit 2 ungeteilten Layern am Anfang und Ende.
Parameterreduktion: Diese Konfiguration reduziert die Gesamtzahl der Parameter um 29 % bis 52 % (abhängig von der Architektur und der Gruppengröße) bei vernachlässigbarer Verschlechterung der Perplexity oder der Downstream-Genauigkeit.
Durchsatz: Die Reduktion der einzigartigen Parameter führt zu einer 23,7 % höheren Wall-Clock-Trainingsgeschwindigkeit aufgrund reduzierter Gewichtslade-Bandbreite und Optimizer-Status-Updates.

3. Heterogene Breitenexpansion

Das Paper führt eine neuartige Verwendung der eingesparten Parameter ein: die Reinvestition dieser in die geteilten mittleren Layer.

Anstatt das Modell lediglich zu komprimieren, verbreitern die Autoren die geteilten mittleren Layer (Erhöhung der Anzahl der Experten), um die ursprüngliche Gesamtparameterzahl zu erreichen („iso-parameter“).
Ergebnis: Modelle mit breiten-expandierten geteilten Layern schneiden konsistent besser ab als die Standard-Untied-Baseline bei gleicher Parameteranzahl. Dies definiert Expert Tying nicht nur als Kompressionstechnik, sondern als eine Tiefe-vs-Breite-Designachse.

4. Validierung in großem Maßstab

Die Experimente wurden auf ein 7B-Parameter-Modell (OLMoE-1B-7B) ausgeweitet.

Das $g=4$ geteilte Modell erreichte eine äquivalente Loss- und Downstream-Genauigkeit wie das ungeteilte Baseline-Modell, während es weniger als die Hälfte der Gesamtparameter verwendete (3,50B vs. 7,12B).
Die breiten-expandierte Variante verbesserte die Leistung weiter und übertraf das offizielle OLMoE-1B-7B Checkpoint, das auf doppelt so viele Tokens trainiert wurde, obwohl es nur halb so viele Parameter besaß.

Zusammenfassung der Ergebnisse

Speichereffizienz: Expert Tying reduziert den Speicherbedarf um fast das Zweifache (bis zu 52 % Parameterreduktion) bei praktisch keiner Verschlechterung der Perplexity.
Qualitätserhaltung: Bei $g=4$ ist der Loss-Penalty minimal (z. B. +0,05 bis +0,07 im Validierungs-Loss), und die Downstream-Genauigkeit sinkt um höchstens 1,9 %.
Leistungsgewinne: Der Trainingsdurchsatz steigt um 15,7 % bis 23,7 % durch reduzierten Datentransport und geringeren Optimizer-Overhead.
Iso-Parameter-Überlegenheit: Wenn die eingesparten Parameter reinvestiert werden, um die geteilten Layer zu verbreitern, schneiden die resultierenden Modelle besser ab als Standard-Untied-MoEs gleicher Größe.

Bedeutung und Ansprüche

Das Paper behauptet, dass Expert Tying erfolgreich die gegensätzlichen Trends der MoE-Skalierung (geringe pro-Token-Rechenleistung) und der Parametereffizienz (hohe Rechenleistung pro einzigartigem Parameter) vereint. Durch die Ausnutzung der inhärenten Parameterredundanz in MoE-Pfaden entfernt die Methode den Speichernachteil der Sparsity, ohne die Sparsity selbst zu entfernen.

Die Autoren betonen, dass ihr Beitrag nicht bloß die Konfiguration ist (die Ähnlichkeiten mit früherer Arbeit wie Megrez2 aufweist), sondern die kontrollierte Studie, die identifiziert, welche Komponenten geteilt werden können. Sie zeigen, dass die Attention und nicht das Routing die entscheidende Komponente ist, um die Distinktheit der Layer aufrechtzuerhalten, was es ermöglicht, den größten Experten-Pool zu teilen, bei gleichzeitig geringsten Qualitätskosten.

Die Arbeit positioniert Expert Tying als eine „Drop-in“-Modifikation für bestehende MoE-Codebasen, die das effiziente Training und die Skalierung von Next-Generation-LLMs vorantreibt und ein äußerst günstiges Compute-zu-Memory-Verhältnis bietet. Die Autoren bleiben bescheiden hinsichtlich der Limitationen und merken an, dass die Experimente derzeit auf 7B Parameter begrenzt sind und die Effizienzgewinne Untergrenzen darstellen, da spezialisierte Tied-Layer-Kernel fehlen.