🤖 machine learning

Sparse Layers are Critical to Scaling Looped Language Models

Die Arbeit zeigt, dass die Kombination von Mixture-of-Experts-Architekturen (MoE) mit Schichtschleifen und Early-Exit-Mechanismen es Sprachmodellen ermöglicht, in Bezug auf die Skalierungseffizienz Standard-Transformer zu übertreffen und gleichzeitig die Speicher- und Inferenzkosten erheblich zu senken.

Ursprüngliche Autoren: Ryan Lee, Jacob Biloki, Edward J. Hu, Jonathan May

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ryan Lee, Jacob Biloki, Edward J. Hu, Jonathan May

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein superintelligentes Roboterhirn (ein Large Language Model) zu bauen, das lesen und schreiben kann wie ein Mensch. Das Problem ist, dass diese Gehirne riesig sind. Sie benötigen viel Speicherplatz zur Speicherung und sind langsam in der Ausführung, da sie Informationen nacheinander durch einen langen, gewundenen Flur von Räumen (Schichten) verarbeiten müssen.

Der Artikel untersucht einen cleveren Trick, um diese Gehirne kleiner und schneller zu machen, ohne sie „dumm" zu machen. Hier ist die Geschichte dessen, was sie fanden, einfach erklärt.

Das Problem: Das „Kopieren-Einfügen"-Gehirn

Normalerweise hat ein Roboterhirn für jeden Schritt seines Denkprozesses einen einzigartigen Raum. Wenn es 16 Schritte hat, benötigt es 16 verschiedene Räume. Dies ist teuer im Bau und in der Speicherung.

Um Kosten zu sparen, versuchten Forscher eine andere Idee: Schleifen. Anstatt 16 einzigartige Räume zu bauen, bauten sie nur 8 Räume und sagten dem Roboter, er solle sie zweimal durchlaufen.

Die Idee: Durchlaufen Sie die Räume 1–8, dann durchlaufen Sie die Räume 1–8 erneut.
Das Ergebnis: Es wird Speicherplatz gespart, da Sie nur 8 Räume gebaut haben.
Der Haken: Wenn der Roboter denselben Raum zum zweiten Mal durchläuft, tut er genau dasselbe wie beim ersten Mal. Es ist, als würde man dieselbe Buchseite zweimal lesen in der Hoffnung, sie besser zu verstehen. Der Roboter wird verwirrt und performt schlechter als der mit 16 einzigartigen Räumen.

Die Lösung: Das „Spezialistenteam" (MoE)

Die Autoren erkannten, dass das Problem darin bestand, dass die Räume zu allgemein waren. Sie waren wie ein Generalunternehmer, der versucht, ein undichtes Rohr zu reparieren, eine Wand zu streichen und eine Glühbirne zu verdrahten, alles gleichzeitig.

Sie ersetzten diese allgemeinen Räume durch Mixture-of-Experts (MoE)-Räume.

Die Analogie: Stellen Sie sich einen Raum mit einem intelligenten Empfangschef (einem Router) vor. Wenn ein Besucher (ein Datenelement) hereinkommt, lässt der Empfangschef nicht jeden denselben Menschen sehen. Stattdessen schickt er den Besucher basierend auf seinem Bedarf zu einem bestimmten Experten.
- Wenn der Besucher Mathematik benötigt, geht er zum Mathematik-Experten.
- Wenn er Poesie benötigt, geht er zum Poesie-Experten.
Die Magie: In einem Looped-MoE-Modell ist der Empfangschef intelligent genug, seine Meinung im zweiten Durchlauf zu ändern.
- Erster Durchlauf: Der Besucher betritt Raum 1 und wird zum Mathematik-Experten geschickt.
- Zweiter Durchlauf: Der Besucher betritt Raum 1 erneut, aber dieses Mal schickt ihn der Empfangschef zum Poesie-Experten.

Das Ergebnis: Obwohl der physische Raum derselbe ist, ist die Arbeit, die darin stattfindet, jedes Mal anders. Dies behebt die „Langeweile" des Schleifenmodells. Der Artikel fand heraus, dass Looped-MoE-Modelle tatsächlich intelligenter werden als die standardmäßigen großen Modelle, obwohl sie weniger einzigartige „Baupläne" (Parameter) speichern.

Der Bonus: Die „Früher-Ausgang"-Tür

Der Artikel entdeckte auch eine zweite Superkraft: Frühe Ausgänge.

In einem standardmäßigen Roboterhirn müssen Sie alle 16 Räume durchlaufen, um die endgültige Antwort zu erhalten. Wenn der Roboter die Antwort nach 8 Räumen herausfindet, muss er trotzdem die anderen 8 durchlaufen, was Zeit und Energie verschwendet.

In einem Looped-Modell befinden sich die „Ausgangstüren" am Ende jedes Schleifendurchlaufs.

Die Analogie: Stellen Sie sich ein Fließband in einer Fabrik vor. In einer standardmäßigen Linie müssen Sie bis ganz ans Ende der Linie warten, um zu prüfen, ob das Produkt gut ist. In einer geschleiften Linie prüfen Sie das Produkt nach dem ersten Durchlauf, dann nach dem zweiten Durchlauf.
Warum es besser funktioniert: Weil die Räume am Ende der Schleife dieselben Räume sind, die zur Erzeugung der endgültigen Antwort verwendet wurden, lernt der Roboter, viel früher eine „gut genug" Antwort zu geben.
Die Erkenntnis: Der Artikel fand heraus, dass Schleifenmodelle viel häufiger frühzeitig stoppen können (Energie sparen) als Standardmodelle, ohne an Qualität zu verlieren. Es ist, als könnte man eine Besprechung früher verlassen, weil man sich bereits über die Hauptpunkte geeinigt hat, während man in einer standardmäßigen Besprechung den ganzen Durchgang mitmachen muss.

Die große Erkenntnis

Der Artikel schließt mit einem einfachen Rezept für den Bau besserer, günstigerer KI ab:

Schleifen Sie nicht einfach nur Standardräume. (Das macht die KI schlechter).
Schleifen Sie „Spezialisten"-Räume (MoE). (Das macht die KI intelligenter und kleiner).
Verwenden Sie die Schleifengrenzen als Ausgangstüren. (Das spart Rechenleistung).

Durch die Kombination dieser Elemente erhalten Sie ein Modell, das günstiger zu speichern, schneller in der Ausführung und genauso intelligent (oder intelligenter) ist wie die massiven Modelle, die wir heute haben. Der Artikel nennt dies die Looped-MoE-Architektur.

Technische Zusammenfassung: Sparse-Schichten sind entscheidend für die Skalierung von geschleiften Sprachmodellen

Problemstellung

Large Language Models (LLMs) sind aufgrund ihrer massiven Parameteranzahl mit erheblichen Speicher- und Inferenzkosten konfrontiert, wobei jeder Parameter typischerweise nur einmal pro Inferenzschritt verwendet wird. Obwohl die Wiederverwendung von Parametern über die Tiefe (Schleifenbildung) einen Weg bietet, um Speicherkosten zu senken und natürliche Early-Exit-Punkte bereitzustellen, haben bisherige Architekturen, die diesen Ansatz nutzen, im Vergleich zu Standard-Transformern mit einzigartigen Schichten bei gleichem Trainings-Compute unterperformt. Die Autoren vermuten, dass der Engpass der Ausdruckskraft in geschleiften LLMs vom dichten Feed-Forward-Netzwerk (FFN) herrührt, das dieselbe Operation auf jedes Token anwendet. Diese Invarianz verstärkt sich, wenn Schichten geschleift werden, und begrenzt die Fähigkeit des Modells, komplexe Repräsentationen zu lernen.

Methodik

Die Autoren führen eine kontrollierte Studie durch, bei der vier Transformer-Architekturen verglichen werden, um die Effekte von Schleifenbildung von Schichten und sparse Mixture-of-Experts (MoE)-Schichten zu isolieren:

Base: Standard-Transformer mit einzigartigen Schichten und dichten FFNs.
Looped: Transformer mit wiederholten Schichtstapeln (Gewichtsbindung) und dichten FFNs.
MoE: Standard-Transformer mit einzigartigen Schichten und sparse MoE-FFNs.
Looped-MoE: Transformer mit wiederholten Schichtstapeln und sparse MoE-FFNs.

Experimenteller Aufbau:

Analyse von Skalierungsgesetzen: Die Studie verwendet die Maximal Update Parameterization (µP), um Modelle effizient über verschiedene Breiten zu skalieren, ohne Lernraten neu abzustimmen. Modelle werden unter festen Compute-Budgets (IsoFLOP) im Bereich von $5 \times 10^{16}$ bis $10^{18}$ FLOPs trainiert.
Architekturdetails: Die geschleiften Varianten verwenden 8 einzigartige Schichten, die 2-mal wiederholt werden ( $8 \times 2$ ), um die effektive Tiefe von 16 Schichten der nicht-geschleiften Gegenstücke zu erreichen. Die MoE-Konfigurationen verwenden Top-2-Routing aus 8 Experten.
Evaluation von Early Exits: Die Autoren bewerten Trade-offs zwischen Compute und Qualität unter Verwendung eines trainingsfreien Early-Exit-Kriteriums basierend auf der Ausgabe-Entropie. Bei geschleiften Modellen sind Exits auf Schleifengrenzen beschränkt (nach jedem vollständigen Durchlauf durch den Stapel einzigartiger Schichten), während nicht-geschleifte Modelle an jeder Zwischenschicht austreten können.
Downstream-Benchmarks: Compute-optimale Modelle werden auf dem AI2 OLMES-Benchmark-Suite evaluiert.

Hauptbeiträge und Erkenntnisse

1. Sparse-Experten lösen das Skalierungsdefizit beim Schleifen

Das primäre Ergebnis ist, dass Looped-MoE-Modelle deutlich besser skalieren als Standard-Dichte-Baselines, während dichte geschleifte Modelle strikt schlechter skalieren.

Wiederherstellung der Ausdruckskraft: Die Autoren führen diese Verbesserung auf Routing-Divergenz zurück. In Looped-MoE-Modellen wählt der Router bei jedem Schleifendurchlauf für dieselbe physikalische Schicht unterschiedliche Expertensets aus. Dies ermöglicht es, dass geteilte Schichten über Iterationen hinweg unterschiedliche Berechnungen durchführen und so die durch Gewichtsbindung verlorene Ausdruckskraft wiederherstellen, ohne Parameter hinzuzufügen.
Skalierungsgesetze: Das Anpassen von Potenzgesetzen an die compute-optimalen Punkte ergibt Skalierungsexponenten ( $\alpha$ ) von 0,076 für das Base-Modell und 0,077 für Looped-MoE, was mit etablierten Skalierungsgesetzen übereinstimmt. Im Gegensatz dazu erreichen dichte geschleifte Modelle keine vergleichbare Leistung.
Downstream-Genauigkeit: Bei einem FLOP-Budget von $10^{18}$ erreicht das compute-optimale Looped-MoE-Modell den höchsten Durchschnittswert (39,6) auf den AI2 OLMES Core-9-Benchmarks und übertrifft dabei das Base-Modell (38,7), während es weniger einzigartige Parameter speichert (216M vs. 246M).

2. Überlegene Compute-Qualitäts-Trade-offs durch Early Exits

Geschleifte Modelle zeigen eine bessere Effizienz bei der Nutzung von Early Exits im Vergleich zu Standard-Transformern.

Schleifengrenzen als Exit-Punkte: Da die Schichten am Ende einer Schleife identisch mit den Schichten sind, die die endgültige Ausgabe erzeugen, dienen Schleifengrenzen als überlegene Exit-Punkte.
Schnellere Konvergenz: Die Analyse der Jensen-Shannon-Divergenz (JSD) zeigt, dass geschleifte Modelle viel früher als nicht-geschleifte Modelle zu nahezu endgültigen Ausgabeverteilungen konvergieren. Bis zum Ende der ersten Schleifeniteration haben die meisten Token stabile Vorhersagen erreicht.
Effizienzgewinne: Bei einem Ziel von 10 % FLOP-Einsparung behalten geschleifte Modelle eine signifikant niedrigere Perplexität bei als ihre nicht-geschleiften Gegenstücke. Bemerkenswerterweise wird der Vorteil der Schleifenarchitektur selbst zugeschrieben und nicht der MoE-Komponente, da auch dichte geschleifte Modelle in der Early-Exit-Effizienz MoE-Baselines übertreffen.

3. Auswirkungen erhöhter Schleifenanzahl

Die Studie untersucht die Erhöhung der Anzahl der Schleifen (z. B. Konfigurationen $4 \times 4$ und $2 \times 8$ ). Die Ergebnisse deuten darauf hin, dass mehr Schleifen im Allgemeinen strikt bessere Compute-Qualitäts-Trade-offs für Looped-MoE-Modelle liefern. Dies liegt an der erhöhten Häufigkeit hochwertiger Exit-Punkte, an denen die Ausgabe ausreichend konvergiert ist.

Bedeutung und praktische Implikationen

Die Arbeit kommt zu dem Schluss, dass der Ersatz dichter FFNs durch Top-k-MoE-Schichten in geschleiften LLMs ein entscheidender architektonischer Wandel ist. Dieser Ansatz bietet einen klaren Weg zu Sprachmodellen, die:

Günstiger zu speichern sind: Wettbewerbsfähige Genauigkeit mit weniger gespeicherten Parametern erreichen.
Schneller auszuführen sind: Durch trainingsfreie Early Exits an Schleifengrenzen erhebliche Inferenzeinsparungen ermöglichen.
Skalierbar sind: Das historische Unterperformen geschleifter Architekturen überwinden, indem der Engpass der Ausdruckskraft dichter Schichten adressiert wird.

Die Autoren positionieren Looped-MoE als praktische Lösung für die Skalierung und stellen fest, dass, obwohl Early-Exit-Ergebnisse theoretische Compute-Einsparungen demonstrieren, End-to-End-Durchsatzgewinne in optimierten auto-regressiven Settings weiterhin Gegenstand zukünftiger Validierung bleiben. Die Studie ist in ihrem Umfang bescheiden, stützt sich auf µP-Transfer, um die Leistung in größerem Maßstab vorherzusagen, und räumt ein, dass Erweiterungen der Tiefenskalisierung aufgrund von Compute-Beschränkungen nicht untersucht wurden.