💬 NLP

Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models

Dieses Paper führt Hidden Decoding ein, eine neuartige Skalierungsmethode, die Large Language Models durch die Erweiterung der Token-Berechnung entlang der Sequenzlängen-Dimension mittels Stream-Faktorisierung verbessert und dadurch signifikante Leistungssteigerungen auf Frontier-Skalen ermöglicht, ohne das feste Transformer-Backbone zu modifizieren oder prohibitive Trainingskosten zu verursachen.

Ursprüngliche Autoren: Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Sh

Veröffentlicht 2026-07-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Shi, Jing Lei, Junjie Zhang, Laiyi Li, Le Tian, Linhao Zhang, Miao Fan, Sijun Zhang, Wei Jia, Weiwei Shi, Wenhan Li, Wentao Zhao, Wenteng Liang, Xiao Zhou, Xiaojin Zhou, Xihuai Wang, Xinyu Gao, Xuanliang Wang, Xuyang Ao, Yang Yu, Yangxiu You, Yinuo Zhao, Yufei Kuang, Yufei Wang, Yuan Liu, Yuan Liu, Yuwen Chen, Zhencong Tian, Zhongyin Zhao, Zilin Yu, Zitao Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein superintelligentes Robotergehirn (ein Large Language Model), das bereits ziemlich erstaunlich ist. Normalerweise versuchen Wissenschaftler, dieses Gehirn noch intelligenter zu machen, indem sie es größer machen – mehr Schichten, mehr Neuronen, einfach mehr von allem hinzufügen. Aber das ist so, als würde man versuchen, einen Wolkenkratzer auf einem Wolkenkratzer zu bauen: Es kostet ein Vermögen, dauert ewig und manchmal kann die Baucrew (die Trainingscomputer) mit der Größe einfach nicht umgehen.

Das WeChat AI-Team stellte eine andere Frage: Was wäre, wenn wir das Gehirn exakt gleich groß lassen, ihm aber mehr Zeit geben, über jedes Wort nachzudenken?

Das Problem mit dem „Looping“

Einige Forscher versuchten, dies zu lösen, indem sie das Robotergehirn dazu brachten, sein Denken zu „loopen“. Stellen Sie sich einen Studenten vor, der einen Satz liest, ihn dann noch einmal liest, dann noch einmal, und dabei dieselben Gehirnzellen immer und immer wieder benutzt, um eine bessere Antwort zu erhalten. Dies wird als „gelooptes“ oder „rekurrentes“ Modell bezeichnet.

Aber hier liegt der Haken: Wenn man versucht, die größten Roboter zu trainieren (diejenigen mit Hunderten von Milliarden Parametern), bringt diese Looping-Idee das Fließband zum Erliegen. Die Computer, die diese Modelle trainieren, arbeiten in einer Pipeline, bei der jeder Teil des Gehirns seine Aufgabe einmal erledigt und den Staffelstab weitergibt. Wenn man den Roboter dazu bringt, denselben Satz immer wieder zu lesen, stockt die gesamte Linie und die teuren Computer sitzen untätig herum. Es ist wie ein Fabrikfließband, das ständig stoppt, damit ein Arbeiter dieselbe Schraube noch einmal neu drehen kann; die Fabrik kommt zum Stillstand.

Die Lösung: „Hidden Decoding“ (Die geheime Montagelinie)

Das WeChat-Team kam auf einen cleveren Trick namens Hidden Decoding. Anstatt den Roboter dasselbe Wort immer wieder in einer Schleife lesen zu lassen, bringen sie den Roboter dazu, das Wort mehrfach gleichzeitig zu lesen, aber in geheimen Parallelspuren.

Denken Sie an ein Rennwagen-Team. Anstatt dass ein Auto drei Runden um die Strecke fährt, um die beste Rundenzeit zu erzielen, schicken sie vier identische Autos (Streams) gleichzeitig über die Strecke.

Der Aufbau: Wenn der Roboter ein Wort (wie „Apfel“) sieht, wandelt er es nicht einfach in einen einzigen Code um. Er wandelt es in vier verschiedene Codes um, die jeweils in seine eigene geheime Spur fließen.
Die geheime Arbeit: Diese vier Spuren laufen durch die Schichten des Gehirns. Die ersten drei Spuren sind „verborgen“. Sie leisten die ganze schwere Arbeit, das Denken und das Schlussfolgern, dürfen aber noch keine Antwort aussprechen. Sie sind wie das Brainstorming-Team im Hinterzimmer.
Das letzte Wort: Nur die vierte Spur (der letzte Stream) darf das nächste Wort laut ausrufen. Das Gehirn wird nur für diese endgültliche Antwort bewertet.
Das Gedächtnis: Entscheidend ist, dass sich das Gehirn merkt, was die ersten drei Spuren gedacht haben. Es bewahrt deren Notizen (genannt „Key-Value Caches“) auf, damit das nächste Wort die Brainstorming-Notizen des vorherigen Wortes lesen kann.

Auf diese Weise erhält der Roboter viermal die Denkleistung für jedes Wort, benötigt aber kein größeres Gehirn und stoppt nicht das Fließband. Er verarbeitet einfach eine längere Sequenz von Daten in einem Durchgang.

Effizient gestalten: Der „Stream-Factorized“-Trick

Sie denken vielleicht: „Warte mal, wenn ich vier Spuren habe, die miteinander kommunizieren, wird die Mathematik dann nicht wahnsinnig kompliziert?“ Wenn jede Spur bei jedem Schritt mit jeder anderen Spur kommunizieren würde, würde die Kostenbelastung explodieren (sie würde um das 16-fache steigen!).

Um dies zu beheben, nutzte das Team eine Methode namens Stream-Factorized Attention.

Die meiste Zeit: Die Spuren bleiben in ihren eigenen Blasen. Spur 1 spricht mit Spur 1, Spur 2 mit Spur 2. Sie stören sich nicht gegenseitig.
Manchmal: Nur einige wenige spezifische Schichten lassen die Spuren Notizen austauschen und ihre Ideen mischen.

Dies hält die Kosten niedrig. Anstatt dass die Kosten um das 16-fache steigen, steigen sie nur um etwa 4,4 bis 5,1 Mal (was nahe an der 4-fachen Erhöhung durch die Spuren liegt). Dies macht es möglich, diese supergroßen Modelle zu trainieren, ohne das Budget zu sprengen.

Hat es funktioniert?

Das Team testete dies an zwei massiven Modellen: einem mit 80 Milliarden Parametern und einem riesigen Modell mit 617 Milliarden Parametern. Sie haben die Gehirngröße nicht verändert; sie haben lediglich den „4-Spuren-Modus“ aktiviert.

Die Ergebnisse: Die Modelle wurden intelligenter. Bei schwierigen Mathe- und Wissenschaftstests verbesserte das 617-Milliarden-Modell sein Ergebnis beim „GP�A Diamond“-Test von 89,1 auf 91,2. Beim „PHYBench“-Physiktest stieg es von 75,3 auf 76,3.
Der Trend: Sie testeten auch mit 2 Spuren, 4 Spuren und 8 Spuren. Mit jedem zusätzlichen Paar an „Denkspuren“ stiegen die Werte weiter an. Dies deutet darauf hin, dass das Hinzufügen von mehr „Denkspuren“ ein echter Weg ist, um Modelle intelligenter zu machen, ohne sie neu zu bauen.

Was sie ausgeschlossen haben

Das Team war sorgfältig darin, zu prüfen, ob dies nur ein Zufall war. Sie probierten andere Wege aus, um die zusätzlichen Spuren zu nutzen:

Erzwingen, dass jede Spur rät: Wenn sie die ersten drei Spuren dazu brachten, ebenfalls die Antwort vorherzusagen (anstatt nur die letzte Spur), wurde das Modell tatsächlich schlechter.
Mischen der Antworten: Wenn sie einfach die Gedanken aller vier Spuren im Durchschnitt bildeten, funktionierte es auch nicht so gut wie das Zulassen der letzten Spur, die die Entscheidung trifft.
Teilen der Notizen: Wenn sie die Spuren dazu brachten, dieselben Gedächtnisnotizen zu teilen, anstatt ihre eigenen zu behalten, wurde das Modell etwas weniger genau.

Dies beweist, dass das Geheimrezept darin besteht, den ersten Spuren das stille, private Nachdenken zu erlauben und ihre Notizen getrennt zu halten, damit die letzte Spur diese tiefe, akkumulierte Weisheit nutzen kann, um die beste Vermutung abzugeben.

Das Fazament

Hidden Decoding zeigt, dass man nicht immer ein größeres Gehirn braucht, um klüger zu werden. Manchmal muss man dem Gehirn nur mehr Zeit geben, um parallel zu denken. Indem das Team von WeChat ein einzelnes Wort in eine geheime Montagelinie von Gedanken verwandelt hat, fand es einen Weg, die Intelligenz von Frontier-Scale-Modellen zu steigen, ohne die massiven Kosten für den Bau eines neuen, größeren Modells zu verursachen. Es ist ein praktischer, engineering-freundlicher Weg, um mehr Intelligenz aus den Modellen herauszukitzeln, die wir bereits haben.

Technisches Resümee: Hidden Decoding at Scale

Problemstellung

Die Skalierung von Large Language Models (LLMs) stützte sich traditionell auf die Vergrößerung des Transformer-Backbones, was kostspielige Runden des Pretrainings erfordert und die Serving-Kosten erhöht. Für bereits starke Foundation-Modelle ist eine weitere Erweiterung des Backbones oft unpraktisch. Während neuere Arbeiten nahelegen, dass die Zuweisung von mehr Berechnung pro Token (selbst mit festen Parametern) das Denken und die Genauigkeit verbessern kann, stehen bestehende Ansätze vor erheblichen Skalierungshürden:

Depth-Recurrent (Looped) Transformer: Diese nutzen dieselben Transformer-Blöcke mehrfach pro Token wieder, um die Berechnung zu erhöhen. Sie sind jedoch schwer auf Frontier-Modelle (z. B. 100B+ Parameter) zu skalieren, da die iterative Natur der Looped-Berechnung die Annahmen der Pipeline-Parallelität durchbricht, die für das Training der größten Modelle verwendet werden, was zu GPU-Leerlaufzeiten führt.
Sequenzlängen-Erweiterung: Das einfache Einspeisen längerer Inputs ist mit Standard-Trainings-Pipelines kompatibel, erfordert jedoch eine Methode, die Berechnung zu erweitern, ohne lediglich das Kontextfenster für denselben Token zu vergrößern.

Das Paper adressiert die Herausforderung, einen bestehenden Transformer-Backbone durch die Erhöhung der Berechnung pro Token zu verbessern, ohne die Tiefe oder Breite des Backbones zu verändern, während gleichzeitig die Kompatibilität mit Pipeline-Parallelität und groß angelegter Trainingsinfrastruktur gewahrt bleibt.

Methodik: Hidden Decoding

Die Autoren schlagen Hidden Decoding vor, eine Methode zur Sequenzlängen-Skalierung, die während des Continued Pretraining (CPT) angewendet wird. Der Kernmechanismus erweitert jeden Input-Token in $n$ parallele Ströme, die innerhalb eines einzigen Forward-Passes verarbeitet werden.

1. Multi-Stream Token Expansion

Embedding Expansion: Anstatt einer einzelnen Vocabulary-Embedding-Tabelle nutzt das Modell $n$ unabhängige Embedding-Tabellen ( $E_1, \dots, E_n$ ). Ein Input-Token $x_i$ wird in eine Sequenz von $n$ Repräsentationen expandiert: $(E_1(x_i), E_2(x_i), \dots, E_n(x_i))$ .
Sequenzkonstruktion: Diese Repräsentationen werden zu einer erweiterten Sequenz der Länge $nL$ verschachtelt (wobei $L$ die ursprüngliche Sequenzlänge ist).
Trainingsziel: Nur der letzte Strom ( $E_n$ ) wird überwacht. Das Modell sagt den nächsten Token $x_{i+1}$ basierend auf dem Hidden State der Position des letzten Stroms voraus. Die ersten $n-1$ Ströme fungieren als „latente Berechnungszustände“ ohne direkten Loss, was es ihnen ermöglicht, die Repräsentation intern zu verfeinern, bevor die endgültige Vorhersage erfolgt.

2. Stream-Factorized Attention

Um zu verhindern, dass die Attention-Kosten quadratisch ( $O(n^2 L^2)$ ) mit der erweiterten Sequenzlänge skalieren, führen die Autoren Stream-Factorized Attention ein:

Intra-Stream Layer: Die meisten Layer beschränken die Attention auf Positionen innerhalb desselben Stroms. Dies reduziert die Komplexität auf etwa $O(nL^2)$ .
Cross-Stream Layer: Eine kleine Teilmenge von Layern (z. B. Full Attention oder Sliding-Window-Layer aus dem Basismodell) erlaubt das Mischen zwischen den Strömen.
Effizienz: Dieses Design hält die zusätzlichen Attention-Kosten nahe linear in $n$ statt quadratisch, was die Methode für Modelle mit über 100B Parametern trainierbar macht.

3. Progressive Expansion und Initialisierung

Um das Training großer Expansionsfaktoren zu bewältigen, nutzen die Autoren Progressive Expansion (z. B. $n=1 \to 2 \to 4 \to 8$ ). Sie verwenden Cyclic Replication Initialization, bei der neue Embedding-Tabellen durch Kopieren bestehender Tabellen initialisiert werden (z. B. $E_{n+k} \leftarrow E_k$ ). Dies ermöglicht es dem Modell, zunächst das Verhalten der kleineren Konfiguration zu reproduzieren und sich dann reibungslos anzupassen.

4. Architektonische Optimierungen (WeLM-spezifisch)

Für den WeLM-Backbone nutzen die Autoren ein KV-Mirror-Design. Da Zwischenströme keinen Loss tragen und nur als Kontext via Keys und Values beitragen, können die gespiegelten Layer (die KV aus früheren Layern berechnen) die Verarbeitung der Zwischenströme vollständig überspringen. Dies reduziert die Trainingszeit in ihrem 80B-Modell-Setup um etwa 20 %.

Wichtigste Beiträge

Frontier-Scale Fixed-Backbone Scaling: Das Paper demonstriert die erste erfolgreiche Anwendung der Sequenzlängen-Skalierung auf der 100B+ MoE-Skala. Sie trainierten WeLM-HD4-80B und WeLM-HD4-617B (mit $n=4$ ) und erzielten Leistungsverbesserungen gegenüber ihren Nicht-HD-Pendants, ohne den Transformer-Backbone zu vergrößern.
Effiziente Sequenzlängen-Erweiterung: Die Einführung von Stream-Factorized Attention ermöglicht das Training mit erweiterten Sequenzen zu einem Kostenaufwand, der nahezu linear in $n$ ist (z. B. kostet eine 4-fache Expansion ~4,4x–5,1x pro Batch, weit unter den 16-fachen Kosten einer Dense Attention).
Expansion-Factor Scaling: Experimente zeigen, dass die Erhöhung des Expansionsfaktors $n$ (von 2 auf 8) den Language-Modeling-Loss und die Downstream-Genauigkeit konsistent verbessert, was $n$ als praktischen Skalierungsregler für feste Backbones validiert.

Experimentelle Ergebnisse

Die Autoren evaluierten Hidden Decoding auf Frontier-Scale MoE-Modellen und Dense-Baselines:

Frontier-Scale Performance (WeLM-HD4-80B & 617B):
- WeLM-HD4-80B übertraf WeLM-80B in allen neun geteilten Hard-Benchmarks, mit signifikanten Gewinnen in SciCode (+4,2), PHYBench (+4,0) und FrontierMath (+3,2).
- WeLM-HD4-617B verbesserte sich gegenüber WeLM-617B in allen neun Benchmarks, einschließlich GPQA Diamond (+2,1), HLE (+1,8) und FrontierMath (+2,0).
- Diese Modelle wurden mit einem frühen SFT-only Post-Training-Rezept trainiert, um einen kontrollierten Vergleich zu gewährleisten und den Effekt von Hidden Decoding zu isolieren.
Skalierung mit dem Expansionsfaktor ( $n$ ):
- Beim dichten Qwen3-8B-Base führte die Erhöhung von $n$ von 1 auf 8 zu einer monotonen Verbesserung der durchschnittlichen Genauigkeit (z. B. verbesserte sich MMLU von 78,2 auf 81,6).
- Beim 80B MoE erhöhte die Steigerung von $n$ von 1 auf 8 den MMLU-Wert von 85,0 auf 87,5 und senkte den Pile-test BPB von 0,386 auf 0,378.
Ablationsstudien:
- Supervision Design: Die Überwachung nur des letzten Stroms lieferte bessere Ergebnisse als die Anwendung des Loss auf alle Ströme oder das Summieren der Strom-Outputs.
- KV Retention: Das Beibehalten separater KV-Caches für jeden Strom (im Gegensatz zum Teilen derselben) verbesserte die Genauigkeit, was bestätigt, dass Zwischenströme einen distinkten, nützlichen Kontext liefern.
- Attention Composition: Modelle mit nur wenigen Full Cross-Stream Layern (z. B. 4 von 27) performten fast so gut wie Modelle mit vollem Cross-Stream Mixing in allen Layern, was die Effizienz von Stream-Factorized Attention validiert.
Inferenz-Durchsatz:
- Hidden Decoding behält einen hohen Durchsatz in latenzsensiblen Small-Batch-Szenarien bei (behält 83–88 % des Baseline-Durchsatzes bei Batch Size 1).
- Der Durchsatz sinkt in Long-Context, High-Batch-Szenarien (fällt auf ~27 % bei Batch Size 32 mit 32k Input), was die erhöhte Berechnung pro Token widerspiegelt.

Bedeutung und Ansprüche

Das Paper behauptet, dass Hidden Decoding einen praktischen, ingenieurtechnisch realistischen Pfad zur Skalierung von Frontier-LLMs bietet, wenn eine weitere Backbone-Erweiterung zu kostspielig ist.

Kompatibilität: Im Gegensatz zu Looped Transformern passt Hidden Decoding natürlich zu Pipeline-Parallelität und Standard-Großmodell-Trainings-Stacks, da die zusätzliche Berechnung als längere Sequenz und nicht als iterative Tiefe manifestiert wird.
Effektivität: Es ist die erste Methode, die erfolgreich die Sequenzlängen-Erweiterung auf die 100B+ MoE-Regime skaliert hat und messbare Verbesserungen in Reasoning- und Knowledge-Benchmarks liefert.
Skalierbarkeit: Die Methode beweist, dass der Expansionsfaktor $n$ eine viable Skalierungsachse ist, die Leistungssteigerungen mit steigendem $n$ bietet, ohne neue Modellarchitekturen oder massives Retraining des Backbones zu erfordern.

Die Autoren positionieren diese Arbeit als Lösung für die „Scaling Wall“, vor der starke Foundation-Modelle stehen, indem sie einen Weg aufzeigen, mehr Kapazität aus bestehenden Parametern durch effiziente latente Berechnung zu extrahieren.