💬 NLP

Efficient Pre-Training with Token Superposition

Dieser Beitrag stellt das Token-Superposition-Training (TST) vor, eine sofort einsetzbare Methode, die den Durchsatz von Vorab-Trainingsdaten erheblich verbessert und die gesamte Trainingszeit um bis zu das 2,5-Fache reduziert, ohne die Modellarchitektur oder Parallelisierung zu verändern, indem zunächst Token zu Baggings kombiniert werden, um ein effizientes Multi-Hot-Cross-Entropy-Training zu ermöglichen, bevor zum Standardtraining zurückgekehrt wird.

Ursprüngliche Autoren: Bowen Peng, Théo Gigant, Jeffrey Quesnelle

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Bowen Peng, Théo Gigant, Jeffrey Quesnelle

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das Trainieren von KI ist wie ein Marathon im Sand

Stellen Sie sich vor, Sie versuchen, einem Schüler (einem Large Language Model) das Lesen und Schreiben beizubringen. Um dies zu tun, müssen Sie ihm Millionen von Büchern zeigen. Die derzeitige Lehrmethode ist jedoch unglaublich langsam und teuer. Es ist, als würde man den Schüler bitten, jedes einzelne Wort eines Buches nacheinander zu lesen, während er einen schweren Rucksack trägt. Er wird müde (rechnerisch teuer), und es dauert ewig, bis die Bibliothek durchgearbeitet ist.

Forscher wollen diesen Prozess beschleunigen, ohne das Gehirn des Schülers (die Modellarchitektur) oder die Bücher, die er liest (die Daten), zu verändern.

Die Lösung: „Token Superposition Training" (TST)

Die Autoren schlagen eine clevere zweiphasige Trainingsmethode vor, die Token Superposition Training (TST) genannt wird. Denken Sie daran als eine Phase des „Geschwindigkeitslesens", gefolgt von einer Phase des „Feinabstimmens".

Phase 1: Die „Smoothie"-Phase (Superposition)

Beim Standardtraining lernt die KI, indem sie ein Wort nach dem anderen betrachtet (z. B. „Der", dann „Katze", dann „saß").

In der Superposition-Phase wird die KI darin unterrichtet, eine ganze „Tüte" von Wörtern auf einmal zu betrachten.

Die Analogie: Stellen Sie sich vor, statt den Satz „Der Katze saß auf der Matte" zu lesen, gibt der Lehrer dem Schüler einen Mixer voller dieser Wörter. Der Schüler sieht nicht die einzelnen Wörter; er sieht einen „Smoothie" aus „Der + Katze + saß".
Wie es funktioniert: Der Computer nimmt 8 Wörter (eine „Tüte"), mischt ihre Bedeutungen zu einem einzigen „Superwort" zusammen und fordert die KI auf, vorherzusagen, was die nächste „Tüte" aus 8 Wörtern sein wird.
Der Vorteil: Da die KI 8 Wörter so verarbeitet, als wären es 1, kann sie die Daten 8-mal schneller „lesen", ohne mehr Rechenleistung zu verbrauchen. Es ist, als würde der Schüler nun 8 Seiten in der Zeit lesen, die es früher brauchte, um 1 Seite zu lesen.

Phase 2: Die „Kamm"-Phase (Wiederherstellung)

Wenn man die KI nur auf „Smoothies" trainieren würde, wäre sie schrecklich darin, normale Sätze zu schreiben. Sie würde die Wortreihenfolge nicht kennen, und ihre Ausgabe wäre Kauderwelsch.

Daher stoppen die Forscher nach einer gewissen Zeit (normalerweise etwa 30 % der gesamten Trainingszeit) die „Smoothie"-Phase.

Die Analogie: Sie wechseln zurück zur Standardmethode. Sie nehmen das Gehirn der KI (das nun die allgemeine Struktur der Sprache sehr schnell gelernt hat) und setzen es wieder in ein normales Klassenzimmer. Sie hören auf, den Mixer zu benutzen, und zeigen ihr wieder einzelne Wörter.
Das Ergebnis: Da die KI in Phase 1 das „große Ganze" so effizient gelernt hat, erholt sie sich sehr schnell. Sie holt Modelle ein und übertrifft sie oft in der Leistung, die die ganze Zeit über den „langsamen Weg" trainiert wurden.

Warum das eine große Sache ist

Das Papier behauptet, diese Methode sei eine „Plug-and-Play"-Lösung. Sie müssen weder das Gehirn der KI, die Computerchips noch die Bücher ändern. Sie ändern nur, wie Sie die Daten während des ersten Teils des Trainings zuführen.

Die Beschleunigung: In ihren Tests mit einem großen Modell (10 Milliarden Parameter) ermöglichte diese Methode, das gleiche Intelligenzniveau in der Hälfte der Zeit zu erreichen (eine 2,5-fache Beschleunigung) im Vergleich zum Standardtraining.
Der Kompromiss: Sie tauschen „Datenverbrauch" gegen „Geschwindigkeit" ein. Die KI liest in der gleichen Zeit mehr Daten, aber da sie sie in „Tüten" liest, lernt sie die Muster schneller.

Was das Papier NICHT behauptet

Es ist wichtig, bei dem zu bleiben, was die Autoren tatsächlich gesagt haben:

Es verändert nicht das Endprodukt: Sobald das Training abgeschlossen ist, ist die KI genau dieselbe wie eine normale KI. Sie kann immer noch kohärente Sätze, Code und Geschichten schreiben. Der „Smoothie"-Trick wird nur während des Lernprozesses verwendet.
Es geht nicht darum, „schneller zu denken": Dies macht die KI nicht intelligenter beim Schlussfolgern oder beim Lösen komplexer mathematischer Probleme während des Trainings; es macht lediglich den Trainingsprozess selbst effizienter.
Es ist kein Allheilmittel für alles: Die Autoren haben dies an Modellen getestet, die von klein (270 Millionen Parameter) bis groß (10 Milliarden) reichen. Es funktionierte durchweg gut, aber sie stellen fest, dass die Vorteile anders aussehen könnten, wenn man unendliche Daten und Zeit hätte.

Zusammenfassung

Denken Sie an TST als einen Geschwindigkeitslesekurs für KI.

Zuerst lehren Sie es zu überfliegen: Sie zeigen ihm Textabschnitte, die miteinander gemischt sind, damit es den allgemeinen Vibe der Sprache sehr schnell aufnehmen kann.
Dann lehren Sie es normal zu lesen: Sie wechseln zurück zum wortweisen Lesen, um seine Fähigkeiten zu verfeinern.

Das Ergebnis? Die KI beendet ihre „Ausbildung" in Rekordzeit, verbraucht die gleiche Menge an Energie und ist am Ende genauso klug (oder klüger) als diejenigen, die den langsamen, traditionellen Weg gewählt haben.

Technische Zusammenfassung: Effizientes Pre-Training mit Token-Superposition

Problemstellung

Das Pre-Training von Large Language Models (LLMs) wird zunehmend prohibitiv teuer und ineffizient, wenn es skaliert wird. Aktuelle Paradigmen erfordern oft komplexe, invasive Modifikationen von Parallelisierungsstrategien, Optimierern, Tokenizern oder Modellarchitekturen, um einen hohen Datendurchsatz zu erreichen. Darüber hinaus konzentriert sich die aktuelle Forschung zwar auf die Verbesserung der Effizienz zur Inferenzzeit oder auf die Entkopplung der Effizienz von Training und Inferenz, doch es fehlen Methoden, die den Durchsatz während des Trainings erheblich steigern, ohne die Architektur des finalen Modells oder die Inferenzdynamik zu verändern. Bestehende Ansätze vermengen häufig die Effizienz von Training und Inferenz oder verlassen sich auf auxiliary losses, die Parameter und Hyperparameter hinzufügen, ohne notwendigerweise die rohe Token-Verarbeitungsrate pro FLOP zu erhöhen.

Methodik: Token Superposition Training (TST)

Die Autoren schlagen Token Superposition Training (TST) vor, eine „Drop-in"-Methode, die darauf ausgelegt ist, den Datendurchsatz pro FLOP während des Pre-Trainings zu verbessern, ohne Parallelisierung, Optimierer, Tokenizer, Daten oder Modellarchitektur zu verändern. TST arbeitet in zwei distincten Phasen:

Phase 1: Superpositionsphase

In dieser Phase verarbeitet das Modell einen „Beutel" (bag) zusammenhängender Tokens als eine einzige latente Einheit, die als „s-Token" bezeichnet wird.

Input-Superposition: Eine zusammenhängende Sequenz von $s$ Tokens wird in nicht überlappende Beutel segmentiert. Die Embeddings dieser $s$ Tokens werden gemittelt, um ein einzelnes superponiertes latentes Token-Embedding zu erzeugen. Dies reduziert die Sequenzlänge um einen Faktor von $s$ (von $L$ auf $\lfloor L/s \rfloor$ ).
Durchsatzmechanismus: Um einen fairen Vergleich mit dem Baseline-Training (gleiche FLOPs) zu gewährleisten, wird die Datensequenzlänge $L$ in dieser Phase um einen Faktor von $s$ erhöht. Folglich nimmt das Modell $s$ -mal mehr Datentokens für die gleichen Rechenkosten pro Schritt auf.
Output-Superposition: Anstatt einen einzelnen nächsten Token vorherzusagen, sagt das Modell den nächsten „Beutel" von $s$ Tokens voraus. Der standardmäßige One-Hot Cross-Entropy (CE)-Verlust wird durch einen Multi-Hot Cross-Entropy (MCE)-Verlust ersetzt. Das MCE-Ziel behandelt den Zielbeutel als Multi-Hot-Label und drückt die Wahrscheinlichkeit jedes gültigen Tokens im Beutel in Richtung $1/s$ . Der Verlust wird als Durchschnitt der standardmäßigen CE-Verluste für jeden Token im Beutel minus einem konstanten Term ( $\log |y|$ ) formuliert, der die Gradienten nicht beeinflusst.
Kausalität: Um die Kausalität zu bewahren, werden die standardmäßigen Next-Token-Vorhersagelabels um $s-1$ nach links verschoben, bevor sie in nicht überlappende Beutel aufgeteilt werden.

Phase 2: Erholungsphase

Ein Modell, das ausschließlich mit TST trainiert wurde, produziert unsinnige Ausgaben, da es die Token-Reihenfolge innerhalb der Beutel verliert und über keine standardmäßigen autoregressiven Sampling-Fähigkeiten verfügt. Um dies zu beheben:

Das Training kehrt zum standardmäßigen Next-Token-kausalen Vorhersageziel zurück.
Das Modell setzt das Training vom Checkpoint fort, der am Ende der Superpositionsphase gespeichert wurde.
Der TST-Code wird vollständig entfernt, um sicherzustellen, dass die Architektur des finalen Modells und die Inferenzdynamik mit dem Baseline-Modell identisch sind.
Das Verhältnis der in der Superpositionsphase verbrachten Schritte wird mit $r$ bezeichnet (z. B. bedeutet $r=0,3$ , dass 30 % der Schritte TST sind und 70 % standardmäßig).

Hauptbeiträge

Neues Trainingsparadigma: Einführung von TST, das den Token-Durchsatz während eines bestimmten Trainingsregimes um den Faktor $s$ erhöht, ohne die finale Architektur oder das Inferenzverhalten des Modells zu verändern.
Zweiphasiges Design: Ein einfacher Mechanismus, der Input-Superposition (Mittlung von Embeddings) und Output-Superposition (Multi-Hot-Vorhersage) kombiniert, gefolgt von einer Erholungsphase, um das Modell wieder auf standardmäßiges autoregressives Verhalten auszurichten.
Orthogonalität zu bestehenden Methoden: Die Autoren positionieren TST als orthogonal zu Methoden mit auxiliary losses (wie Multi-Token Prediction). Während MTP Parameter hinzufügt und zukünftige Tokens anvisiert, ohne Tokens pro FLOP zu erhöhen, steigert TST strikt den Durchsatz und lässt die Architektur unberührt.
Empirische Validierung: Umfassende Evaluierung über verschiedene Modellgrößen hinweg (270M, 600M, 3B und 10B Mixture-of-Experts), die Robustheit gegenüber verschiedenen Hyperparametereinstellungen demonstriert.

Ergebnisse

Die Studie berichtet folgende Erkenntnisse basierend auf Experimenten mit den Datensätzen DCLM und FineWeb-Edu:

Verlustreduktion: TST übertrifft Baseline-Modelle unter gleichen FLOP-Bedingungen konsistent in Bezug auf den finalen Trainingsverlust.
Downstream-Leistung: Mit TST trainierte Modelle zeigen eine verbesserte Leistung auf Downstream-Benchmarks (HellaSwag, ARC-E/C, MMLU usw.) im Vergleich zu Baselines, die für die gleiche Anzahl von Schritten oder die gleichen Rechenkosten trainiert wurden.
Effizienzgewinne:
- Unter Verlust-gleichen Einstellungen erzielt TST eine Reduktion der gesamten Pre-Training-Zeit um bis zu 2,5-fach im Maßstab von 10B Parametern.
- Im 10B A1B-Experiment (10B insgesamt, 1B aktiv) MoE sah das TST-Modell 2 Billionen Datentokens im Vergleich zu 1,05 Billionen Tokens der Baseline, während es einen niedrigeren finalen Verlust (2,236 vs. 2,252) in deutlich weniger B200-Stunden erreichte (4768 vs. 12311).
Hyperparameter-Sensitivität: Die Methode ist innerhalb eines vernünftigen Bereichs von Superpositionsbeutelgrößen ( $s \in [4, 8]$ ) und Schrittraten ( $r \in [0,2, 0,4]$ ) robust.
Ablationsstudien:
- Input vs. Output: Sowohl Input-only als auch Output-only Superposition verbessern die Leistung gegenüber dem Baseline, aber die Kombination beider liefert die besten Ergebnisse, was darauf hindeutet, dass sie orthogonale Mechanismen sind.
- Repräsentationsausrichtung: Das zufällige Neuinitialisieren der Input-Embeddings und Output-LM-Köpfe zwischen der Superpositions- und der Erholungsphase eliminiert die Gewinne von TST vollständig, was darauf hinweist, dass die Aufrechterhaltung der Repräsentationsausrichtung über die Phasen hinweg kritisch ist.

Bedeutung und Behauptungen

Die Studie behauptet, dass TST eine signifikante Verbesserung der Pre-Training-Effizienz bietet, indem es den Durchsatz während des Trainings unabhängig von der Inferenzarchitektur des Modells maximiert. Die Autoren argumentieren, dass dieser Ansatz das monolithische Pre-Training-Paradigma herausfordert, indem er zeigt, dass ein „grob-zu-fein"-Granularitätsplan eine wiederverwendbare Zutat für effizientes Pre-Training ist.

Zu den wichtigsten Behauptungen gehören:

Kostenreduktion: Erreichen der gleichen Modellqualität (Verlust) bei etwa der Hälfte der Rechenkosten.
Einfachheit: Die Methode erfordert keine komplexen architektonischen Änderungen, neuen Optimierer oder zusätzlichen Parameter, was sie zu einer praktischen „Drop-in"-Lösung macht.
Entkopplung der Effizienz: Sie entkoppelt erfolgreich die Effizienz während des Trainings von der Effizienz zur Inferenzzeit und adressiert eine Lücke in der aktuellen Literatur, in der viele Methoden die beiden vermengen.
Skalierbarkeit: Die Methode skaliert effektiv von kleinen dichten Modellen (270M) bis hin zu großen Mixture-of-Experts-Modellen (10B), was eine breite Anwendbarkeit nahelegt.

Die Autoren bleiben bezüglich der zugrunde liegenden Mechanismen bescheiden und stellen fest, dass, obwohl sie vermuten, dass die Input-Superposition als eine Form von „Pre-Pre-Training" oder implizite Regularisierung der Embedding-Geometrie wirkt, weitere interpretative Arbeiten erforderlich sind. Sie erkennen auch Einschränkungen an, wie die Annahme, dass Pre-Training derzeit rechenlimitiert und nicht datenlimitiert ist, sowie das Fehlen groß angelegter Ablationsstudien aufgrund von Rechenbeschränkungen.