🤖 machine learning

Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior

Dieser Beitrag stellt den Latent Recurrent Transformer (LRT) vor, eine leichte Architektur, die autoregressive Modelle verbessert, indem sie hochlevelige versteckte Zustände als rekurrentes Gedächtnis wiederverwendet, ohne die Inferenztiefe zu erhöhen, und schlägt eine interleaved parallele Trainingsstrategie vor, um diesen Ansatz effizient zu skalieren, was zu verbesserter Sprachmodellierung und In-Context-Learning-Leistung bei minimalem Parameter-Overhead führt.

Ursprüngliche Autoren: Zeyi Huang, Xuehai He, LiLiang Ren, Yiping Wang, Baolin Peng, Hao Cheng, Shuohang Wang, Pengcheng He, Jianfeng Gao, Yong Jae Lee, Yelong Shen

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zeyi Huang, Xuehai He, LiLiang Ren, Yiping Wang, Baolin Peng, Hao Cheng, Shuohang Wang, Pengcheng He, Jianfeng Gao, Yong Jae Lee, Yelong Shen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Roboter darin, ein Wort für ein Wort eine Geschichte zu schreiben. Auf die übliche Weise, dies zu tun (ein sogenannter „autoregressiver Transformer"), betrachtet der Roboter die bereits geschriebenen Wörter, denkt über sie nach und wählt dann das nächste Wort aus. Sobald er dieses Wort gewählt hat, geht er sofort zum nächsten über. Es ist wie ein Fließband in einer Fabrik: Jedes Teil erhält nur einen schnellen Durchlauf durch die Maschine, und dann ist es erledigt.

Die Arbeit stellt eine neue Idee vor, den Latent Recurrent Transformer (LRT). So funktioniert er, erläutert anhand einfacher Analogien:

1. Das Problem: Die „Amnesie" des Fließbands

Beim Standard-Roboter vergisst er, sobald er die Verarbeitung eines Wortes abgeschlossen hat, die tiefen, hochrangigen Gedanken, die er zu diesem Wort hatte. Er behält nur eine grundlegende „Notiz" (den versteckten Zustand) für das nächste Wort bei. Wenn der Roboter eine komplexe Idee von vor ein paar Wörtern erinnern muss, um den aktuellen Satz zu verstehen, muss er durch einen Stapel grundlegender Notizen graben. Es ist, als würde man versuchen, eine Handlungswendung aus einem Film zu erinnern, indem man nur die Eintrittskartenstubs betrachtet, nicht aber die eigentlichen Szenen.

2. Die Lösung: Das „intelligente Notizbuch" (LRT)

Der LRT gibt dem Roboter ein intelligentes Notizbuch.

Funktionsweise: Wenn der Roboter die Verarbeitung von Wort #1 abschließt, wirft er seine tiefen Gedanken nicht einfach weg. Stattdessen schreibt er eine „hochrangige Zusammenfassung" dieser Gedanken in sein Notizbuch.
Die Magie: Wenn er beginnt, an Wort #2 zu arbeiten, öffnet er sofort dieses Notizbuch und liest die Zusammenfassung von Wort #1. Er nutzt diese Zusammenfassung als „Gedächtnis-Boost", um Wort #2 zu verarbeiten.
Das Ergebnis: Der Roboter erhält eine zweite Meinung von seinem früheren Ich, ohne dass er das Fließband anhalten oder zusätzliche Arbeit leisten muss. Es ist wie ein Koch, der beim Schneiden des nächsten Gemüses einen Blick auf die Notizen wirft, die er gerade über das vorherige Gemüse geschrieben hat, um sicherzustellen, dass das Geschmacksprofil konsistent bleibt.

3. Der Trick: Wie man lernt, ohne stecken zu bleiben

Man könnte fragen: „Wenn der Roboter das Notizbuch aus der Vergangenheit lesen muss, um zu lernen, bedeutet das dann nicht, dass er auf das Ende der Vergangenheit warten muss, bevor er mit der Zukunft beginnt? Das würde das Training extrem verlangsamen!"

Normalerweise ja. Wenn man versucht, einem Roboter beizubringen, schrittweise zu lernen (Wort 1, dann Wort 2, dann Wort 3), verliert man die Fähigkeit, alles gleichzeitig zu erledigen (Parallelität), was das Training ewig dauern lässt.

Die Autoren entwickelten einen cleveren Trainingstrick namens Interleaved Parallel Training (verschränktes paralleles Training). Stellen Sie sich dies wie ein Staffellauf mit einer Wendung vor:

Schritt 1 (Das Aufwärmen): Der Roboter durchläuft das gesamte Rennen (den gesamten Satz) mit normaler Geschwindigkeit, nur um einen groben Entwurf der Notizen zu erhalten.
Schritt 2 (Die Staffel): Anstatt das gesamte Rennen erneut zu laufen, teilt der Roboter das Rennen in zwei Gruppen von Läufern auf: die „Geraden" und die „Ungeraden".
- Zuerst erhalten die „Geraden"-Läufer die Chance, die Notizen der „Ungeraden"-Läufer (die das Aufwärmen abgeschlossen haben) zu lesen und ihre eigene Leistung zu verbessern.
- Dann lesen die „Ungeraden"-Läufer die verbesserten Notizen der „Geraden"-Läufer und verbessern ihre eigenen.
Der Vorteil: Auf diese Weise erhält jedes Wort die Chance, von seinen Nachbarn zu lernen, aber der Computer kann dennoch einen Großteil der Arbeit gleichzeitig erledigen. Es ist wie eine Gruppe von Studierenden, die gemeinsam lernen: Sie warten nicht darauf, dass eine Person das ganze Buch fertig gelesen hat; sie tauschen in kleinen Gruppen Notizen aus, um schneller zu lernen.

4. Die Ergebnisse: Intelligenter bei geringeren Kosten

Die Arbeit testete diesen neuen Roboter gegen den alten Standard-Roboter.

Effizienz: Der neue Roboter (LRT) lernte, besser zu schreiben (niedrigere Fehlerquoten) und verstand den Kontext besser (besser im Beantworten von Fragen) als der alte Roboter, selbst wenn ihnen die gleiche Menge an „Gehirnkraft" (Rechenzeit) gegeben wurde.
Winzige Verbesserung: Der neue Roboter benötigte nur eine winzige Menge zusätzlichen Speichers (etwa 0,3 % mehr Größe), um diese großen Verbesserungen zu erzielen. Es ist, als würde man einem Auto ein kleines, leistungsstarkes GPS hinzufügen, anstatt einen ganzen neuen Motor zu kaufen.
Der Sweet Spot: Sie stellten fest, dass das beste „Notizbuch" nicht der allerletzte Gedanke des Roboters war (der zu sehr auf das nächste Wort fokussiert war), sondern ein Gedanke aus der Mitte seines Gehirns. Er war hochrangig genug, um nützlich zu sein, aber nicht zu spezialisiert.

Zusammenfassung

Der Latent Recurrent Transformer ist eine Methode, um KI-Modelle intelligenter zu machen, indem sie ihre eigenen „hochrangigen Gedanken" vom vorherigen Wort wiederverwenden, um das nächste Wort zu verarbeiten. Dies wurde erreicht, ohne den Trainingsprozess zu verlangsamen, indem eine clevere „Staffellauf"-Methode verwendet wurde, um das Modell zu unterrichten. Das Ergebnis ist ein Modell, das schneller lernt und besser performt, ohne deutlich größer sein zu müssen.

Technische Zusammenfassung: Latent Recurrent Transformer (LRT)

Problemstellung

Autoregressive Transformer sind der Standard für Sprachmodellierung, verlassen sich jedoch für jedes generierte Token auf Feedforward-Berechnungen mit fester Tiefe. Während Rekursion theoretisch die Rechenkapazität für iterative Verfeinerung erhöhen kann, führen bestehende Ansätze zu erheblichen Inferenzkosten. Methoden, die Rekursion in der Tiefe (wiederholtes Anwenden von Blöcken auf dasselbe Token) oder in der Zeit (Einfügen von Pause- oder Denk-Token) hinzufügen, erhöhen die Inferenz-Latenz durch zusätzliche Decodierschritte oder Blockanwendungen.

Die Autoren stellen fest, dass die autoregressive Decodierung bereits hochlevelige rekurrente Signale „kostenlos" berechnet: die versteckten Zustände des vorherigen Tokens. Konkret enthalten die Zustände höherer Schichten, die für die Vorhersage des nächsten Tokens trainiert wurden, nützlichen latenten Kontext. Die zentrale Forschungsfrage lautet, ob diese bereits berechneten hochleveligen Repräsentationen des vorherigen Tokens als rekurrentes Gedächtnis für das nächste Token wiederverwendet werden können, ohne zusätzliche Decodierschritte hinzuzufügen.

Methodik

Architektur: Latent Recurrent Transformer (LRT)

LRT ist eine leichte Erweiterung standardmäßiger autoregressiver Transformer, die einen latenten Pfad über Schichten und Token hinweg einführt.

Mechanismus: An der Token-Position $t$ wiederverwendet LRT einen versteckten Zustand einer Quell-Schicht aus der vorherigen Position, $m_{t-1} = h^{\ell_{src}}_{t-1}$ , als rekurrentes Gedächtnis. Hierbei ist $\ell_{src}$ eine ausgewählte Quell-Schicht (typischerweise eine obere mittlere Schicht).
Injektion: Das Gedächtnis $m_{t-1}$ $m_{t - 1}$ wird über zwei komplementäre Mechanismen in die Transformer-Schichten des aktuellen Tokens $t$ $t$ injiziert:
1. KV-Projektion: Projektion des Gedächtnisses in die Attention-Key-Value-Räume ( $\tilde{k}_{rec}, \tilde{v}_{rec}$ ) und Kombination mit lokalen Keys/Werten unter Verwendung eingangsabhängiger Gatter. Dies bietet eine direkte Route für die Repräsentation des vorherigen Tokens in den Attention-Mechanismus.
2. Residuale Injektion: Direktes Hinzufügen des Gedächtnisses zum Residual-Stream ( $\bar{x}^{(\ell)}_t = \alpha_\ell x^{(\ell)}_t + \gamma_\ell m_{t-1}$ ), wodurch der gesamte Block dem rekurrenten Signal ausgesetzt wird.
Inferenz-Effizienz: Entscheidend ist, dass LRT den reinen Decoder-Hintergrund, den Attention-Mechanismus und die KV-Cache-Schnittstelle standardmäßig beibehält. Es werden keine Memory-Token, Pause-Token oder Schleifen in der Tiefe eingefügt. Jedes generierte Token nutzt weiterhin genau einen normalen Transformer-Forward-Pass, wobei der rekurrente Zustand einfach aktualisiert und an den nächsten Schritt weitergegeben wird. Die Standardvariante fügt nur 0,3 % Parameter hinzu.

Trainingsstrategie: Interleaved Parallel Training

Eine große Herausforderung ist das Pretraining dieser Rekursion im großen Maßstab. Ein exaktes Training würde erfordern, den Transformer über die gesamte Sequenz sequenziell zu entrollen (Backpropagation Through Time), was die Parallelität zerstört, die für ein effizientes Pretraining von Transformer essenziell ist. Chunked Training (Verarbeitung zusammenhängender Blöcke sequenziell) bewahrt zwar einen Teil der Parallelität, leitet das Gedächtnis jedoch nur über Chunk-Grenzen hinweg weiter und bietet eine grobe Approximation.

Die Autoren führen Interleaved Parallel Training ein, um Token-Level-Rekursion zu approximieren und gleichzeitig parallele Berechnungen beizubehalten:

Initialisierungspass: Ein einziger Forward-Pass über die gesamte Sequenz erstellt einen gemeinsamen Puffer, der Keys, Values und rekurrente Zustände der Quell-Schicht für alle Positionen enthält.
Verfeinerungspässe: Die Sequenzpositionen werden in $S$ disjunkte Teilmengen unterteilt (z. B. gestaffelte Partitionen). Diese Teilmengen werden parallel verfeinert.
Rückschreiben: Aktualisierte Zustände aus einer Teilmenge werden zurück in den gemeinsamen Puffer geschrieben. Nachfolgende Teilmengen können das verfeinerte Gedächtnis aus früheren Teilmengen nutzen.
Ziel: Der Verlust ist der Durchschnitt des Initialisierungsverlusts und der Verfeinerungsverluste für jede Teilmenge.

Diese Strategie stellt sicher, dass jedes Token einen überwachenden Schritt erhält, der rekurrentes Gedächtnis berücksichtigt. In Bezug auf die Rechenleistung kostet dies ungefähr das 2-fache eines Standard-Transformer-Updates (ein Initialisierungspass + ein effektiver Verfeinerungspass), ahmt jedoch die Token-Level-Rekursion enger nach als Chunked Training.

Hauptbeiträge

LRT-Architektur: Eine leichte rekurrente Erweiterung, die hochlevelige versteckte Zustände der Quell-Schicht des vorherigen Tokens als Gedächtnis wiederverwendet und damit Rekursion über Schichten hinweg ermöglicht, ohne zusätzliche Decodierschritte oder Änderungen an der KV-Cache-Schnittstelle der Architektur.
Interleaved Parallel Training: Eine parallele Trainingsapproximation, die disjunkte Token-Teilmengen verfeinert, um Token-Level-Rekursion unter einem festen Trainingsbudget nachzuahmen und dabei das sequenzielle Entrollen vermeidet, das für das Standardtraining im RNN-Stil erforderlich ist.
Empirische Validierung: Nachweis, dass LRT den Trade-off zwischen Rechenleistung und Qualität über verschiedene Modellgrößen und Budgets für Tokens pro Parameter hinweg verbessert, wobei die Standardvariante mit gemeinsamer Projektion einen minimalen Parameter-Overhead (0,3 %) hinzufügt.

Ergebnisse

Experimente wurden an GPT-Backbones im Nanochat-Stil (20L und 24L Schichten) durchgeführt, die auf FineWeb-Edu vortrainiert wurden.

Skalierungsverhalten: Unter einem Trainings-Rechenaufwand, der dem der Baseline entspricht (unter Berücksichtigung der 2-fachen Kosten des Interleaved Trainings), verschiebt LRT die Skalierungskurven hin zu niedrigeren Bits pro Byte (BPB) und höheren CORE-Werten (eine Metrik für In-Context-Learning über 22 Aufgaben hinweg).
Leistungssteigerungen:
- Beim 24L-Backbone bei einem dem Äquivalent der Baseline entsprechenden Rechenaufwand von 80 erreichte LRT-shared 0,695 BPB im Vergleich zu 0,699 der Baseline.
- Auch das In-Context-Learning (CORE) verbesserte sich; beim 20L-Backbone bei einem Rechenaufwand von 80 erreichte LRT-shared 0,274 gegenüber 0,271 der Baseline.
Ablationsstudien:
- Quell-Schicht: Eine obere mittlere Schicht (z. B. Schicht 12 in einem 20L-Modell) performt besser als die letzte Schicht, was darauf hindeutet, dass nützliches Gedächtnis hochlevelig sein sollte, aber nicht zu stark auf Logits spezialisiert ist.
- Temporale Quelle: Der unmittelbar vorherige Zustand ( $m_{t-1}$ ) ist die stärkste einzelne Gedächtnisquelle, die die Bedingung eines Forward-Passes bewahrt.
- Injektion: KV-Projektion und residuale Injektion sind komplementär; die Verwendung beider liefert die besten Ergebnisse.
- Training: Interleaved Parallel Training übertrifft Chunked Training signifikant, welches eine gröbere Approximation der Rekursion bietet.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LRT den Trade-off zwischen Rechenleistung und Qualität für autoregressive Transformer erfolgreich verschiebt. Durch die Wiederverwendung „kostenloser" hochleveliger Signale des vorherigen Tokens und deren Training mittels einer parallelen Approximation ermöglicht LRT iterative Verfeinerung und eine bessere Kontextnutzung ohne die Inferenz-Latenzstrafen von Methoden mit Tiefen-Rekursion oder Pause-Token.

Die Autoren betonen, dass LRT eine leichte Erweiterung ist, die die Standard-Transformer-Schnittstelle bewahrt. Die Gewinne werden dem rekurrenten Gedächtnismechanismus selbst zugeschrieben und nicht einfach dem Hinzufügen zusätzlicher Parameter oder Gatter, da generische architektonische Ergänzungen (wie gated Attention oder Skalierung von Schichten) auf derselben starken Baseline nur vernachlässigbare Verbesserungen erzielten. Die Arbeit legt nahe, dass nützliches rekurrentes Gedächtnis hochlevelig sein sollte, aber nicht die letzte, auf Logits spezialisierte Schicht, und dass Token-Level-Rekursion während des Pretrainings effektiv parallel approximiert werden kann.