🤖 machine learning

Structured Recurrent Mixers for Massively Parallelized Sequence Generation

Dieser Beitrag stellt den Strukturierten Rekurrenten Mixer (SRM) vor, eine neuartige Architektur, die eine algebraische Umwandlung zwischen parallelem Training und rekurrenter Inferenz ermöglicht, um im Vergleich zu bestehenden Modellen mit linearer Komplexität überlegene Trainingseffizienz, Informationskapazität und Inferenzdurchsatz zu erreichen, während gleichzeitig signifikante Leistungssteigerungen sowohl in Standard-Benchmarks als auch in Aufgaben des Reinforcement Learning demonstriert werden.

Ursprüngliche Autoren: Benjamin L. Badger

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Benjamin L. Badger

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Fließband"-Produktion versus die „Bibliothek"

Stellen Sie sich vor, Sie versuchen, eine Geschichte Wort für Wort zu schreiben.

Klassisch (Rekurrente Modelle): Stellen Sie sich das wie einen einzigen Schreiber vor, der an einem Schreibtisch sitzt. Er schreibt ein Wort, merkt es sich, schreibt das nächste und so weiter. Er ist sehr effizient darin, sich die Geschichte im Verlauf zu merken (geringer Speicherbedarf), kann aber nur ein Wort auf einmal schreiben. Wenn Sie 100 Geschichten geschrieben haben wollen, müssen Sie warten, bis der Schreiber eine beendet hat, bevor er mit der nächsten beginnt.
Moderner Standard (Transformer): Stellen Sie sich das wie eine riesige Bibliothek vor, in der Sie alle Wörter einer Geschichte auf einmal nachschlagen können. Das ist großartig für das Training, da Sie das ganze Buch parallel lesen können. Wenn es jedoch Zeit ist, die Geschichte zu schreiben (Inferenz), wird die Bibliothek verstopft. Um das nächste Wort zu schreiben, muss die Bibliothek das gesamte bisher geschriebene Buch erneut durchsuchen, um den Kontext zu finden. Je länger die Geschichte wird, desto langsamer wird die Bibliothek, und sie benötigt enorm viel Platz (Speicher), um all diese Bücher zu beherbergen.

Das Dilemma: Wir wollen die Geschwindigkeit der Bibliothek für das Training, aber die Effizienz des einzelnen Schreibers für die Textgenerierung.

Die Lösung: Der „Strukturierte Rekurrente Mixer" (SRM)

Der Autor stellt eine neue Architektur namens Strukturierter Rekurrenter Mixer (SRM) vor. Sie können sich den SRM als ein Chamäleon oder einen Transformers (im Superhelden-Sinn, nicht im KI-Sinn) vorstellen, der seine Form je nach Tätigkeit ändern kann.

Während des Trainings (Der Bibliotheks-Modus): Wenn das Modell lernt, verhält es sich wie die riesige Bibliothek. Es betrachtet die gesamte Wortsequenz auf einmal. Das macht das Lernen schnell und stabil.
Während der Inferenz (Der Schreiber-Modus): Wenn das Modell tatsächlich Text generiert, schaltet es sofort auf den einzelnen Schreiber um. Es muss nicht das ganze Buch erneut durchsuchen; es führt lediglich ein winziges, konstant großes „Notizbuch" (Cache) mit dem, was es gerade geschrieben hat. Das macht es unglaublich schnell und ermöglicht es, viele Geschichten gleichzeitig zu verarbeiten.

Der magische Trick besteht darin, dass die Mathematik hinter dem SRM einen Wechsel zwischen diesen beiden Modi algebraisch erlaubt. Es ist wie ein Bauplan, der besagt: „Wenn wir bauen, verwenden wir diese Ziegel; wenn wir darin wohnen, verwenden wir diese Wände", ohne das Gebäude abreißen und neu bauen zu müssen.

Warum das wichtig ist: Der „Batch" versus die „Länge"

Das Papier macht eine entscheidende Beobachtung darüber, wie wir KI skalieren sollten:

Skalierung der Länge (Die Geschichte): Das Papier argumentiert, dass der Versuch, diese „einzelnen Schreiber"-Modelle dazu zu bringen, unendlich lange Bücher zu lesen, eine schlechte Idee ist. Irgendwann wird das Gedächtnis des Schreibers (das Notizbuch) zu voll, und er beginnt, Details zu vergessen. Es ist wie der Versuch, einen 1.000-seitigen Roman in einem 1-seitigen Notizbuch zu behalten; Sie werden Informationen verlieren.
Skalierung des Batches (Die Menge): Diese Modelle sind jedoch hervorragend darin, viele verschiedene Geschichten gleichzeitig zu verarbeiten. Da sie keine riesige Bibliothek für jede Geschichte benötigen, können 100 Schreiber parallel an 100 verschiedenen Geschichten arbeiten, ohne sich gegenseitig zu behindern.

Die Analogie: Stellen Sie sich ein Café vor.

Transformer sind wie ein Laden mit einer einzigen riesigen Espressomaschine, die 10 Minuten braucht, um einen einzigen Latte zu brauen, aber 100 Tassen auf einmal produzieren kann, wenn Sie eine große Theke haben. Je komplexer die Bestellung wird, desto langsamer wird die Maschine.
SRMs sind wie ein Laden mit 100 einfachen, schnellen manuellen Brauern. Jeder Brauer stellt eine Tasse schnell her und behält das Rezept im Kopf. Sie können keine Bestellung über 100 Tassen mit einem einzigen Brauer ausführen (zu viel Speicher), aber Sie können 1.000 Kunden gleichzeitig bedienen, indem Sie 1.000 verschiedene Brauer einsetzen.

Die Ergebnisse: Geschwindigkeit und Volumen

Das Papier testete diese neue Architektur und fand beeindruckende Zahlen:

Geschwindigkeit: Auf Standard-Hardware war der SRM beim Generieren von Text 12-mal schneller als ein Standard-Transformer.
Parallelität: Er konnte 170-mal mehr gleichzeitige Anfragen (Nutzer) bewältigen als ein Transformer.
Genauigkeit: Obwohl er so schnell war und so viele Anfragen bewältigte, verlor er nicht seinen Verstand. Bei Mathematiktests (GSM8k) löste er tatsächlich etwa 30 % mehr Probleme als ein Transformer, wenn ihm die gleiche Rechenleistung zur Verfügung stand.

Der „Reinforcement Learning"-Twist

Das Papier untersuchte auch, wie dies beim Reinforcement Learning (Lernen durch Versuch und Irrtum) hilft.

Stellen Sie sich vor, Sie bringen einem Hund das Apportieren bei.

Standard-Ansatz: Sie schicken den Hund einmal los. Wenn er scheitert, versuchen Sie es erneut.
SRM-Ansatz: Da der SRM so schnell ist, können Sie 50 Hunde gleichzeitig losschicken. Sie prüfen, welche den Ball geholt haben, und belohnen nur die Gewinner.

Das Papier fand heraus, dass der SRM durch die gleichzeitige Generierung vieler Proben und die Verwendung eines speziellen „Resampling"-Tricks (sicherstellen, dass Sie genügend „gute" Beispiele zum Lernen haben) viel besser lernte als Modelle, die nur wenige Versuche unternahmen.

Zusammenfassung

Der Strukturierte Rekurrente Mixer ist ein neues KI-Design, das das Beste aus beiden Welten vereint:

Es lernt effizient wie ein moderner Parallelcomputer.
Es generiert Text effizient wie ein einfacher, speicherschonernder Schreiber.
Es ist darauf ausgelegt, massive Menschenmengen von Nutzern gleichzeitig zu bewältigen, was immer wichtiger wird, da sich KI von „einer großen Antwort" zu „vielen schnellen Antworten" entwickelt.

Das Papier kommt zu dem Schluss, dass wir, obwohl wir oft versuchen, KI intelligenter zu machen, indem wir sie längere Bücher lesen lassen, uns stattdessen darauf konzentrieren sollten, sie schneller darin zu machen, viele verschiedene Aufgaben gleichzeitig zu bewältigen, und der SRM das perfekte Werkzeug für diese Aufgabe ist.

Technische Zusammenfassung: Strukturierte rekurrente Mixer für massiv parallelisierte Sequenzgenerierung

Problemstellung

Das Feld der Sprachmodellierung hat sich von rekurrenten Architekturen (RNNs, LSTMs) hin zu nicht-rekurrenten, sequenzparallelen Modellen (Transformer) verschoben, um Trainingseffizienz und -stabilität zu erreichen. Dieser Wechsel bringt jedoch während der Inferenz erhebliche Kosten mit sich: Transformer benötigen $O(n)$ Speicher und eine sequenzielle Token-Generierung, was im Vergleich zu rekurrenten Modellen zu einer geringeren Inferenz-Durchsatzrate und weniger Parallelität führt. Umgekehrt bieten rekurrente Modelle zwar $O(1)$ Speicher pro Stichprobe und eine effiziente sequenzielle Generierung, haben jedoch historisch mit Trainingseffizienz und -stabilität zu kämpfen und versagen oft bei der effektiven Skalierung auf lange Kontextlängen aufgrund von Grenzen der Informationskompression.

Hybride Ansätze (z. B. Mamba, Gated Delta Nets) versuchen, diese Lücke zu schließen, verlassen sich jedoch häufig auf spezialisierte Gerätekernels und stehen weiterhin vor Problemen bei der Skalierung des Caches. Darüber hinaus deutet für Aufgaben, bei denen Ausgaben schnell verifiziert werden können (z. B. Codegenerierung, mathematische Beweise), das Paradigma „Genauigkeit pro Rechenleistung" darauf hin, dass die Generierung vieler Stichproben aus kleineren, schnelleren Modellen effizienter sein kann als die Generierung weniger Stichproben aus größeren, genaueren Modellen. Die Arbeit geht davon aus, dass rekurrente Modelle für die Skalierung der Sequenzlänge bei informationsreichen Eingaben ungeeignet sind, sich jedoch ideal für die Skalierung in der Batch-Stichprobendimension eignen, da sie einen konstanten Speicherbedarf pro Stichprobe aufweisen.

Methodik: Strukturierte rekurrente Mixer (SRMs)

Die Autoren stellen den Strukturierten rekurrenten Mixer (SRM) vor, eine Architektur, die entwickelt wurde, um algebraisch zwischen einer sequenzparallelen Darstellung (für das Training) und einer rekurrenten Darstellung (für die Inferenz) zu konvertieren, ohne spezialisierte Kernel oder gerätespezifisches Speichermanagement zu erfordern.

Kernarchitektur

SRMs basieren auf dem Masked Mixer, einer transformerähnlichen Architektur, bei der die Aufmerksamkeit durch maskierte Multi-Layer Perceptrons (MLPs) ersetzt wird. Die wesentliche Innovation liegt in der Parametrisierung der Token-Mixing-Matrizen:

Qualitative Merkmalszuordnung: Die Analyse trainierter Masked Mixer ergab, dass effiziente Token-Mixing-Matrizen spezifische qualitative Merkmale aufweisen: Spalten mit nahezu identischen Werten, Zeilen mit nahezu identischen Werten und eine Gewichtsabnahme, die mit dem Abstand von der Hauptdiagonale zunimmt.
Strukturelle Einschränkungen: Um eine algebraische Konvertierung in eine rekurrente Form zu ermöglichen, beschränken SRMs die Token-Mixing-Matrizen auf Zeilen-Wiederholungs- oder Spalten-Wiederholungsstrukturen.
- Zeilen-Wiederholung: Zeilen enthalten identische Elemente.
- Spalten-Wiederholung: Spalten enthalten identische Elemente.
- Abklingung: Eine trainierbare Abklingkonstante $\lambda$ wird auf die Diagonal- oder Nebendiagonalelemente angewendet, um die Informationsbeibehaltung zu steuern.
Algebraische Konvertierung: Diese Einschränkungen ermöglichen es, die Matrixmultiplikation $Y = XM + B$ als eine rekurrente Operation mit festem Speicher (Gleichung 2 und 3 in der Arbeit) umzuschreiben. Der rekurrente versteckte Zustand (Cache) wird zu einem einfachen Summenterm, der unabhängig von der Sequenzlänge nur konstanten Speicher ( $O(d)$ ) benötigt.
Hybride Köpfe: Die Architektur verwendet „gemischte" Köpfe, wobei die Hälfte der Köpfe Zeilen-Wiederholungsmatrizen und die andere Hälfte Spalten-Wiederholungsmatrizen verwendet, die durch lineare Projektionen kombiniert werden. Diese Konfiguration erwies sich als bester Kompromiss zwischen Trainingseffizienz und Informationsbeibehaltung.

Training und Inferenz

Training: SRMs werden ähnlich wie Transformer mit Sequenzparallelismus (Verschieben von Tokens) trainiert. Die quadratische Komplexität zum Trainingszeitpunkt wird effektiv durch Speicherübertragungs-Overheads verdeckt, was sie bei Standardkontextlängen in der Durchsatzrate mit Transformer vergleichbar macht.
Inferenz: Das Modell wechselt in eine rekurrente Darstellung, bei der Tokens einzeln generiert werden und ein Cache konstanter Größe aktualisiert wird. Dies eliminiert die Notwendigkeit großer KV-Caches und reduziert den Anforderungen an die Speicherbandbreite drastisch.

Hauptbeiträge

Qualitative Merkmalszuordnung: Eine Methode, um die Token-Mixing-Operationen von Modellen mit quadratischer Komplexität auf rekurrente Modelle mit linearer Komplexität abzubilden, indem Zeilen-/Spalten-Wiederholungsstrukturen und Abklingung erzwungen werden.
Dual-Architektur-Design: Eine Architektur, die während des Trainings Sequenzparallelismus und während der Inferenz Batch-Parallelismus unterstützt, was eine algebraische Konvertierung zwischen beiden ohne Änderung der Modellparameter oder Cache-Strukturen ermöglicht.
Optimierter Inferenz-Engine: Implementierung von SRMs unter Verwendung des Mojo/MAX-Frameworks, was signifikante Leistungssteigerungen gegenüber Standard-PyTorch-Implementierungen demonstriert.
Optimiertes Resampling für RL: Eine Resampling-Methode für Group Relative Policy Optimization (GRPO), die die Exploration beim Reinforcement Learning mit großen Batches aufrechterhält, indem eine Mischung aus „guten" und „schlechten" Stichproben im Trainingsbatch sichergestellt wird.

Experimentelle Ergebnisse

Trainingseffizienz

SRMs sind pro Parameter etwas weniger effizient im Training als $O(n^2)$ -Transformer und Masked Mixer, sind jedoch effizienter als Mamba-Modelle über verschiedene Datensätze hinweg (FineWeb-edu, FineMath).
Im Gegensatz zu Mamba-Modellen, die auf älterer Hardware (z. B. V100) erhebliche Durchsatzverluste erleiden, arbeiten SRMs auf verschiedenen GPU-Architekturen konsistent.

Benchmark-Leistung

Genauigkeit: Bei rechenäquivalenten Benchmarks (IFEval, SQuAD, GSM8k usw.) schneiden Transformer im Allgemeinen am besten ab. SRMs übertreffen Mamba-Modelle bei den meisten Aufgaben, bleiben jedoch bei der Genauigkeit pro Einzelstichprobe im Allgemeinen hinter Transformer zurück.
Informationsbeibehaltung: SRMs weisen eine höhere Informationsbeibehaltung und Kapazität als Mamba-Modelle auf, die mit Modellen quadratischer Komplexität vergleichbar ist. Wie bei allen rekurrenten Modellen treten jedoch Informationsverluste auf, wenn die Kontextlängen ihre Kompressionsgrenzen überschreiten.

Inferenz-Durchsatz und Parallelität

Durchsatz: SRMs zeigen aufgrund reduzierter Speicherübertragung massive Durchsatzverbesserungen gegenüber Transformer.
- Auf PyTorch (V100): SRMs erreichen je nach Kontextlänge einen 9,66- bis 43,29-fach höheren Durchsatz als Transformer.
- Auf Mojo/MAX (H100): SRMs erreichen das 12-fache des Durchsatzes von Transformer, die über vLLM inferiert werden.
Parallelität: SRMs unterstützen deutlich größere Batch-Größen.
- Auf Mojo/MAX (H100): SRMs erreichen das 170-fache der Parallelität von Transformer.
- Im Vergleich zu Mamba: SRMs zeigen eine >500-fach höhere Parallelität und einen ~7-fach höheren Durchsatz als gleich leistungsstarke Mamba-Modelle.

Reinforcement Learning und verifizierbare Ausgaben

Pass@k-Skalierung: Für GSM8k folgen SRMs einem ähnlichen Pass@k-Potenzgesetz wie Transformer.
Rechenleistungseffizienz: Aufgrund der 10- bis 30-fachen Durchsatzsteigerung können SRMs bei gleichem Rechenbudget viele mehr Stichproben generieren. Die Arbeit berichtet von einer 30%igen Steigerung des GSM8k Pass@k für SRMs im Vergleich zu Transformer, wenn die Rechenleistung konstant gehalten wird.
RL-Training: Unter Verwendung von ausgewogenem Resampling erreichen SRMs, die mit GRPO auf großen Batches (50 Stichproben) trainiert wurden, eine höhere Genauigkeit pro Einzelstichprobe und eine bessere Exploration als Transformer, die auf kleinen Batches (5 Stichproben) trainiert wurden.

Bedeutung und Behauptungen

Die Arbeit kommt zu dem Schluss, dass rekurrente Modelle zwar schlecht für die Skalierung der Sequenzlänge bei informationsdichten Eingaben geeignet sind, sich jedoch außerordentlich gut für die Skalierung in der Batch-Dimension eignen. Die SRM-Architektur überbrückt erfolgreich die Lücke zwischen der Trainingseffizienz quadratischer Modelle und der Inferenzeffizienz rekurrenter Modelle.

Die Autoren behaupten, dass SRMs einen gangbaren Weg für Paradigmen der „Genauigkeit pro Rechenleistung" bieten, insbesondere für Aufgaben mit schneller Verifizierung. Durch die Nutzung des konstanten Speicherbedarfs rekurrenter Modelle können SRMs die „Memory-Wall"-Begrenzungen moderner Hardware effektiver ausnutzen als Transformer und erreichen Verbesserungen in Durchsatz und Parallelität um Größenordnungen, ohne spezialisierte Kernel zu benötigen. Die Arbeit legt nahe, dass für zukünftige Trends bei Mehrthread-Hardware Architekturen wie SRMs, die arithmetische Operationen im Verhältnis zu Speicherzugriffen maximieren, zunehmend dominieren werden.