🤖 machine learning

Multi-Mixer Models: Flexible Sequence Modeling with Shared Representations

Das Papier stellt Oryx vor, eine hybride Architektur, die entlang der Token-Sequenz dynamisch zwischen effizienten linearen rekurrenten Mixern und quadratischen Aufmerksamkeitsmechanismen wechselt, dabei über 90 % der Parameter gemeinsam nutzt und im Vergleich zu Baseline-Modellen mit einzelnen Mixern überlegene Leistung sowie Fähigkeiten zur Abrufung aus langen Kontexten erzielt.

Ursprüngliche Autoren: Kevin Y. Li, Asher Trockman, Ananda Theertha Suresh, Ziteng Sun

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kevin Y. Li, Asher Trockman, Ananda Theertha Suresh, Ziteng Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine lange Geschichte zu schreiben. Um dies gut zu bewältigen, benötigen Sie zwei verschiedene Werkzeuge in Ihrem Werkzeugkasten:

Der „Super-Scanner" (Softmax-Aufmerksamkeit): Dieses Werkzeug ist hervorragend darin, auf alles zurückzublicken, was Sie bisher geschrieben haben, um spezifische Details zu finden, Ideen zu verknüpfen und den gesamten Kontext zu verstehen. Es ist wie ein Bibliothekar, der sofort jedes einzelne Buch, das Sie je gelesen haben, hervorholen kann, um das perfekte Zitat zu finden. Dieser Bibliothekar ist jedoch langsam und teuer; je mehr Bücher Sie haben, desto länger dauert die Suche, und er benötigt ein riesiges Regal, um alle Bücher zu beherbergen.
Der „Speed-Runner" (Lineare rekurrente Modelle): Dieses Werkzeug ist unglaublich schnell und effizient. Es blickt nicht auf die gesamte Bibliothek zurück; stattdessen hält es eine kleine, kompakte Zusammenfassung in seinem Kopf und aktualisiert diese beim Lesen. Es ist wie ein Läufer, der die Kernaussage der Geschichte im Vorbeigehen auswendig lernt. Es ist günstig und schnell, vergisst aber manchmal die spezifischen Details, die nötig sind, um knifflige Fragen zu beantworten.

Lange Zeit mussten KI-Modelle das eine oder das andere wählen. Wollten sie Geschwindigkeit, verloren sie Details. Wollten sie Details, verloren sie Geschwindigkeit.

Hier kommt „Oryx" ins Spiel: Der flexible Geschichtenerzähler

Die Arbeit stellt ein neues Modell namens Oryx vor, das sich weigert, eine Wahl zu treffen. Stattdessen agiert es wie ein Chamäleon, das während des Schreibens der Geschichte zwischen einem „Super-Scanner" und einem „Speed-Runner" wechseln kann.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das gemeinsame Gehirn (Gemeinsame Repräsentationen)

Normalerweise müssen Sie, wenn Sie von einem Bibliothekar zu einem Läufer wechseln, diesem einen völlig neuen Satz Notizen übergeben. Sie sprechen nicht dieselbe Sprache.

Oryx löst dieses Problem, indem es sowohl dem „Scanner" als auch dem „Runner" dasselbe Notizbuch gibt.

Beide lesen dieselben Wörter und notieren dieselben Schlüsselfakten (sogenannte „shared representations").
Da sie dasselbe Notizbuch verwenden, verstehen sie sich perfekt.
Das bedeutet, das Modell kann vom langsamen, detaillierten Scanner zum schnellen Runner wechseln (oder umgekehrt), ohne seinen Platz zu verlieren oder zu vergessen, was passiert ist. Es ist wie ein Arbeiter, der sofort von detaillierter Buchhaltung zum Lieferdienst wechseln kann, weil er für beide Aufgaben dasselbe Klemmbrett verwendet.

2. Das „chunkierte" Training (Lernen des Wechsels)

Wie bringt man einem Modell bei, so reibungslos den Gang zu wechseln? Die Forscher verwendeten eine Trainingsmethode namens „Chunked Mixed-Mode Training".

Stellen Sie sich vor, Sie bereiten einen Schüler auf eine Prüfung vor. Anstatt ihn das ganze Buch mit nur einer Methode studieren zu lassen, teilen Sie das Buch in kleine Kapitel (Chunks) auf.

Für Kapitel 1 sagen Sie dem Schüler: „Benutze den Scanner, um dies zu lesen."
Für Kapitel 2 sagen Sie: „Wechsle für dieses hier zum Runner."
Für Kapitel 3 gehen Sie zurück zum Scanner.

Indem das Modell während des Trainings diesen Hin-und-Her-Wechsel übt, lernt es, dass es in Ordnung ist, mitten in einem Satz die Werkzeuge zu wechseln. Es lernt, dass das „gemeinsame Notizbuch" für beide Werkzeuge funktioniert.

3. Die Ergebnisse: Das Beste aus beiden Welten

Die Arbeit testete Oryx an verschiedenen Aufgaben und fand einige beeindruckende Dinge heraus:

Es ist so klug wie die Besten: Wenn Oryx den „Scanner"-Modus verwendet, ist es beim Sprachverständnis genauso gut wie die besten traditionellen Modelle.
Es ist so schnell wie die Besten: Wenn es den „Runner"-Modus verwendet, ist es effizient und schnell.
Der magische Schalter: Der coolste Teil ist, dass Oryx den Runner verwenden kann, um eine riesige Menge Text (wie ein langes Dokument) zu durchlaufen, um Zeit und Speicher zu sparen, und dann sofort zum Scanner wechselt, um eine spezifische Frage zu diesem Text zu beantworten.
- Die Arbeit fand heraus, dass Oryx eine riesige Geschichte mit dem schnellen „Runner" für 90 % des Textes verarbeiten und nur für die letzten 10 % (den Teil, in dem die Frage gestellt wird) zum langsamen „Scanner" wechseln konnte.
- Selbst mit diesem winzigen Anteil an „Scanner"-Zeit schnitt es genauso gut ab wie Modelle, die den „Scanner" für die gesamte Geschichte verwendeten.

Warum das wichtig ist (laut der Arbeit)

Die Arbeit legt nahe, dass wir keine Seite mehr wählen müssen. Wir können Modelle bauen, die Hybride sind. Sie können für den größten Teil der Arbeit effizient und günstig sein, wechseln aber genau dann zu einer leistungsstarken und detaillierten Funktionsweise, wenn sie es benötigen.

Die Autoren nennen dies „Sequence-Axis Hybridization". Anstatt ein Modell zu bauen, das halb Scanner und halb Runner ist (wie ein Auto mit nur einem Rad), ist Oryx ein Fahrzeug, das die meiste Strecke auf Rädern fährt und für den steilen Berg auf einen Strahltriebwerk umschaltet, wobei es dabei dasselbe Lenkrad und dasselbe Armaturenbrett verwendet.

Kurz gesagt: Oryx ist ein flexibles KI-System, das seinen Speicher zwischen einem schnellen Modus und einem intelligenten Modus teilt, was es ihm ermöglicht, ohne Verwirrung sofort zwischen ihnen zu wechseln, wodurch es sowohl effizient als auch hochleistungsfähig ist.

Technische Zusammenfassung: Multi-Mixer-Modelle (Oryx)

Problemstellung

Softmax-Attention ist der dominierende Mechanismus in modernen großen Sprachmodellen (LLMs), verursacht jedoch quadratische Rechenkosten und lineare Speicheranforderungen in Bezug auf die Sequenzlänge aufgrund der Aufrechterhaltung eines vollständigen Key-Value-(KV-)Caches. Während lineare rekurrente Modelle (z. B. lineare Attention und State-Space-Modelle wie Mamba-2) lineare Berechnungen und konstanten Speicher bieten, bleiben sie bei Aufgaben, die eine starke Abrufleistung oder kontextbasiertes Lernen erfordern, häufig hinter attention-basierten Modellen zurück. Bestehende hybride Architekturen versuchen, diese Kompromisse zu mildern, indem sie Attention- und rekurrente Blöcke statisch über die Schichten hinweg (inter-layer) oder innerhalb einer einzelnen Schicht (intra-layer) verflechten. Diese Ansätze fixieren jedoch den Rechenpfad pro Token oder Schicht und versäumen es, den Modellierungsmechanismus an die spezifischen Bedürfnisse verschiedener Segmente innerhalb einer Sequenz anzupassen.

Methodik: Die Oryx-Architektur

Die Autoren schlagen Oryx vor, eine hybride Architektur entlang der Sequenzachse, die einen flexiblen Wechsel zwischen verschiedenen Sequenz-Mixern (z. B. quadratischer Softmax-Attention und lineare rekurrente Mechanismen) innerhalb einer einzelnen Token-Sequenz ermöglicht.

Kernprinzipien des Designs

Gemeinsame Repräsentationen durch gekoppelte Projektionen:
- Oryx vereint Attention- und lineare Modelle unter einer assoziativen Speicherperspektive, bei der beide Key-Value-(KV-)Assoziationen aufrechterhalten.
- Die Architektur verwendet gekoppelte Projektionen für Keys ( $W_K$ ) und Values ( $W_V$ ) über die Mixer-Modi hinweg. Dies ermöglicht einen einzigen Vorwärtsdurchlauf, bei dem sowohl der Attention-KV-Cache als auch der lineare rekurrente Zustand gleichzeitig unter Verwendung gemeinsamer Repräsentationen aktualisiert werden.
- Mixer-spezifische Queries: Im Gegensatz zu Keys und Values bleiben die Query-Projektionen ( $W_Q$ ) für jeden Mixer getrennt. Empirische Ergebnisse zeigen, dass das Teilen von Query-Gewichten die Leistung verschlechtert, was darauf hindeutet, dass Attention- und rekurrente Mechanismen unterschiedliche Auslesevektoren benötigen, um modusspezifische Informationen aus dem gemeinsamen Zustand zu extrahieren.
Architektonische Komponenten:
- Der Block integriert Komponenten, die für die Leistung linearer Modelle entscheidend sind, wie kurze Faltungen und multiplikative Gatter, die auf die gemeinsamen Keys und Values angewendet werden.
- Um Kompatibilität sicherzustellen, erzwingt Oryx eine einheitliche Kopfstruktur (Multi-Head-Attention, MHA) für beide Mixer, obwohl lineare Modelle wie Mamba-2 typischerweise Multi-Value-(MVA-)Strukturen verwenden.
- Der Block hält sowohl den KV-Cache als auch den linearen rekurrenten Zustand zu jedem Zeitschritt vor und aktualisiert sie gemeinsam.
Chunked Mixed-Mode-Training:
- Um einen robusten Moduswechsel während der Inferenz zu ermöglichen, wird Oryx mit einer chunked mixed-mode-Strategie trainiert. Trainingssequenzen werden in Blöcke fester Länge (z. B. 128 Token) unterteilt, wobei jedem Block zufällig ein Mixer-Modus (Attention oder linear) zugewiesen wird.
- Dieses Trainingsregime zwingt das Modell, kompatible Repräsentationen zu erlernen, die nahtlose Übergänge zwischen den Modi ermöglichen, und verhindert die Leistungsverschlechterung, die häufig beim Wechsel von linearen zu Attention-Mechanismen im sequenzweiten Mixed-Training beobachtet wird.

Hauptbeiträge

Hybridisierung entlang der Sequenzachse: Oryx führt eine neue Achse für die Hybridisierung ein, die es dem Modell ermöglicht, Mechanismen dynamisch über die Token-Sequenz hinweg zu wechseln, anstatt durch feste Schicht- oder Blockarchitekturen eingeschränkt zu sein.
Parametereffizienz: Das Design verknüpft mindestens 90 % der Parameter (insbesondere $W_K, W_V, W_G, W_O$ ) über die Mixer-Modi hinweg, sodass Attention- und rekurrente Modi über gemeinsame interne Repräsentationen operieren können, ohne nennenswerten Parameter-Overhead.
Flexibles Inferenzverhalten: Das Modell unterstützt eine Inferenz, bei der verschiedene Segmente einer Sequenz (z. B. Kontext-Prefill vs. Generierung) von unterschiedlichen Mixern verarbeitet werden können. Beispielsweise kann ein Modell lineare Rekursion für eine effiziente Kontextverarbeitung verwenden und für eine abfrageintensive Generierung auf Attention umschalten.

Empirische Ergebnisse

Experimente wurden an Modellen im Bereich von 130 Millionen bis 1,4 Milliarden Parametern durchgeführt, wobei Mamba-2 und Gated DeltaNet (GDN) als lineare Mixer dienten.

Sprachmodellierung: Unter festen Token-Budgets erreichen Oryx-Modelle (sowohl die Varianten Oryx-TM als auch Oryx-TG) eine vergleichbare oder bessere Leistung als Baseline-Modelle mit einem einzigen Mixer (reiner Transformer, reines Mamba-2, reines GDN). Im Maßstab von 1,4 Milliarden Parametern übertreffen Oryx-Varianten ihre jeweiligen Baselines in gemittelten Sprachmodellierungsaufgaben um mindestens 0,7 Prozentpunkte.
Abrufkapazitäten:
- Oryx bewahrt die Abrufkapazitäten seiner konstituierenden Mixer.
- Entscheidend ist, dass Oryx im gemischten Inferenzmodus (Verarbeitung des Kontexts mit linearer Rekursion und Generierung mit Attention) eine Leistung erzielt, die mit der Transformer-Baseline vergleichbar ist, während weniger als 10 % der Token im Attention-Modus verarbeitet werden.
- Bei realen Abrufaufgaben übertrifft der Mixed-Mode-Oryx lineare Baselines um 8,6 Prozentpunkte (Oryx-TG) bzw. 13,5 Prozentpunkte (Oryx-TM).
- Bei synthetischen „Needle-in-a-Haystack"-Tests (NIAH) übertrifft Oryx lineare Baselines um 38,6 bis 40,3 Prozentpunkte, was zeigt, dass gemeinsame Repräsentationen auch dann eine effektive Abrufleistung im langen Kontext unterstützen, wenn der lineare Mixer den Großteil der Sequenz verarbeitet.
Moduswechsel: Eine Perplexitätsanalyse zeigt, dass sich die Perplexität des Modells nach dem Wechsel zwischen Mixern (z. B. von Attention zu Mamba-2 oder umgekehrt) schnell auf die Baseline des gewählten Modus konvergiert, was darauf hindeutet, dass die gemeinsamen Zustände kompatibel sind und der Übergang nahtlos erfolgt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Oryx demonstriert, wie Attention- und lineare rekurrente Mechanismen trotz unterschiedlicher Methoden interne Repräsentationen teilen können. Diese Erkenntnis stellt die Annahme in Frage, dass diese Mechanismen vollständig getrennte Zustandsräume benötigen.

Die Bedeutung dieser Arbeit liegt in:

Validierung der Hybridisierung entlang der Sequenzachse: Sie etabliert, dass das dynamische Wechseln von Mixern innerhalb einer Sequenz eine gangbare und effektive Strategie ist, die einen neuen Designraum für adaptive Berechnungen eröffnet.
Überbrückung der Abruflücke: Sie zeigt, dass lineare Modelle eine Abrufleistung erreichen können, die mit der von Transformern vergleichbar ist, wenn sie Attention-Modi für bestimmte Segmente nutzen können, ohne einen vollständigen Attention-Mechanismus für die gesamte Sequenz zu benötigen.
Zukünftige Richtungen: Die Autoren schlagen vor, dass diese Architektur Möglichkeiten für gelerntes Routing (z. B. mittels RL zur Auswahl von Mixern basierend auf FLOP-Einsparungen) und spekulatives Decoding eröffnet, bei dem lineare Modi Reasoning-Spuren entwerfen könnten, die von Attention-Modi verifiziert werden.

Die Autoren bleiben bescheiden und weisen darauf hin, dass die Aufrechterhaltung mehrerer Zustände (KV-Cache und linearer Zustand) einen Speicher-Overhead verursacht, obwohl dieser bei langen Kontextlängen vom KV-Cache dominiert wird. Sie weisen zudem darauf hin, dass die Trainingsdynamik von Multi-Mixer-Modellen weitgehend unerforscht bleibt und bei steigender Skalierung möglicherweise spezialisierte Zielvorgaben erfordert.