💬 NLP

Comparing Transformers and Hybrid Models at the Token Level

Diese Arbeit analysiert die Unterschiede in der Token-Ebene der Leistung zwischen reinen Transformer- und Hybrid-Sprachmodellen unter Verwendung von Olmo 3 und Olmo Hybrid und zeigt auf, dass Hybridmodelle bei der Vorhersage semantischer Inhalte und der Verfolgung von Zuständen über rekursive Schichten exzellieren, während Transformer bei Aufgaben des syntaktischen Klammer-Matchings und des $n$ -Gramm-Kopierens überlegen sind.

Ursprüngliche Autoren: Yanhong Li, William Merrill

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yanhong Li, William Merrill

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, zwei verschiedene Arten von Schülern beizubringen, wie man den nächsten Satz in einer Geschichte schreibt. Ein Schüler ist ein Super-Leser (der Transformer), und der andere ist ein Super-Leser mit Notizbuch (das Hybrid-Modell).

Die Forschungsarbeit stellt die Frage: Wann macht der Schüler mit dem Notizbuch tatsächlich einen besseren Job als derjenste, der sich nur auf sein Gedächtnis dessen verlässt, was er bisher gelesen hat?

Hier ist die Aufschlüsselung der Ergebnisse unter Verwendung einfacher Analogien:

1. Die zwei Schüler

Der Super-Leser (Transformer): Dieser Schüler verfügt über ein unglaubliches Gedächtnis für alles, was er gerade gelesen hat. Wenn man sagt: „Die Katze saß auf der...“, kann er sich sofort erinnern, dass „Matte“ drei Sätze zuvor erwähnt wurde. Er ist großartig darin, Muster zu kopieren und Sätze zu vervollständigen, die einer strengen Regel folgen (wie das Zuordnen einer Klammer ( zu einer )).
Der Super-Leser mit Notizbuch (Hybrid): Dieser Schüler hat ebenfalls ein gutes Gedächtnis, aber er führt auch ein Notizbuch, in dem er den „Zustand“ der Geschichte festhält, während er liest. Er verfolgt, wem was gehört, wer was tut und wie sich die Handlung entwickelt.

2. Wann der „Notizbuch“-Schüler gewinnt

Die Forschungsarbeit fand heraus, dass der Schüler mit dem Notizbuch (der Hybrid) viel besser darin ist, das nächste Wort vorherzusagen, wenn die Geschichte erfordert, eine sich ändernde Situation im Blick zu behalten.

Der „Inhalts“-Vorteil: Der Hybrid-Schüler glänzt bei der Vorhersage von Inhaltswörtern (wie Nomen, Verben und Adjektiven). Dies sind die „gehaltvollen“ Teile eines Satzes, die neue Bedeutung tragen.
- Analogie: Stellen Sie sich eine Detektivgeschichte vor. Wenn der Text sagt: „Der Detektiv fand einen roten ...“, könnte der Super-Leser basierend auf gängigen Phrasen „Hut“ oder „Auto“ raten. Aber der Hybrid-Schüler, der in seinem Notizbuch notiert hat, dass der Verdächtige vorhin einen roten Mantel trug, wird eher „Mantel“ erraten, weil er den Zustand der Geschichte verfolgt und nicht nur die unmittelbaren Wörter.
Der „Zustands“-Vorteil: Der Hybrid ist besser in Aufgaben, bei denen man eine Rolle oder ein Objekt über eine lange Distanz im Gedächtnis behalten muss.
- Beispiel: „Liam ist der Geiger. Naomi ist die Pilotin. ... (viele Wörter) ... Der Geiger überprüfte den Bericht.“ Der Hybrid ist besser darin, sich daran zu erinnern, dass „Geiger“ sich auf Liam bezieht, selbst nach einer langen Pause, weil er seinen internen Zustand aktualisiert hat.

3. Wann der „Gedächtnis“-Schüler gewinnt

Überraschenderweise ist der Schüler ohne das Notizbuch (der reine Transformer) in spezifischen Situationen tatsächlich besser, in denen die Antwort einem bereits direkt vor Augen liegt.

Der „Abschluss“-Vorteil: Wenn ein Text eine Struktur schließen muss, gewinnt der Transformer.
- Analogie: Wenn der Text eine offene Klammer ( hat, weiß der Transformer genau, welche die passende schließende Klammer ) sein muss. Er braucht kein Notizbuch, um sich daran zu erinnern, dass eine ( eine ) benötigt; er sieht einfach auf den sichtbaren Text. Der Hybrid-Schüler wird hier manchmal verwirrt, vielleicht weil er zu sehr damit beschäftigt ist, den „Zustand der Geschichte“ zu verfolgen, und dabei die einfache strukturelle Regel übersieht.
Der „Kopier“-Vorteil: Wenn der Text eine lange Phrase wiederholt (wie ein Copy-Paste-Fehler oder eine repetitive Liste), ist der Transformer unschlagbar.
- Analogie: Wenn der Text sagt: „Der schnelle braune Fuchs springt über den faulen Hund. Der schnelle braune Fuchs springt über den...“, kopiert der Transformer einfach das Muster, das er direkt vor sich sieht. Der Hybrid-Schüler versucht, die „Bedeutung“ der Wiederholung zu verstehen, was unnötige Arbeit ist, weshalb er schlechter abschneidet.

4. Das Rätsel der „Funktionswörter“

Die Forschungsarbeit untersuchte auch kleine, unscheinbare Wörter wie „der“, „ist“, „und“ oder „zu“ (Funktionswörter).

Der Hybrid-Schüler ist nur geringfügig besser.
Warum? Weil diese Wörter wie eine kleine, geschlossene Liste sind. Es gibt nur so viele von ihnen. Sobald man die Kategorie kennt (z. B. „dies ist eine Präposition“), gibt es wenig Spielraum für das Notizbuch, um bei der Wahl des spezifischen Wortes zu helfen. Der Vorteil des Notizbuchs ist am größten, wenn es Tausende von Möglichkeiten gibt (wie Nomen und Verben) und man Kontext benötigt, um das Richtige auszuwählen.

5. Die wichtigste Erkenntnis

Die Autoren kommen zu dem Schluss, dass Hybrid-Modelle nicht einfach „in allem besser“ sind. Sie sind besser in spezifischen Dingen:

Verfolgung der Handlung: Behalten im Blick, wem etwas gehört, welche Variablen im Code gesetzt sind oder was das aktuelle Thema ist.
Vorhersage neuer Ideen: Das nächste „Inhaltswort“ in einer Geschichte oder in Code zu erraten.

Sie sind jedoch nicht besser in:

Einfachem Kopieren: Das Wiederholen dessen, was gerade gesagt wurde.
Strukturellem Abschluss: Das Schließen von Klammern oder Tags, die bereits offen sind.

Warum das für die Zukunft wichtig ist

Die Autoren schlagen vor, dass wir, wenn wir noch intelligentere KI bauen wollen, nicht nur auf den „Durchschnittswert“ schauen sollten. Stattdessen sollten wir darauf achten, welche Wörter die KI richtig macht.

Wenn eine KI schlecht darin ist, „Klammern zu schließen“, wissen wir, dass sie Schwierigkeiten mit der Struktur hat.
Wenn eine KI schlecht darin ist, „zu verfolgen, wem etwas gehört“, wissen wir, dass sie Probleme mit ihrem internen Notizbuch (Zustandsverfolgung) hat.

Indem wir die Ergebnisse Wort für Wort aufschlüsseln, können Forscher genau sehen, welche Art von „Gehirn“ (Gedächtnis vs. Notizbuch) eine KI verwendet, und die spezifischen Teile korrigieren, die schwach sind.

Technisches Resümee: Vergleich von Transformern und hybriden Modellen auf Token-Ebene

Problemstellung

Hybride Sprachmodelle, die Attention-Mechanismen mit rekurrenten Sequenzschichten kombinieren, haben eine empirische Überlegenheit gegenüber reinen Transformern in Bezug auf Loss und Downstream-Benchmarks demonstriert. Theoretisch wird dieser Vorteil durch die komplementäre Expressivität der beiden Architekturen begründet: Attention zeichnet sich durch das Abrufen von Informationen aus sichtbaren Präfixen aus (nützlich für Kopier- und Strukturabgleich-Aufgaben), während rekurrenten Schichten exzellieren im Konstruieren und Aktualisieren latenter Zustände für geordnete Zustandsverfolgungsprozesse (State-Tracking).

Es bleibt jedoch unklar, welche spezifischen Datentypen oder Vorhersagefähigkeiten diese empirischen Gewinne antreiben und ob die beobachteten Verbesserungen mit den theoretischen Vorteilen übereinstimmen, die hybride Architekturen motivieren. Diese Arbeit adressiert die Frage: Welche individuellen Token-Vorkommen sind für den geringeren durchschnittlichen Loss eines hybriden Modells relativ zu einem passenden Transformer verantwortlich, und entsprechen diese Token den theoretischen Stärken von Rekurrenz versus Attention?

Methodik

Die Autoren führen eine feingliedrige Analyse auf Token-Ebene durch, die zwei passend aufeinander abgestimmte 7B-Scale-Modelle aus derselben Rezepturfamilie vergleicht: Olmo 3 7B (reiner Transformer) und Olmo Hybrid 7B (interleaved Attention und rekurrenten Schichten).

Kernmetrik

Für ein Ziel-Token $x_i$ gegeben ein Präfix $x_{<i}$ berechnen die Autoren die paarweise Token-Level-Loss-Differenz:
$\Delta_i = \ell^{Tr}_i - \ell^{Hyb}_i = \log p^{Hyb}(x_i | x_{<i}) - \log p^{Tr}(x_i | x_{<i})$
Ein positives $\Delta_i$ bedeutet, dass das hybride Modell dem Token eine höhere Wahrscheinlichkeit (niedrigeren NLL) zuweist als der Transformer.

Analyse-Framework

Die Studie verwendet drei komplementäre analytische Ansätze über die Domänen Prosa, Code und Markup hinweg:

Beobachtende, Tag-stratifizierte Analyse:
- Ziel-Token werden mit Oberflächen-Tags abgeglichen (z. B. POS-Tags für Prosa; Identifikatoren, Strings, Delimiter für Code/Markup).
- Rohe Zusammenfassungen: Berechnung des mittleren $\Delta_i$ für jede Tag-Kategorie, um den absoluten hybriden Vorteil zu bestimmen.
- Regressions-Robustheit: Anpassung linearer Regressionen unter Kontrolle von Störvariablen (Schwierigkeit, Frequenz, Position, Subword-Status und lokale Wiederverwendung), um zu bestimmen, ob Tag-Level-Muster nach Berücksichtigung dieser Faktoren bestehen bleiben.
Kontrollierte synthetische Sonden (Probes):
- Um spezifische Rechenanforderungen zu isolieren, evaluieren die Autoren die Modelle auf drei synthetischen Aufgaben mit festen Templates und variierenden Abhängigkeitsdistanzen ( $d \in \{32, \dots, 1024\}$ $d \in {32, \dots, 1024}$ ):
  - Pronomen-Gedächtnis (Pronoun Memory): Erfordert die Aufrechterhaltung eines Rollenbindungszustands, um das korrekte Pronomen auszuwählen.
  - Entitäts-Verfolgung (Entity Tracking): Erfordert die Aufrechterhaltung von Entitäts-Attribut-Bindungen, um Abfragen zu beantworten.
  - Strukturelle Schließung (Structural Closure): Erfordert die Vorhersage eines schließenden Delimiters basierend auf einem sichtbaren Opener.
Gefilterte Evaluierung (Proof of Concept):
- Anwendung auf 1B-Scale-Pretraining-Läufe (Transformer, Hybrid, Pure RNN), um zu demonstrieren, wie Token-Level-Dekompositionen die Architektur-Diagnostik während des Trainings präzisieren können.

Kernergebnisse

1. Nicht-uniforme Token-Level-Gewinne

Der Vorteil des hybriden Modells ist nicht uniform über alle Token verteilt.

Open-Class-Inhaltswörter: Das hybride Modell zeigt die größte Loss-Reduktion bei Open-Class-Inhaltskategorien (Nomen, Verben, Adjektive, Adverbien). In der Prosa ist die rohe Differenz für Inhaltswörter etwa 61 % größer als für Funktionswörter.
Closed-Class-Funktionswörter: Der Vorteil ist kleiner und heterogener für Closed-Class-Funktionswörter (Determinatoren, Präpositionen, Pronomen).
Korrelation mit der Vokabulargröße: Es besteht eine positive Korrelation zwischen der Größe des Tag-Vokabulars (Offenheit) und dem hybriden Vorteil. Größere Vokabulare (Open Classes) zeigen größere hybride Gewinne, während kleine, geschlossene Inventare geringere Gewinne aufweisen.

2. Strukturelle Delimiter: Opener vs. Closer

Öffnende Delimiter (Opening Delimiters): Das hybride Modell wird bei öffnenden Klammern und Tags über alle Domänen hinweg (Prosa, Python, HTML, LaTeX) signifikant bevorzugt. Diese Token initiieren oft einen neuen Scope oder einen Zustandsupdate.
Schließende Delimiter (Closing Delimiters): Der hybride Vorteil verschwindet nahezu oder kehrt sich bei schließenden Delimitern um. Der Transformer performt hier kompetitiv oder besser, da schließende Token strukturelle Verpflichtungen erfüllen, die bereits durch das sichtbare Präfix etabliert wurden (eine Retrieval-/Closure-Aufgabe).

3. Wiederholte N-Gramme und Kopieren

Der hybride Vorteil bricht bei wiederholten N-Grammen zusammen. Mit zunehmender Länge des wiederholten Spans ( $n=1$ bis $16$) schrumpft die rohe Loss-Differenz rapide gegen Null.
Die Regressionsanalyse bestätigt, dass Repetitions-Features die Differenz in Richtung des Transformers verschieben. Dies deutet darauf hin, dass, wenn das Ziel über sichtbares-Präfix-Kopieren vorhersagbar ist, der Attention-Mechanismus ausreichend ist und der rekurrenten Zustand keinen zusätzlichen Nutzen bietet.

4. Ergebnisse der synthetischen Sonden

Zustandsbedingte Aufgaben (Pronoun Memory, Entity Tracking): Das hybride Modell übertrifft den Transformer konsistent und hält eine Genauigkeit über dem Zufallsniveau auch bei langen Distanzen, bei denen der Transformer unter das Zufallsniveau fällt.
Strukturelle Schließung (Structural Closure): Der Transformer übertrifft das hybride Modell bei Closure-Aufgaben, unabhängig von der Distanz.
Fazung: Die entscheidende Unterscheidung ist nicht bloß die Abhängigkeitslänge, sondern die Art der Berechnung: Zustandsbedingte Auslesung (State-conditioned readout) begünstigt Rekurrenz, während sichtbares-Präfix-Retrieval/Closure die Attention begünstigt.

5. Nutzen der gefilterten Evaluierung

In 1B-Scale-Pretraining-Läufen zeigte der aggregierte Validierungs-Loss minimale Separation zwischen den Architekturen. Jedoch offenbarten gefilterte Losses distinkte Regime:

State-Oriented Filter (Top-10 Open Class, No Copy): Verstärkte die Lücke und zeigte, dass das Hybrid-Modell den reinen Transformer und das reine RNN signifikant übertrifft.
Copy Filter (Wiederholte 5-Gramme): Zeigte, dass reine RNNs bei Retrieval-Aufgaben deutlich hinter Attention-basierten Modellen zurückliegen – eine Schwäche, die durch den aggregierten Loss maskiert wurde.

Bedeutung und Ansprüche

Das Paper behauptet, dass der empirische Erfolg hybrider Modelle durch spezifische, theoretisch konsistente Mechanismen getrieben wird und nicht durch eine allgemeine „bessere“ Performance über alle Aufgaben hinweg.

Validierung der Expressivitäts-Theorie: Die Ergebnisse stehen im Einklang mit der Expressivitäts-Theorie. Rekurrente Schichten verbessern Vorhersagen, die den semantischen Zustand eines Dokuments nutzen (z. B. Verfolgung von Entitäten, Rollen oder Programmvariablen), während Attention-Mechanismen überlegen bleiben bei Aufgaben, die auf sichtbarem-Präfix-Retrieval (Kopieren) oder struktureller Schließung (Matching von Openern) beruhen.
Verfeinerung von State-Tracking-Benchmarks: Die Autoren argumentieren, dass bestehende Closed-World-State-Tracking-Benchmarks (wie das $A_5$ -Wortproblem) unzureichend sind, um zukünftige rekurrenten Schichten zu unterscheiden, da diese durch strukturierte lineare RNNs gelöst werden können. Sie schlagen Discourse-State-Tracking als ein anspruchsvolleres Ziel vor, bei dem der Zustand dynamisch mit neuen Entitäten und Relationen wächst, was die Anforderungen von natürlicher Sprache und Code besser widerspiegelt.
Diagnosewerkzeug für die Architektursuche: Das Paper schlägt vor, dass gefilterte Token-Losses als hochsignifikantes Diagnosetool während des Pretrainings dienen. Durch die Dekomposition des aggregierten Loss in „zustandsbedingte“ und „Kopie-/Retrieval“-Komponenten können Forscher identifizieren, ob eine architektonische Änderung die Zustandsrepräsentation oder die Retrieval-Fähigkeiten verbessert, anstatt sich auf eine einzige aggregierte Perplexity-Zahl zu verlassen, die Trade-offs verschleiern kann.

Die Autoren kommen zu dem Schluss, dass Token-Level-Dekompositionen die Pretraining-Diagnostik schärfen, durch Aggregate verborgene Capability-Trade-offs offenlegen und das Design zukünftiger hybrider Architekturen leiten können.