🤖 machine learning

Dense Supervision Is Not Enough: The Readout Blind Spot in Looped Language Models

Diese Arbeit zeigt auf, dass eine dichte Per-Loop-Cross-Entropy-Supervision die Skalierung der Hidden-States in geloopten Sprachmodellen nicht kontrollieren kann, da skaleninvariante Readouts diese Variable vor dem Loss verbergen, was entweder skalen-sichtbare Readouts, explizite Norm-Penalties oder eine skalenentfernende Rekurrenz erforderlich macht, um unbegrenztes Normwachstum zu verhindern und die Perplexity zu verbessern.

Ursprüngliche Autoren: Rituraj Sharma, Tu Vu

Veröffentlicht 2026-06-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Rituraj Sharma, Tu Vu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, eine Geschichte zu erzählen, Wort für Wort. Bei einem Standardroboter geben Sie ihm eine feste Anzahl von Schritten zum Nachdenken, bevor er spricht. Aber in einem Looped Language Model geben Sie dem Roboter eine spezielle „Denkschleife“. Er kann einen Schritt machen, seine Arbeit überprüfen und, wenn er sich nicht sicher ist, zur selben Stelle zurückkehren und denselben Schritt noch einmal durchdenken. Je komplexer der Satz, desto mehr Schleifen durchläuft er.

Das Problem, das dieses Paper löst, ist wie ein blinder Fleck in der Wahrnehmung des Roboters.

Das Setup: Das „Ausgabefenster“ vs. der „Rucksack“

Jedes Mal, wenn der Roboter eine Schleife durchläuft, hat er zwei Aufgaben:

Das Ausgabefenster: Er betrachtet seine aktuellen Gedanken und versucht, das nächste Wort zu erraten (das ist das, wofür wir ihn bewerten).
Der Rucksack: Er nimmt diese Gedanken, packt sie in einen Rucksack und trägt sie in die nächste Schleife mit, um beim zukünftigen Denken zu helfen.

Das Paper stellt eine einfache Frage: Wenn wir den Roboter anhand seines „Ausgabefensters“ bewerten, kontrollieren wir damit tatsächlich dessen Inhalt im „Rucksack“?

Das Problem: Der unsichtbare Rucksack

Die Forscher haben einen hinterlistigen Trick entdeckt, den der Roboter anwendet.

Stellen Sie sich vor, die Gedanken des Roboters sind ein Ballon. Das „Ausgabefenster“ verwendet einen speziellen Filter (genannt RMSNorm oder LayerNorm), der auf die Form des Ballons achtet, aber die Größe ignoriert.

Wenn der Ballon winzig ist, sieht der Filter eine bestimmte Form.
Wenn Sie den Ballon auf die Größe eines Hauses aufblasen, sieht der Filter immer noch exakt dieselbe Form.

Da der Filter die Größe ignoriert, ist dem Lehrer (der Loss-Funktion) es egal, ob der Ballon riesig wird. Der Roboter erhält eine perfekte Note für das Erraten des Wortes, selbst wenn sein interner „Rucksack“ in einer gefährlichen Größe anschwillt.

Der blinde Fleck: Der Lehrer bewertet den Roboter anhand der Form seiner Gedanken, aber der Roboter lässt die Größe seiner Gedanken heimlich explodieren. Der Lehrer kann die Explosion nicht sehen, weil das Bewertungsfenster sie herausfiltert.

Die Konsequenz: Der „driftende“ Roboter

Weil der Lehrer die Größenzunahme nicht sieht, beginnt der interne Zustand des Roboters (der Rucksack) zu driften.

Das Ergebnis: Nach nur wenigen Schleifen werden die internen Zahlen des Roboters astronomisch groß (tausende oder zehntausende).
Die Gefahr: Obwohl der Roboter am Ende immer noch Wörter korrekt erraten kann, ist er instabil geworden. Wenn man versucht, ihn frühzeitig zu stoppen (nach nur einer Schleife), um Zeit zu sparen, versagt er kläglich, weil sein interner Zustand so chaotisch und riesig ist, dass er bei den frühen Schritten keinen Sinn ergeben kann.

Es ist wie ein Auto, das bei 100 km/h gut fährt, aber dessen Tank langsam mit Wasser vollläuft. Das Tachometer (die Ausgabe) sieht gut aus, aber der Motor (der interne Zustand) ertrinkt.

Die Lösung: Zwei Wege, den blinden Fleck zu beheben

Das Paper schlägt vor, dass es nicht ausreicht, den Roboter einfach nur „härter zu bewerten“; man muss ändern, wie man ihn betrachtet. Man muss den blinden Fleck auf eine der zwei folgenden Arten beheben:

Option 1: Den Filter entfernen (Die „rohe“ Sicht)
Anstatt einen Filter zu verwenden, der die Größe ignoriert, betrachtet man einfach den rohen Ballon.

Wie es funktioniert: Man bewertet den Roboter anhand der tatsächlichen Größe seiner Gedanken. Jetzt sieht der Lehrer es sofort, wenn der Ballon zu groß wird, und sagt dem Roboter, er soll ihn schrumpfen.
Die Analogie: Man hört auf, einen „nur-Form“-Spiegel zu benutzen, und verwendet stattdessen einen „Vollgrößen“-Spiegel. Der Robot lernt, seine Gedanken auf ein handhabbares Maß zu halten.

Option 2: Den Rucksack zwischen den Schleifen leeren (Der „Reset“)
Wenn man den Filter behalten muss, muss man verhindern, dass die Größe übergeht.

Wie es funktioniert: Nach jeder Schleife nimmt man den Rucksack, leert ihn aus und beginnt frisch mit einem normal großen Beutel für die nächste Schleife.
Die Analoge: Man sagt dem Roboter: „Bevor du wieder nachdenkst, atme tief durch und setze dein internes Volumen zurück.“ Dies verhindert, dass die Größe kumuliert.

Das Wichtigste in Kürze

Das Paper beweist, dass es nicht ausreicht, den Roboter einfach bei jedem Schritt zu bewerten. Wenn die Art und Weise, wie Sie ihn bewerten (der „Readout“), die Größe seiner Gedanken verbirgt, wird der Roboter zulassen, dass seine Gedanken außer Kontrolle geraten.

Um einen stabilen, effizienten Looped-Roboter zu bauen, der bei einfachen Aufgaben frühzeitig aufhören kann, müssen Sie entweder:

Die Größe sichtbar machen für den Lehrer (damit der Lehrer große Ballons bestrafen kann).
Die Größe komplett aus der Schleife entfernen (damit sie gar nicht erst wachsen kann).

Ohne eine dieser Korrekturen wird der Roboter am Ende zwar funktionieren, aber er wird instabil, unzuverlässig und unfähig sein, seine „Early Exit“-Superkraft zu nutzen.

Technisches Resümee: Dichte Supervision reicht nicht aus: Der Readout-Blind Spot in geloopten Sprachmodellen

1. Problemstellung

Geloopte Sprachmodelle (LLMs) verwenden denselben Transformer-Block rekurrent über die Tiefe, wodurch die Testzeit-Tiefe als dynamischer Rechenknopf fungieren kann (z. B. vorzeitiges Stoppen für einfache Vorhersagen). In dieser Architektur dient ein Hidden State $H_k$ einer dualen Rolle: Er wird für die Vorhersage dekodiert (die „Readout“-Schnittstelle) und dient gleichzeitig als Input für zukünftige Berechnungen (der „rekurrente“ Zustand).

Das zentrale identifizierte Problem ist eine Sichtbarkeits–Aktivitäts-Diskrepanz (visibility–activity mismatch). Während dichte Supervision (Anwendung des Cross-Entropy-Loss bei jedem Loop) sicherstellt, dass die Zwischenzustände für Vorhersagen nutzbar sind, kontrolliert sie nicht zwangsläufig alle Variablen, die innerhalb des rekurrenten Übergangs aktiv sind. Speziell untersucht das Paper die Skalierung des Hidden State (die radiale Magnitude des Hidden-Vektors).

In Standard-Pre-Norm-Residual-Loops mit skaleninvarianten Readouts (z. B. RMSNorm oder LayerNorm) normalisiert der Readout den Hidden State, wodurch der unmittelbare Cross-Entropy-Loss gegenüber der radialen Skala des Inputs unempfindlich wird. Der rekurrente Pfad (die Skip-Connection und der Residual-Update) führt jedoch die Skala fort und aktualisiert diese weiter. Folglich kann das Modell in jedem Loop trainiert werden, während die Normen des Hidden State unkontrolliert auf Tausende oder Zehntausende ansteigen, was den „Readout Blind Spot“ zu einem Ausfallmodus macht, bei dem dichte Supervision versagt, aktive rekurrente Variablen zu kontrollieren.

2. Methodik und Mechanismus

Theoretischer Mechanismus

Die Autoren formalisieren den Ausfallmodus durch zwei Lemmata:

Visibility Lemma: Wenn ein Readout $r$ skaleninvariant ist (d. h. $r(\alpha H) = r(H)$ für $\alpha > 0$ ), ist die radiale Ableitung des unmittelbaren Cross-Entropy-Loss $L$ näherungsweise Null ( $\langle \nabla_H L, H \rangle \approx 0$ ). Der Loss kann die Skala des Hidden State weder „sehen“ noch korrigieren.
Activity Lemma: In Pre-Norm-Residual-Updates ist die Skala aktiv. Die Update-Funktion $F(su) = su + b(u)$ (wobei $s$ die Skala und $u$ die Richtung ist) erlaubt es dem Residual-Zweig $b(u)$ , die Skala in der führenden Ordnung zu aktualisieren. Selbst wenn der Readout die Skala verbirgt, bewahrt die Rekurrenz und verstärkt sie potenziell.

Dies erzeugt ein lokales Missverhältnis: Das Loss-Signal kann der gelernten radialen Geschwindigkeit des rekurrenten Updates nicht entgegenwirken, was zu Skalen-Drift führt.

Experimentelles Setup

Die Autoren trainierten autoregressive geloopte Transformer auf dem WikiText-103 Datensatz mit $K=4$ rekurrenten Anwendungen eines geteilten Decoder-Stacks. Sie verwendeten zwei Modellgrößen: 44M und 129M Parameter.

Kern-Ablation: Ein $2 \times 2$ Design, das Loss-Platzierung (Terminal-only CE vs. Per-loop CE) und Readout-Typ (Normalisierter RMSNorm vs. Raw/Unnormalisiert) kreuzt.
Kontrollen:
- Norm-Penalty: Hinzufügen eines expliziten Hilfs-Loss-Terms $\lambda \sum \|H_k\|^2$ , um die Skala sichtbar zu machen, ohne den Readout zu ändern.
- Final-only Norm: Verwendung von Raw-Readouts für Zwischen-Loops, aber einem normalisierten Readout für den finalen Output.
- Recurrent Scale Clamp: Manuelle Reskalierung der Hidden States auf ihre ursprüngliche Loop-1 Magnitude, um zu testen, ob das akkumulierte Skalenwachstum prädiktiv ist.
Evaluierung: Messung der finalen Hidden-State-Normen, Perplexität (PPL) und der „Compute-Quality Frontier“ (PPL vs. Durchsatz) bei variabler Inferenz-Tiefe ( $K=1$ bis $K=4$ ).

3. Zentrale Beiträge

Identifikation des Readout Blind Spot: Das Paper definiert einen spezifischen Ausfallmodus, bei dem dichte Cross-Entropy-Supervision zwar die Vorhersage-Interfaces trainiert, aber keine aktiven rekurrenten Variablen (speziell die Skala) kontrolliert, wenn diese Variablen durch skaleninvariante Readouts verborgen werden.
Validierung des Mechanismus: Durch Ablationen und Diagnosen zeigen die Autoren:
- Per-loop CE mit normalisierten Readouts führt zu massivem Norm-Drift (z. B. Normen von über 39.000 im 44M Modell).
- Raw-Readouts oder explizite Norm-Penalties drücken diese Normen in den Bereich von Zehnern, selbst bei Per-loop CE.
- Der Drift ist token-basiert und heavy-tailed, nicht nur eine Verschiebung des Mittelwerts.
Design-Regel: Die Autoren schlagen eine einfache Design-Regel vor: Rekurrente Skalenkontrolle erfordert entweder, die Skala des Hidden State für einen Loss sichtbar zu machen (via Raw-Readouts oder Norm-Penalties), oder sie aus dem rekurrenten Pfad zu entfernen (via Inter-Loop-Normalisierung). Dichte CE allein ist unzureichend.
Variabler-Tiefe-Performance: Skalen-kontrollierte Modelle (unter Verwendung von Raw-Readouts oder Norm-Penalties) behalten nutzbare Early Exits bei und erzielen gleichzeitig eine niedrigere Perplexität bei gleicher Inferenz-Tiefe im Vergleich zu skaleninvarianten Baselines. Die Baselines zeigen oft eine „K-Invarianz“ (die Performance verbessert sich mit mehr Loops nicht), da der Skalen-Drift die winkelbasierten Updates ( $1/s_k$ ) schrumpfen lässt und somit den normalisierten Zustand effektiv einfriert.

4. Ergebnisse

Norm-Drift: In 44M und 129M Modellen mit Per-loop CE und RMSNorm-Readouts driften die finalen Hidden-State-Normen auf 39.207 bzw. 56.051. Im Gegensatz dazu halten Modelle mit Raw-Readouts oder Norm-Penalties die Normen im Bereich von 17–83.
Gradient-Diagnostik: Radiale Gradienten-Fraktionen für normalisierte Readouts lagen nahe Null ( $\sim 10^{-9}$ ), während Raw-Readouts eine signifikante radiale Sensitivität zeigten ( $\sim 10^{-2}$ ).
Perplexität und Tiefe:
- RMSNorm Baseline: Die Modelle waren nahezu K-invariant; ein Stopp bei $K=1$ lieferte eine ähnliche Perplexität wie $K=4$ . Dies resultierte in einem hohen scheinbaren Speedup, deutete aber auf eine mangelnde Nutzung der Tiefe hin.
- Skalen-kontrollierte Varianten: Diese Modelle zeigten eine signifikante Verbesserung der Perplexität mit zunehmender Tiefe ( $K=1$ bis $K=4$ ). Sie besetzten eine überlegene PPL-Durchsatz-Frontier und boten bei gleichem Durchsatz eine niedrigere Perplexität als die RMSNorm-Baseline.
Scale Clamp: Eine künstliche Begrenzung (Clamping) der Skala der trainierten Modelle führte zu vernachlässigbaren Änderungen der Cross-Entropy, was darauf hindeutet, dass das akkumulierte Skalenwachstum selbst nicht die primäre Quelle der prädiktiven Information ist, sondern ein Nebenprodukt der unkontrollierten Rekurrenz.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass der „Readout Blind Spot“ eine fundamentale architektonische Überlegung für geloopte und adaptive-Tiefe Modelle ist. Die Bedeutung liegt im Fokus-Shift: Es geht nicht nur darum, dichte Supervision anzuwenden, sondern sicherzustellen, dass das Supervision-Signal für die spezifischen Variablen, die in der Rekurrenz aktualisiert werden, sichtbar ist.

Praktische Implikation: Für Praktiker, die normalisierte Readouts verwenden, schlägt das Paper vor, einen expliziten Norm-Penalty als „Drop-in“-Baseline hinzuzufügen, um die Skala zu kontrollieren, ohne das Output-Interface zu verändern.
Theoretische Einsicht: Die Arbeit klärt, dass dichte Supervision das Interface (den Readout) trainiert, aber nicht automatisch die Zustandsdynamik (die Rekurrenz) reguliert, wenn das Interface die Magnitude des Zustands maskiert.
Einschränkung des Geltungsbereichs: Die Autoren merken bescheiden an, dass ihre Schlussfolgerungen auf spezifischen Einstellungen basieren (WikiText-103, 44M/129M Modelle, Teacher-Forcing-Evaluierung) und dass der Mechanismus lokal ist. Sie behaupten nicht, alle Stabilitätsprobleme in geloopten Modellen gelöst zu haben, sondern adressieren spezifisch die unterbestimmte Natur der Skala in skaleninvarianten Readout-Loops.

Das Paper schließt mit dem Fazit, dass adaptive-Tiefe geloopte Modelle sowohl trainierte Exits (via Per-loop Loss) als auch einen Mechanismus zur Kontrolle der aktiven rekurrenten Skala (via Sichtbarkeit oder Entfernung) erfordern, und dass dies orthogonale Design-Anforderungen sind.