💬 NLP

From Growing to Looping: A Unified View of Iterative Computation in LLMs

Die Arbeit zeigt, dass das Wiederverwenden von Schichten (Looping) und das schrittweise Vertiefen von Modellen (Depth Growing) mechanisch auf einer gemeinsamen Form iterativer Berechnung basieren, die sich durch komplementäre und kombinierbare Vorteile für die reasoning-Fähigkeit von LLMs auszeichnet.

Ursprüngliche Autoren: Ferdinand Kapl, Emmanouil Angelis, Kaitlin Maile, Johannes von Oswald, Stefan Bauer

Veröffentlicht 2026-02-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ferdinand Kapl, Emmanouil Angelis, Kaitlin Maile, Johannes von Oswald, Stefan Bauer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Rätsel: Wie machen KI-Modelle besser nachdenklich?

Stell dir vor, du möchtest jemanden beibringen, komplexe Matheaufgaben zu lösen oder logische Rätsel zu knacken. Du hast zwei Möglichkeiten, wie du diese Person (das KI-Modell) trainierst:

Der "Turm-Bauer" (Wachsende Modelle): Du baust einen Turm aus Legosteinen. Aber statt jeden Stein einzeln zu suchen, nimmst du einen fertigen Block aus der Mitte des Turms, kopierst ihn und klebst ihn wieder ein. Du machst das immer wieder, bis der Turm hoch genug ist. Das spart Zeit beim Bauen (weniger Rechenleistung beim Training).
Der "Schleifen-Läufer" (Looping-Modelle): Du hast einen kleinen, sehr schnellen Läufer. Anstatt einen riesigen Marathon mit 100 verschiedenen Läufern zu organisieren, lässt du denselben Läufer immer wieder über die gleiche Strecke rennen. Er läuft die Strecke 10-mal hintereinander. Das spart Platz (weniger einzigartige Bausteine), kostet aber mehr Zeit beim Laufen (mehr Rechenleistung beim Ausführen).

Bisher war unklar: Machen beide Methoden das Gleiche? Warum werden beide plötzlich so gut im Nachdenken?

Die Entdeckung: Es ist im Grunde dasselbe

Die Forscher haben herausgefunden, dass diese beiden scheinbar unterschiedlichen Methoden denselben inneren Mechanismus nutzen.

Stell dir vor, das "Nachdenken" in einer KI passiert Schicht für Schicht (wie Stockwerke in einem Gebäude).

Bei normalen Modellen passiert das Wichtigste oft schon in den unteren Stockwerken, und die oberen Stockwerke machen nur noch kleine Korrekturen.
Bei den wachsenden und den schleifenförmigen Modellen passiert etwas Spannendes: Die unteren Stockwerke bereiten den Boden vor, aber die echte Magie (das komplexe Nachdenken) findet in den oberen Stockwerken statt.

Es ist, als würden beide Methoden eine Schleife im Kopf erzeugen. Das Modell denkt einen Gedanken durch, schaut ihn sich an, denkt ihn nochmal durch, korrigiert sich und denkt ihn nochmal durch. Diese "Wiederholung" ist der Schlüssel zum Erfolg.

Die genialen Tricks der Forscher

Die Studie zeigt nicht nur, dass es funktioniert, sondern wie man es am besten kombiniert:

1. "Erst bauen, dann schleifen" (Grow first, loop later)
Das ist der coolste Teil. Die Forscher haben ein Modell gebaut, das wie der "Turm-Bauer" trainiert wurde (es hat also viele Schichten, die wie Kopien aussehen). Dann haben sie gesagt: "Hey, lass uns diesen mittleren Teil einfach nochmal durchlaufen lassen, bevor wir die Antwort geben."

Das Ergebnis: Das Modell wurde bis zu doppelt so gut im Lösen von Rätseln, obwohl es nie dafür trainiert wurde, sich zu wiederholen! Es war, als hätte man einem Schüler, der gerade gelernt hat, wie man eine Aufgabe löst, erlaubt, die Lösung nochmal im Kopf durchzugehen, bevor er sie aufschreibt.

2. Die richtige Mischung macht's
Wenn man diese Modelle mit hochwertigen Matheaufgaben füttert (statt nur mit allgemeinen Texten), explodiert ihre Intelligenz. Besonders die "wachsenden" Modelle profitieren enorm davon. Es ist wie ein Sportler, der nicht nur viel trainiert, sondern die richtigen Übungen macht.

3. Anpassungsfähigkeit
Wenn man diesen Modellen neue Beispiele zeigt (ohne sie neu zu trainieren), lernen sie schneller als normale Modelle. Sie sind wie ein Team, das besser zusammenarbeitet, weil sie den Rhythmus der Wiederholung kennen.

Warum ist das wichtig für uns?

Bisher dachte man, um eine KI schlauer zu machen, müsse man sie riesig machen (mehr Parameter, mehr Daten). Das ist teuer und langsam.

Diese Forschung zeigt einen neuen Weg:

Man kann kleinere Modelle bauen, die aber durch Wiederholung (Schleifen) tiefgründiger nachdenken.
Man kann Modelle schneller trainieren, indem man sie "wachsen" lässt.
Und das Beste: Man kann diese Techniken kombinieren. Man baut das Modell erst auf und lässt es dann beim Lösen von Aufgaben "nachdenken" (schleifen).

Zusammenfassung in einem Satz

Statt immer größere und schwerere KI-Modelle zu bauen, lernen wir ihnen jetzt, tiefer nachzudenken, indem wir ihnen erlauben, ihre Gedanken in einer Schleife zu wiederholen – ähnlich wie ein Mensch, der eine schwierige Aufgabe erst einmal durchdenkt, bevor er sie löst. Und das funktioniert am besten, wenn man das Modell erst wachsen lässt und ihm dann die Möglichkeit gibt, diese Wiederholung beim Lösen der Aufgabe zu nutzen.

1. Problemstellung

Die Leistungsfähigkeit von Large Language Models (LLMs) wird traditionell durch das gleichzeitige Skalieren von Parametern und Daten verbessert. Allerdings skalieren Schlussfolgerungsfähigkeiten (Reasoning) oft nicht linear mit der Parameteranzahl.
Zwei etablierte Ansätze zur Verbesserung des Reasonings sind:

Looping (Schleifen/Rekursion): Wiederholte Anwendung desselben Layer-Blocks (Gewichtsbindung), um die Recheniefe zu erhöhen, ohne die Anzahl der einzigartigen Parameter zu vergrößern (z. B. Universal Transformers).
Depth Growing (Tiefenwachstum): Das schrittweise Training eines Modells, indem mittlere Schichten dupliziert werden, um ein tieferes Modell zu erhalten, was die Trainingskosten senken soll.

Bisher war unklar, ob diese beiden Ansätze, die auf den ersten Blick unterschiedliche Mechanismen nutzen (explizite Gewichtsbindung vs. initiale Schichtduplizierung), auf demselben zugrundeliegenden Prinzip beruhen und ob sie synergistisch kombiniert werden können.

2. Methodik

Die Autoren führen eine umfassende empirische und mechanistische Analyse durch, um die Beziehung zwischen „Looping" und „Depth Growing" zu untersuchen.

Modellarchitekturen:
- Standard-Baselines: Transformer mit unabhängigen Gewichten pro Schicht.
- Looped Models: Modelle, bei denen ein Block von $L$ einzigartigen Schichten $k$ -mal wiederholt wird (z. B. Loop(4x6) für eine effektive Tiefe von 24). Es werden auch hybride Designs getestet, bei denen nur der mittlere Block geloopt wird, während Encoder/Decoder einzigartig bleiben (Loop(4-4x4-4)).
- Depth-Grown Models: Modelle, die durch das Duplizieren mittlerer Blöcke während des Trainings wachsen (basierend auf den Architekturen MIDAS und LIDAS).
- Größen: Experimente wurden mit 360M und 1,7 Milliarden Parametern durchgeführt.
Benchmarks:
- Evaluation über 22 Aufgaben, darunter geschlossene/öffentliche Q&A, Textvervollständigung, Mathematik-Wortprobleme und spezifische Reasoning Primitives (z. B. Variablenzuweisungen, Kopieren von Wörtern).
- Analyse von Trade-offs: Einzigartige Parameter, Inferenz-FLOPs und Trainings-FLOPs.
Mechanistische Diagnostik:
- Depth-Utilization: Nutzung von „Depth Scores", „Tuned Lens" (früher Exit) und Top-5-Vokabular-Überlappung, um zu messen, wie stark späte Schichten zur Ausgabe beitragen.
- Residual Stream Analyse: Untersuchung der Normen und Beiträge von Attention/MLP-Subschichten.
- Interventionen: Experimente zum Austauschen von Schichten (Layer Swapping) und zum Entfernen von Schichtbeiträgen, um die Robustheit und Abhängigkeiten zu testen.
- Inference-Time Scaling: Testen, ob depth-grown Modelle bei der Inferenz durch das manuelle Wiederholen eines mittleren Blocks (ohne erneutes Training) profitieren.

3. Wichtige Beiträge

Mechanistische Vereinheitlichung:
Die Studie zeigt, dass geloopte und depth-grown Modelle konvergente tiefenabhängige Signaturen aufweisen. Beide Ansätze verlagern unverzichtbare Berechnungen in spätere Schichten und erzeugen periodische Muster in den Residual-Updates, die mit der Größe des geloopten/gewachsenen Blocks übereinstimmen. Dies deutet darauf hin, dass beide Methoden eine gemeinsame Form der iterativen Berechnung induzieren.
Trade-off-Analyse:
- Looped Models: Verbessern das Reasoning bei festen Parameterbudgets und sind bei festen Inferenzbudgets wettbewerbsfähig.
- Depth-Grown Models: Erreichen ähnliche oder bessere Reasoning-Ergebnisse mit deutlich weniger Trainings-Rechenleistung (da das Training schrittweise mit weniger Schichten beginnt).
Robustheit und Design-Prinzipien:
Vollständig geloopte Modelle sind empfindlicher gegenüber der Reihenfolge der Schichten als depth-grown Modelle. Die Einführung einzigartiger Encoder- und Decoder-Schichten in geloopte Modelle (Loop(4-4x4-4)) stellt die Robustheit von depth-grown Modellen wieder her. Dies legt ein praktisches Designprinzip nahe: Rekursion im mittleren Netzteil, während die Ränder einzigartig bleiben.
Komposabilität („Grow first, loop later"):
Ein zentrales Ergebnis ist, dass depth-grown Modelle, die nie für Looping trainiert wurden, bei der Inferenz durch das Wiederholen eines mittleren Blocks (Inference-Time Looping) signifikante Verbesserungen erzielen (bis zu 2x auf Reasoning-Primitives). Dies funktioniert besonders gut, wenn das Modell zuvor mit hochwertigen mathematischen Daten (Cooldown) nachtrainiert wurde.
Anpassungsfähigkeit:
Sowohl geloopte als auch depth-grown Modelle passen sich effizienter an Few-Shot-Learning und Supervised Fine-Tuning an als Standard-Baselines. Depth-grown Modelle profitieren am stärksten von hochwertigen, mathematisch fokussierten Cooldown-Datensätzen.

4. Ergebnisse

Reasoning-Leistung: Geloopte und depth-grown Modelle übertreffen Standard-Baselines signifikant in Reasoning-Aufgaben (z. B. Mathematik, logische Schlussfolgerungen), oft bei gleicher oder geringerer Rechenlast.
Tiefen-Nutzung: Beide Architekturen nutzen späte Schichten effektiver. Bei Baselines stagniert die Leistung früher (früher Exit), während geloopte/gewachsene Modelle ihre Vorhersagen bis in die tiefsten Schichten hinein verfeinern.
Periodizität: Die Analyse der Residual-Ströme zeigt klare 4-Schicht-Zyklen in geloopten und gewachsenen Modellen, die mit der Blockgröße übereinstimmen.
Inference-Time Looping: Das manuelle Wiederholen eines Blocks in depth-grown Modellen (LIDAS) führt zu drastischen Genauigkeitssteigerungen, ohne dass das Modell jemals für Rekursion trainiert wurde.
Co-Adaptation: Die Kombination aus Depth-Growing, hochwertigem mathematischem Cooldown und nachträglichem Looping (Retrofitting) erzeugt die stärksten Reasoning-Ergebnisse unter gleichen Daten- und Inferenzbedingungen.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen theoretischen und praktischen Durchbruch, indem es zeigt, dass Depth Growing und Looping keine konkurrierenden, sondern komplementäre Methoden sind, die auf demselben Prinzip der iterativen Berechnung basieren.

Theoretische Implikation: Es wird ein einheitliches Bild der iterativen Berechnung in LLMs gezeichnet, das zeigt, dass die Wiederholung von Berechnungsschritten (entweder durch Gewichtsbindung oder strukturelle Duplizierung) entscheidend für die Verbesserung von Reasoning-Fähigkeiten ist.
Praktische Implikation: Die Autoren schlagen eine neue Strategie vor: „Grow first, loop later". Man trainiert ein Modell durch schrittweises Wachstum (kosteneffizient), nutzt hochwertige mathematische Daten für das Fein-Tuning und aktiviert dann bei der Inferenz das Looping eines mittleren Blocks. Dies ermöglicht eine Skalierung der Reasoning-Fähigkeiten, ohne die Trainingskosten für extrem tiefe Modelle oder die Inferenzkosten für massive Parameterzahlen proportional zu erhöhen.

Zusammenfassend positionieren die Autoren diese Techniken als praktische Wege, um iterative Berechnung zu induzieren und zu skalieren, um die Reasoning-Grenzen aktueller LLMs zu überwinden.