🤖 machine learning

Critical Windows of Complexity Control: When Transformers Decide to Reason or Memorize

Diese Arbeit zeigt, dass die Fähigkeit eines Transformers, durch Schlussfolgern statt durch Auswendiglernen zu generalisieren, innerhalb eines scharfen, kritischen Trainingsfensters bestimmt wird, in dem der Zeitpunkt des Gewichtsabbaus und die Skalierung der Initialisierung entscheidend sind, was die Auffassung der Komplexitätskontrolle als statische Hyperparameterwahl in Frage stellt.

Ursprüngliche Autoren: Sarwan Ali

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sarwan Ali

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen sehr klugen, aber leicht verwirrten Schüler (eine Transformer-KI) darin, ein Rätsel zu lösen. Das Rätsel besteht darin, zwei einfache Regeln zu nehmen und sie zu einer neuen, komplexen Regel zu kombinieren.

Der Schüler hat zwei Möglichkeiten zu lernen:

Schlussfolgern: Er lernt tatsächlich die Logik, wie man die Regeln kombiniert. Dies ist der „gute" Weg. Er ermöglicht ihm, neue Rätsel zu lösen, die er noch nie gesehen hat.
Auswendiglernen: Er merkt sich einfach die spezifischen Antworten auf die exakten Rätsel, an denen er geübt hat. Dies ist der „schlechte" Weg. Wenn Sie ihm ein neues Rätsel geben, versagt er völlig.

Lange Zeit glaubten Forscher, der Schlüssel dazu, den Schüler zum „Schlussfolgern" statt zum „Auswendiglernen" zu bringen, bestehe einfach darin, eine bestimmte Einstellung namens Gewichtsabnahme (Weight Decay; denken Sie daran als einen sanften „Schubs" oder eine „Strafe", die verhindert, dass der Schüler zu selbstsicher oder starr wird) zu verwenden und mit kleinen Anfangsgewichten zu beginnen (den Schüler mit einem leeren, bescheidenen Geist zu starten). Der Rat lautete: „Stellen Sie diese Regler einmal am Anfang ein, und der Schüler wird lernen, zu schlussfolgern."

Diese Arbeit sagt: „Nicht so schnell. Der Zeitpunkt ist alles."

Die Forscher entdeckten, dass es nicht darauf ankommt, wie stark Sie den Schüler schubsen oder wann Sie mit einem kleinen Geist beginnen. Was zählt, ist genau wann Sie diesen Schubs während des Trainingsprozesses anwenden.

Hier ist die Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Das „kritische Fenster" (Die goldene Stunde)

Stellen Sie sich das Training des Schülers als einen 20-stündigen Film vor. Die Forscher fanden heraus, dass es ein sehr spezifisches, kurzes Zeitfenster gibt – ungefähr zwischen dem 25- und 75-Prozent-Markierungspunkt des Films –, in dem der Schüler sein Schicksal entscheidet.

Wenn Sie den „Schubs" (Gewichtsabnahme) während dieses Fensters anwenden: Der Schüler erwacht, erkennt, dass er die Logik lernen muss, und beginnt zu schlussfolgern. Er wird klug und flexibel.
Wenn Sie den Schubs vor diesem Fenster anwenden (die ersten 25 %): Es ist, als würde man versuchen, einem Baby beizubringen, ein Auto zu fahren. Der Schüler befindet sich zu früh in seiner Entwicklung. Der Schubs bewirkt absolut nichts. Er merkt sich einfach weiter die Dinge auswendig.
Wenn Sie den Schubs nach diesem Fenster anwenden (die letzten 25 %): Der Schüler hat sich bereits dazu entschlossen, auswendig zu lernen. Es ist zu spät, seine Meinung zu ändern. Der Schubs wird ignoriert.

Die schockierende Entdeckung: Sie können den Schubs nur für diese mittlere 25 % der Trainingszeit anwenden, und der Schüler performt genauso gut, als hätten Sie ihn die ganze Zeit geschubst. Aber wenn Sie ihn nur am Anfang schubsen, scheitert er.

2. Der „Klippen"-Rand

Die Forscher fanden heraus, dass der Beginn dieser „goldenen Stunde" unglaublich scharf ist. Es ist wie eine Klippe.

Wenn Sie den Schubs bei Schritt 0 beginnen, scheitert der Schüler.
Wenn Sie nur 100 Schritte warten (ein winziger Bruchteil einer Sekunde in Computerzeit) und den Schubs dann beginnen, springt der Schüler plötzlich vom Scheitern zum Erfolg.
Es ist keine sanfte Steigung; es ist ein Schalter. In einem Moment merkt er sich Dinge aus, im nächsten schließt er logische Schlüsse.

3. Der Mythos vom „bescheidenen Geist"

Der frühere Rat lautete: „Beginnen Sie mit einem sehr kleinen, bescheidenen Geist (kleine Initialisierung), um das Schlussfolgern zu erzwingen."
Die Arbeit sagt: Das ist tatsächlich riskant.

Wenn der Schüler zu bescheiden beginnt (sehr kleine Anfangsgewichte), verschiebt sich das Fenster der „goldenen Stunde", und der Schüler wird sehr zerbrechlich. Es ist wie ein Seiltänzer; ein kleiner Fehler im Samen (zufälliger Startpunkt), und er fällt herunter.
Die Forscher fanden heraus, dass ein mäßig großer startender Geist tatsächlich sicherer ist. Er bietet dem Schüler ein breiteres „Sicherheitsnetz" (Anziehungsbereich), um in die Zone des Schlussfolgerns zu landen.

4. Es ist keine universelle Regel

Die Forscher testeten dies an anderen Arten von Lernaufgaben, um zu sehen, ob diese Regel des „kritischen Fensters" überall gilt.

Modulare Arithmetik (Grokking): Bei dieser Aufgabe muss der Schüler von Anfang bis Ende ständig geschubst werden, um es schließlich herauszufinden. Das Fenster der „goldenen Stunde" existiert hier nicht.
SCAN-Aufgabe: Bei dieser Aufgabe ist der Schüler einfach zu dumm (oder die Architektur ist falsch), um jemals das Schlussfolgern zu lernen, egal wann Sie ihn schubsen.

Das große Ganze

Stellen Sie sich das Trainieren einer KI wie das Backen eines Kuchens vor.

Alte Sichtweise: „Fügen Sie am Anfang eine Prise Salz (Gewichtsabnahme) hinzu, und der Kuchen wird perfekt."
Neue Sichtweise: „Der Kuchen geht nur auf, wenn Sie das Salz genau dann hinzufügen, wenn die Hefe aktiv ist. Wenn Sie es hinzufügen, bevor die Hefe aufgewacht ist, oder nachdem sie tot ist, geht der Kuchen nicht auf. Und Sie müssen nicht ständig Salz hinzufügen; Sie müssen es nur in diesem einen kritischen Moment hinzufügen."

Kurz gesagt: Die Arbeit beweist, dass KI-Modelle für bestimmte Arten von logischen Rätseln nicht nur die richtigen Einstellungen benötigen; sie benötigen den richtigen Zeitpunkt. Es gibt einen spezifischen, engen Moment im Training, in dem das Modell entscheidet, ob es denken oder auswendig lernen soll, und wenn man diesen Moment auch nur um ein winziges Stück verpasst, wird es niemals lernen, logische Schlüsse zu ziehen.

Technische Zusammenfassung: Kritische Fenster der Komplexitätskontrolle in Transformern

Problemstellung

Die jüngste Literatur hat gezeigt, dass Transformer durch Kontrolle der Komplexität mittels kleiner Initialisierungsskalen ( $\gamma$ ) und Gewichtsabbauparameter ( $\lambda$ ) kompositionelle Generalisierung (Schlussfolgerung) statt Memorierung spezifischer Aufgaben erreichen können. Bestehende Analysen behandeln diese Hyperparameter jedoch als statische Entscheidungen und gehen davon aus, dass allein die Größe der Regularisierung den Verlauf des Modells bestimmt. Dieser Artikel untersucht eine kritische Lücke: Ob der Zeitpunkt der Komplexitätskontrolle von Bedeutung ist. Konkret wird gefragt, ob die Entscheidung zwischen Memorierungs- und Schlussfolgerungslösungen während des gesamten Trainings getroffen wird oder ob sie innerhalb eines spezifischen, identifizierbaren zeitlichen Fensters festgelegt wird.

Methodik

Die Autoren verwenden einen kontrollierten experimentellen Rahmen, der auf der Anchor-Funktion-Aufgabe (eingeführt von Zhang et al., 2025) basiert, bei der Modelle Permutationen von Ankersymbolen zusammensetzen müssen.

Architektur: Kleine 2-Schicht- und 4-Schicht-Pre-Norm-Transformer ( $d_{model}=64$ , 2 Köpfe).
Training: Vollständige Instrumentierung ermöglicht eine schrittweise Verfolgung der Out-of-Distribution (OOD)-Genauigkeit, Kondensationsindizes und Subraumausrichtungen.
Kernvariable: Die Autoren variieren systematisch die zeitliche Platzierung des Gewichtsabbaus ( $\lambda$ ), während das kumulative Regularisierungsbudget ( $\int \lambda(t) dt$ ) und die Initialisierungsskala ( $\gamma$ ) konstant gehalten werden.
Experimentelles Design: Sie testen „fensterbasierte" Pläne, bei denen Gewichtsabbau nur während bestimmter Intervalle (z. B. früh, Mitte, spät) des Trainings angewendet wird, und vergleichen diese mit Baselines für das gesamte Training und ohne Regularisierung.
Theoretische Analyse: Ein linearisiertes Zwei-Schicht-Aufmerksamkeitsmodell wird analysiert, um Ratengleichungen für „Memorierungs-Masse" und „Schlussfolgerungs-Masse" abzuleiten und eine Trennung ihrer Zeitskalen vorherzusagen.

Hauptbeiträge und Ergebnisse

1. Die Existenz eines kritischen Fensters

Das primäre empirische Ergebnis ist, dass das Schicksal eines Transformers (Schlussfolgerung vs. Memorierung) innerhalb eines scharfen, schmalen Trainingsfensters entschieden wird.

Wirksamkeit des Fensters: Die Anwendung von Gewichtsabbau für ein einzelnes 25%-Fenster des Trainings (spezifisch Schritte 2.500–17.500 in einem 20k-Schritte-Lauf) ergibt eine OOD-Genauigkeit (0,93), die mit der bei vollständigem Training mit Gewichtsabbau (0,91) vergleichbar ist.
Unwirksamkeit außerhalb des Fensters: Die Anwendung desselben Gewichtsabbau-Budgets vollständig vor diesem Fenster (Schritte 0–5.000) oder vollständig danach führt zu einer OOD-Genauigkeit auf Zufallsniveau (~0,15), die von keiner Regularisierung nicht zu unterscheiden ist.
Budget vs. Zeitpunkt: Wenn das gesamte Regularisierungsbudget konstant gehalten wird, führt die Platzierung in der Mitte des Trainings zu einer 5–9-fach höheren OOD-Genauigkeit als die Platzierung zu Beginn. Dies zeigt, dass wann Regularisierung angewendet wird, kritischer ist als wie viel angewendet wird.

2. Schärfe der zeitlichen Grenze

Der Übergang in das kritische Fenster ist bemerkenswert abrupt.

Eine Verschiebung des Fensterbeginns um nur 100 Optimierungsschritte lässt die mittlere OOD-Genauigkeit von Zufallsniveau (0,15) in den Schlussfolgerungsbereich (0,61) springen.
Nach 400 Schritten erreicht das System das Schlussfolgerungsplateau (0,93). Dies deutet auf ein verhaltensähnliches Phasenübergangsphänomen hin, bei dem die Fähigkeit des Modells, in Richtung Schlussfolgerung gelenkt zu werden, erst nach einer bestimmten Initialisierungsphase aktiv ist.

3. Initialisierungsskala und Beckenverkleinerung

Entgegen der vorherrschenden Empfehlung, dass eine kleinere Initialisierung für Schlussfolgerungen durchgängig besser sei, findet der Artikel eine nuancierte Beziehung:

Fensterposition: Das kritische Fenster verschiebt sich mit steigendem $\gamma$ nach vorne.
Anziehungsbereich: Bei sehr kleinen Initialisierungsskalen (z. B. $\gamma=0,5$ ) verkleinert sich der Anziehungsbereich für die Schlussfolgerungslösung erheblich. Bei 12-Lauf-Experimenten erreichten nur 8/12 Starts bei $\gamma=0,5$ eine OOD > 0,5, wohingegen 12/12 bei $\gamma=1,1$ erfolgreich waren.
Implikation: Eine moderate Initialisierung ( $\gamma \in [0,7, 1,1]$ ) bietet unter endlicher Trainingszeit einen breiteren Anziehungsbereich für Schlussfolgerungslösungen und stellt die Heuristik „je kleiner, desto besser" in Frage.

4. Aufgabenspezifität und Geltungsbereich

Das Phänomen ist nicht universell für alle verzögerten Generalisierungsaufgaben:

Grokking (Modulare Arithmetik): Das kritische Fenster erscheint nicht. Bei modularer Arithmetik erreicht eine korrekt abgestimmte konstante Gewichtsabbauregelung Grokking 5-mal schneller als zeitlich lokalisierte Pläne.
SCAN (add_prim_jump): Vanilla-2-Schicht-Transformer erreichen unter keinem Plan den Anziehungsbereich der kompositionellen Lösung vollständig, was darauf hindeutet, dass das Phänomen eine Verlustlandschaft erfordert, in der sowohl Memorierungs- als auch Schlussfolgerungsbasen erreichbar sind.

5. Theoretischer Mechanismus: Trennung zweier Zeitskalen

Die Autoren liefern eine theoretische Erklärung auf Basis eines linearisierten Modells, das zeigt, dass Memorierungs- und Schlussfolgerungsschaltungen unter qualitativ unterschiedlichen Ratengleichungen evolvierten:

Memorierungsrate: $\mu_m = \Theta(1)$ (unabhängig von $\gamma$ ).
Schlussfolgerungsrate: $\mu_r = \Theta(\gamma^2)$ .
Mechanismus: Da sich Schlussfolgerung bei kleinem $\gamma$ viel langsamer entwickelt als Memorierung, existiert ein Zeitintervall, in dem die Memorierung gesättigt ist, die Schlussfolgerung sich jedoch noch entwickelt. Gewichtsabbau, der während dieses Intervalls angewendet wird, unterdrückt selektiv den gesättigten Memorierungspfad, während der Schlussfolgerungspfad weiterwachsen kann. Gewichtsabbau, der vor diesem Intervall angewendet wird, kontrahiert beide Pfade proportional (kein Effekt auf das Verhältnis), und nach diesem Intervall angewendet, hat sich das Modell bereits für die Memorierung entschieden.

6. Robustheit

Tiefe: Das Phänomen persistiert in 4-Schicht-Modellen, obwohl das Schlussfolgerungsplateau niedriger ist und die Varianz zwischen den Starts höher ist, was mit der theoretischen Vorhersage einer Beckenverkleinerung bei zunehmender Parametervolumen konsistent ist.
Optimierer: Das Phänomen reproduziert sich unter Vanilla-SGD mit Momentum. Bemerkenswerterweise performt konstante Gewichtsabbauregelung unter SGD signifikant schlechter als fensterbasierte Pläne, während AdamW diesen Effekt teilweise durch adaptive Vorbedingung maskiert.

Bedeutung und Behauptungen

Der Artikel behauptet, eine bisher nicht berichtete zeitlich lokalisierte Phasenübergang in der kompositionellen Generalisierung zu charakterisieren. Seine Bedeutung liegt in:

Neudefinition der Komplexitätskontrolle: Es verschiebt das Paradigma von einer statischen Hyperparameter-Sicht zu einer dynamischen, zeitlichen. Das „Rezept" zur Induktion von Schlussfolgerung ist nicht nur „kleines $\gamma$ + Gewichtsabbau", sondern „kleines $\gamma$ + Gewichtsabbau, angewendet während des kritischen Fensters".
Korrektur vorheriger Empfehlungen: Es liefert eine Einschränkung zur Empfehlung minimaler Initialisierung und zeigt, dass moderate Initialisierung für die Stabilität (Beckenbreite) in Trainingsregimen endlicher Zeit überlegen sein kann.
Theoretische Übereinstimmung: Es bietet eine theoretische Erklärung mit zwei Zeitskalen, die Existenz, Position und Breite des kritischen Fensters sowie die beobachtete Beckenverkleinerung vorhersagt.
Definition des Geltungsbereichs: Es grenzt ein, dass dieser Mechanismus spezifisch auf Settings anwendbar ist, in denen das Modell sowohl auf Memorierungs- als auch auf Schlussfolgerungsbasen zugreifen kann, und unterscheidet ihn von anderen Generalisierungsphänomenen wie Grokking.

Die Autoren schließen, dass Komplexitätskontrolle fundamental ein zeitliches Phänomen ist und dass bestehende statische Rahmenwerke unvollständig sind, um zu erklären, wie Transformer zwischen Schlussfolgerungs- und Memorierungslösungen wählen.