💻 computer science

SamatNext v0.2-B: An Exploratory Study of RMS-Normalized Hybrid Decoders for Curriculum Retention in Small Code Models

Dieser technische Bericht stellt SamatNext v0.2-B vor, einen hybriden 356M-Parameter-Decoder, der durch das Abwechseln von Differential-Attention- und DeltaNet-inspirierten Layern die Curriculum-Retention in kleinen Code-Modellen im Vergleich zu Standard-Transformern signifikant verbessert, wenngleich er das Problem des katastrophalen Vergessens über lange Horizonte nicht vollständig löst.

Ursprüngliche Autoren: Samat Zharassov

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Samat Zharassov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, Computer-Code zu schreiben. Sie möchten, dass er in Schritten lernt: zuerst die grundlegenden Grammatikregeln (Syntax); zweitens, wie man Anweisungen versteht (Semantik); und schließlich, wie man komplexe, spezialisierte Rätsel löst.

Das Problem mit Standard-Robotern (KI-Modellen) ist, dass sie unter „katastrophalem Vergessen“ leiden. Es ist wie ein Schüler, der so hart für eine Abschlussprüfung lernt, dass er völlig vergisst, wie man seine Schuhe bindet oder zwei Zahlen addiert. Sob️ald er das neue, schwere Zeug lernt, wird das alte Zeug aus seinem Gehirn gelöscht.

Dieses Paper stellt einen neuen Roboter namens SamatNext v0.2-B vor und fragt: Können wir einen Roboter bauen, der neue Dinge lernt, ohne die alten Dinge zu löschen?

Die zwei Roboter im Rennen

Der Autor verglich zwei Roboter, die beide die exakt gleiche „Gehirngröße“ (356 Millionen Parameter) haben:

Der Standard-Roboter (Transformer): Dies ist das übliche KI-Design. Es ist leistungsstark, neigt aber dazu, seine alten Erinnerungen zu überschreiben, wenn es neue Aufgaben lernt.
Der Hybrid-Roboter (SamatNext): Dies ist das experimentelle Design. Sein Gehirn ist eine Mischung aus zwei verschiedenen Arten von Denk-Schichten:
- Die „Attention“-Schicht: Wie ein Scheinwerfer, der auf alle Wörter in einem Satz blickt, um den Kontext zu verstehen.
- Die „State“-Schicht: Wie ein Notizblock, der eine fortlaufende Zusammenfassung der Informationen führt, während er liest, anstatt alles von vorne zu lesen.

Der Autor mischte diese beiden Arten von Schichten zusammen, wechselte sie ab wie in einem Sandwich (Attention, State, Attention, State) und fügte einen speziellen „Kalibrierungs-Knopf“ hinzu, um die Signale im Gleichgewicht zu halten.

Der Test: Ein gestufter Lehrplan

Die Roboter wurden in einer bestimmten Reihenfolge trainiert:

Stufe 1 & 2: Lernen der grundlegenden Python-Syntax (die Grammatik).
Stufe 3: Lernen, Anweisungen zu befolgen und Bedeutung zu verstehen.
Stufe 5: Lernen spezialisierter, schwieriger Codieraufgaben.

Nach Abschluss von Stufe 5 testete der Autor sie auf das alte Zeug (Stufe 3 und 2), um zu sehen, was sie sich erinnerten.

Die Ergebnisse: Ein Märchen von zwei Erinnerungen

Der Standard-Roboter:

Neues Zeug: Er hatte Schwierigkeiten, die letzten schweren Aufgaben zu lernen (nur 4 {erfolg/erfolgreich} %). Als der Autor versuchte, ihn durch Änderung der Lerngeschwindigkeit zu „retten“, lernte er das neue Zeug schließlich (97 % Erfolg), aber vergaß völlig die mittlere Stufe. Er behielt nur 6 % seiner Fähigkeit, Anweisungen zu verstehen.
Altes Zeug: Er vergaß fast alles, was er vor der letzten Stufe gelernt hatte.

Der Hybrid-Roboter (SamatNext):

Neues Zeug: Er meisterte die letzten schweren Aufgaben perfekt (100 % Erfolg).
Altes Zeug: Er vergaß nicht! Er behielt 98,8 % seiner Fähigkeit, Anweisungen aus der mittleren Stufe zu verstehen.

Der Haken (Das „Syntax“-Problem):
Obwohl der Hybrid-Roboter großartig darin war, Anweisungen zu behalten, hatte er immer noch ein wenig Schwierigkeiten mit den ganz frühen, grundlegenden Grammatikregeln (Stufe 2). Er verbesserte sich von 0 % (Standard-Roboter) auf 12 %, war aber nicht perfekt. Dies deutet darauf an, dass das neue Design zwar hilft, jüngere Erinnerungen zu bewahren, aber das Problem, sehr alte Erinnerungen über einen sehr langen Zeitraum zu behalten, nicht vollständig löst.

Das Wichtigste in Kürze

Betrachten Sie den Standard-Roboter als einen Schwamm, der neues Wasser aufsaugt, aber das alte Wasser herauspresst, um Platz zu machen. Der Hybrid-Roboter ist wie ein Schwamm mit einer speziellen internen Struktur, die es ihm ermöglicht, das alte Wasser festzuhalten, während er das neue aufsaugt.

Was das Paper behauptet:

Dieses spezifische Hybrid-Design (Mischung aus Attention- und State-Schichten) schafft ein besseres Gleichgewicht zwischen dem Lernen neuer Dinge und dem Erinnern alter Dinge.
Es ist kein Allheilmittel, das alle Gedächtnisprobleme löst (es hat immer noch Schwierigkeiten mit sehr alter Syntax).
Es ist kein fertiges Produkt für die reale Welt; es ist eine „explorative Studie“, um zu sehen, ob diese spezifische Gehirn-Architektur in einem kontrollierten Labor besser funktioniert als die Standard-Architektur.

Der Autor sagt im Wesentlichen: „Wir haben ein neues Gehirn-Design ausprobiert. Es funktionierte viel besser als das alte Design beim Behalten von Zwischenerinnerungen beim Lernen neuer Aufgaben, aber es hat immer noch einige Lücken, wenn es um das Erinnern der allerersten Lektionen geht. Wir teilen unseren Code, damit andere dies verifizieren können.“

Technisches Resümee: SamatNext v0.2-B

Problemstellung

Das Paper adressiert das Problem des katastrophalen Vergessens (catastrophic forgetting) bei autoregressiven Transformer-Decodern, die einem sequenziellen Fine-Tuning auf sich verschiebenden Datenverteilungen (Curriculum Learning) unterzogen werden. In Standardarchitekturen führt die Optimierung für eine neue Aufgabenverteilung oft dazu, dass zuvor erworbene Kenntnisse überschrieben werden, insbesondere grundlegende Syntax und intermediäre semantische Konzepte. Während explizite Verfahren für kontinuierliches Lernen (z. B. Replay, EWC) existieren, untersucht diese Studie, ob Sequence-Mixer-Induktionsbiases allein den Tradeoff zwischen Retention und Plastizität verändern können, ohne dass solche externen Mechanismen erforderlich sind. Die Autoren nutzen die Codegenerierung als Forschungsplattform, da deren deterministische, exekutionsbasierte Evaluierungsmetriken eine präzise Messung der syntaktischen und semantischen Retention ermöglichen.

Methodik

Die Studie stellt SamatNext v0.2-B vor, einen experimentellen hybriden Sequence-Decoder mit 356 Millionen Parametern, der darauf ausgelegt ist, gegen einen Standard-Transformer-Baseline-Modell parameter-gematcht zu sein.

Architektur

SamatNext v0.2-B besteht aus 16 Decoder-Blöcken, die zwischen zwei distinkten Sequence-Mixing-Mechanismen alternieren:

Differential-Attention-ähnliche Layer (ungerade Indizes): Inspiriert von Differential Attention berechnen diese Layer zwei kausale Attention-Pfade unter Verwendung separater Query/Key-Projektionen. Der finale Output ist eine gewichtete Summe aus einem Basis-Attention-Pfad und einem differentiellen Pfad, skaliert durch einen lernbaren Parameter $\alpha$ (initialisiert auf 0.0). Rotary Position Embeddings (RoPE) werden auf beide Pfade angewendet.
DeltaNet-inspirierte Linear-State-Mixer (gerade Indizes): Diese Layer nutzen vereinfachte, rekursive lineare Zustandsmechanismen. Sie projizieren Inputs in nicht-negative Keys und Queries (via ReLU) sowie Values. Das Modell hält elementweise Zustands-Akkumulatoren ( $S_t$ und $K_t$ ) über die kumulativen Summen der Sequenz aufrecht. Der Output wird mittels elementweiser Division berechnet, gefolgt von einer RMS-Normalisierung und einem Output Scale Calibration Parameter ( $s=0.25$ ).

Beide Architekturen teilen eine SwiGLU-Feed-Forward-Struktur und RMS-Normalisierung. Die Transformer-Baseline verwendet Standard-Multi-Head-Attention (MHA), wobei die Anzahl der Parameter durch Anpassung der intermediären Dimension des Feed-Forward-Netzwerks an SamatNext angeglichen wurde.

Experimentelles Setup

Die Modelle wurden sequenziell durch ein strukturiertes Python-Curriculum trainiert:

Stage 2A: Syntax-Fundament (Kontrollfluss, Variablen).
Stage 3: Instruktions-Semantik (Paraphrasierung, Konzeptverständnis).
Stage 5: Spezialisierte kausale Coding-Aufgaben (finale Funktionsvervollständigung).
Evaluierung: Die Leistung wurde anhand von Stage 5 (aktuelle Fähigkeit), Stage 3 (angrenzende semantische Retention) und Stage 2E (frühehende adversarielle Syntax-Holdout) gemessen.

Das Training erfolgte mit AdamW und einem Cosine-Decay-Schedule. Der primäre Vergleich bestand zwischen einem Standard-Curriculum-Learning-Pfad (Lernrate $3 \times 10^{-6}$ ) und einem „Rescue“-Versuch für die Baseline unter Verwendung einer höheren Lernrate ( $1 \times 10^{-5}$ ).

Kernergebnisse

Die empirischen Ergebnisse, präsentiert in Tabelle 1 der Arbeit, verdeutlichen eine signifikante Divergenz in den Retention-Fähigkeiten:

Modell	Trainingspfad	Stage 5 Pass Rate	Stage 3 Retention	Stage 2E Pass Rate
Transformer	Curriculum ( $3 \times 10^{-6}$ )	49.4%	3.8%	0.0%
Transformer	Rescue ( $1 \times 10^{-5}$ )	97.6%	6.0%	3.0%
SamatNext v0.2-B	Curriculum ( $3 \times 10^{-6}$ )	100.0%	98.8%	12.0%

Retention/Plasticity Tradeoff: SamatNext v0.2-B erreichte eine perfekte Pass-Rate von 100.0% für die finale Stage-5-Aufgabe, während es 98.8% seiner semantischen Fähigkeiten aus Stage 3 beibehielt. Im Gegensatz dazu scheiterte die Transformer-Baseline entweder am Beherrschen von Stage 5 (49.4% Pass-Rate) oder erreichte bei erzwungenem Lernen via höherer Lernrate (97.6%) eine hohe Stage-5-Performance, litt jedoch unter nahezu totalem katastrophalen Vergessen von Stage 3 (6.0% Retention).
Long-Horizon Syntax: Beide Modelle zeigten eine schwache Retention auf dem frühen adversariellen Syntax-Datensatz (Stage 2E). Während SamatNext diesen Wert auf 12.0% verbesserte (im Vergleich zu 0.0–3.0% der Baseline), merken die Autoren an, dass dies weiterhin relativ niedrig ist, was darauf hindeutet, dass Sequence-Mixer-Biases allein das Problem des langfristigen Vergessens (long-horizon forgetting) nicht vollständig lösen.
Out-of-Distribution: Auf einem dekontaminierten HumanEval-Subset erreichte SamatNext eine Pass@1-Rate von 12.0% gegenüber 8.0% der Baseline, was auf einen leichten Vorteil in der allgemeinen Code-Kohärenz trotz der geringen Modellskala hindeutet.

Behauptungen und Bedeutung

Das Paper positioniert sich als sachlicher technischer Bericht und als explorative Studie und vermeidet explizit die Behauptung, das Problem des katastrophalen Vergessens gelöst zu haben oder ein neues State-of-the-Art-Codemodell etabliert zu haben.

Primäre Behauptung: Die hybride Architektur von SamatNext v0.2-B, insbesondere die Kombination aus Differential-Attention und DeltaNet-inspirierten Linear-State-Mixern mit Skalierungskalibrierung, verändert den Retention/Plasticity Tradeoff. Sie ermöglicht es dem Modell, sich an neue spezialisierte Aufgaben anzupassen und gleichzeitig angrenzende semantische Verteilungen signifikant besser zu bewahren als ein parameter-gematchter Standard-Transformer.
Mechanismus-Hypothese: Die Autoren vermuten, dass die feste Größe der Zustandsrepräsentation in den Linear-State-Mixern als Regularisierungs-Bottleneck fungiert, welches das vollständige Überschreiben von Feature-Mappings verhindert, wie es in Standard-Dense-Attention-Layern geschieht.
Anerkannte Limitationen:
- Die Studie löst nicht das breitere Problem des katastrophalen Vergessens über lange Trainingshorizonte hinweg (belegt durch die schwache Stage-2E-Retention).
- Das Curriculum ist synthetisch und auf Python beschränkt; die Ergebnisse lassen sich möglicherweise nicht auf großskaliges Pre-training oder komplexes Reasoning generalisieren.
- Es mangelt an Vergleichen mit dedizierten Algorithmen für kontinuierliches Lernen (z. B. EWC, Adapter) und vollständigen architektonischen Ablationen (z. B. homogene Mixer).
- Die Sensitivität der Lernrate von SamatNext wurde nicht vollständig untersucht, was die Generalisierbarkeit der Hyperparameter-Schlussfolgerungen einschränkt.

Zusammenfassend zeigt das Paper, dass spezifische Induktionsbiases im Sequence-Mixing die Stabilität des sequenziellen Fine-Tunings in kleinen Code-Modellen verbessern können, was eine vielversprechende Richtung für zukünftige Forschung zu kontinuierlichem Lernen ohne explizite Replay-Mechanismen darstellt.