🤖 machine learning

CART: Context-Anchored Recurrent Transformer -- A Parameter-Efficient Architecture with Learned Stability

Das Papier stellt CART vor, ein parametereffizientes Sprachmodell, das durch gelernte Stabilitätsmechanismen einen einzelnen Kernblock wiederverwendet, stellt jedoch fest, dass, während die Tiefe des Präambels die Leistung dominiert, die Architektur letztlich hinter parametergleichen dichten Baselines zurückbleibt und keine effektive Skalierung der Tiefe zur Testzeit unterstützt.

Ursprüngliche Autoren: Chad A. Capps

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chad A. Capps

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Ein „schleifendes“ Sprachmodell

Stellen Sie sich vor, Sie versuchen, eine Geschichte zu schreiben. Die Standardmethode, wie KI dies tut (ein sogenannter Transformer), ist wie die Einstellung eines Teams von 12 verschiedenen Redakteuren. Redakteur 1 liest den ersten Satz, Redakteur 2 liest, was Redakteur 1 geschrieben hat, Redakteur 3 liest, was Redakteur 2 geschrieben hat, und so weiter. Jeder Redakteur hat seinen eigenen einzigartigen Stil und seine eigenen Notizen. Das funktioniert gut, ist aber teuer, weil man für 12 verschiedene Personen bezahlen muss.

CART (Context-Anchored Recurrent Transformer) versucht einen anderen Ansatz. Es stellt nur einen einzigen Redakteur ein und bittet ihn, die Geschichte sechsmal (oder öfter) zu lesen.

Das Ziel: Die gleiche Schreibqualität zu erreichen, aber mit einem viel kleineren Team (weniger Parameter), um Geld und Speicherplatz zu sparen.
Der Haken: Wenn man dieselbe Person bittet, dasselbe sechsmal zu lesen, könnte sie sich einfach langweilen und dieselben Fehler wiederholen. Die Herausforderung besteht darin, diesen einzelnen Redakteur mit jedem Durchgang klüger werden zu lassen, ohne neue Leute einzustellen.

Wie CART funktioniert: Der „Anker“ und das „Gate“

CART nutzt drei spezielle Tricks, um dieses Schleifen (Looping) zum Laufen zu bringen:

Der „Anker“ (Die eingefrorene Karte):
- Standardmäßiges Looping: In anderen Looping-Modellen zeichnet der Redakteur jedes Mal, wenn er die Geschichte liest, die Karte neu, wo die wichtigen Wörter stehen. Das ist langsam und redundant.
- CARTs Weg: Bevor das Looping beginnt, liest ein kleines Team von „Vor-Redakteuren“ (genannt Prelude) die Geschichte einmal durch und zeichnet eine perfekte, detaillierte Karte der wichtigen Wörter. Diese Karte ist eingefroren.
- Die Schleife: Der einzelne Looping-Redakteur schaut sich dann jedes Mal, wenn er die Geschichte liest, dieselbe eingefrorene Karte an. Er zeichnet die Karte nicht neu; er nutzt sie lediglich als stabilen Anker, um sein Verständnis zu verfeinern. Das spart eine Menge Rechenleistung.
Das „Gate“ (Der Stabilitäts-Schalter):
- Das Problem: Wenn man jemanden bittet, immer wieder über dasselbe nachzudenken, kann er verwirrt werden oder anfangen zu halluzinieren (verrückt zu werden).
- CARTs Lösung: Es gibt ein „Gate“ (ein Tor), das steuert, wie viel vom vorherigen Gedanken der Redakteur behält. Es ist wie ein Lautstärkeregler. Wenn der Redakteur zu chaotisch wird, dreht das Gate die Lautstärke ein wenig leiser.
- Die Entdeckung: Das Paper fand heraus, dass dieses Gate lernt, sich auf einen ganz bestimmten „Sweet Spot“ einzupendeln (einen Wert zwischen 0,79 und 0,83). Dies wurde nicht von den Ingenieuren erzwungen; die KI hat diese spezifische Einstellung selbstständig gelernt, um stabil zu bleiben.
Der „Loop Index“ (Der Schrittzähler):
- Der Redakteur erhält einen Zähler (1, 2, 3...), damit er weiß, in welchem Durchgang er sich befindet. Dies hilft ihm zu wissen, ob er sich in der frühen Phase des Denkens oder beim letzten Feinschliff befindet.

Die Experimente: Was ist passiert?

Die Forscher testeten dies auf einer handelsüblichen Grafikkarte (wie einem High-End-Gaming-PC) unter Verwendung von zwei Trainingsstadien.

Stadium 1: Der Schnelle Test (Die „Ahnung“)

Sie trainierten viele kleine Versionen von CART sehr schnell.
Die Ahnung: Sie dachten, dass für größere, komplexere Modelle das Looping öfter (z. B. 8-mal statt 6-mal) viel besser wäre. Es sah nach dem Motto aus: „Mehr Schleifen = klügere KI“.

Stadium 2: Das Volle Training (Der „Realitätscheck“)

Sie trainierten die Modelle viel länger (unter Verwendung von etwa 1 Milliarde Wörtern Text).
Die Überraschung: Die Ahnung war falsch. Als sie die Modelle voll trainierten, wurde das Modell durch mehr Loops tatsächlich etwas schlechter oder zumindest nicht besser.
Die Analogie: Stellen Sie sich vor, ein Schüler liert ein Lehrbuchkapitel 10-mal. In einem schnellen Test sieht 10-maliges Lesen toll aus. Aber nachdem er ein ganzes Semester lang gelernt hat, stellt man fest, dass das 6-malige Lesen ausreicht. 8 oder 10 Mal zu lesen führt nur zu abnehmenden Grenzerträgen oder sogar zu Verwirrung. Das Modell lernte, dass „mehr Loops“ in diesem speziellen Setup nicht gleichbedeutend mit „mehr Intelligenz“ waren.

Das große Urteil: Hat es gewonnen?

Die Forscher verglichen ihr „Ein Redakteur, sechs Schleifen“-Modell mit einem Standard-Modell („Sechs verschiedene Redakteure“ – ein Dense Transformer), das über die gleiche Menge an Speicher verfügte.

Das Ergebnis: Das Standard-Modell (6 verschiedene Redakteure) besiegte das CART-Modell.
- Das Standard-Modell war etwa 10 % besser im Verständnis von Sprache.
- Selbst als sie dem Standard-Modell die gleiche „effektive“ Leistung gaben (indem sie es 12 Redakteure lang machten), dominierte es CART immer noch.

Warum hat CART verloren?
Die Forscher führten eine „Autopsie“ (diagnostische Ablationen) durch, um herauszufinden, warum:

Die eingefrorene Karte war nicht das Problem: Selbst wenn sie den Redakteur die Karte jedes Mal neu zeichnen ließen, half das nicht viel.
Die „Maschinerie“ war nutzlos: Die speziellen Gadgets, die sie hinzugefügt hatten (das Stabilitäts-Gate, der Schrittzähler, das Vermischen vergangener Gedanken), erwiesen sich als weitgehend dekorativ. Das Entfernen dieser Teile beeinträchtigte die Leistung kaum.
Das eigentliche Problem: Das Hauptproblem war das Teilen derselben Gewichte (Weights). Die Idee, dass „ein Redakteur, der sechs Durchgänge macht“, genauso gut ist wie „sechs verschiedene Redakteure“, hielt der Prüfung nicht stand. Die geteilten Gewichte waren ein Flaschenhals. Das „heterogene“ Design (eine Mischung aus Vor-Redakteuren, einer eingefrorenen Karte und einem Looping-Redakteur) war einfach zu komplex und weniger effizient als ein einfacher, einheitlicher Stapel von Redakteuren.

Zusammenfassung in einem Satz

CART ist eine clevere, speichereffiziente Idee, die versucht, einen einzelnen KI-Block durch die Nutzung einer eingefrorenen Referenzkarte wiederholt „nachdenken“ zu lassen, aber letztendlich stellt sich heraus, dass ein Team aus einzigartigen Spezialisten (das Standard-Modell) immer noch besser funktioniert als ein einzelner Spezialist, der in Schleifen arbeitet, und die zusätzlichen Gadgets, die das Looping stabil machen sollten, größtenteils unnötig waren.

Wichtigste Erkenntnis für die Zukunft:
Das Paper kommt zu dem Schluss, dass während der „eingefrorene Anker“ zwar etwas Rechenleistung spart, das Versprechen, massive Intelligenzgewinne allein durch das wiederholte Durchlaufen eines geteilten Code-Blocks zu erzielen, in diesem Maßstab nicht eingetroffen ist. Die Architektur ist stabil und interessant, aber sie hat das Standard-Verfahren in Bezug auf die reine Leistung pro Dollar nicht geschlagen.

Technisches Resümee: CART (Context-Anchored Recurrent Transformer)

Problemstellung

Das dominante Paradigma des Sprachmodellierung, der gestapelte Transformer, skaliert die Parameteranzahl linear mit der Tiefe ( $L$ eindeutige Schichten), was zu Speicherengpässen beim Einsatz auf Hardware mit begrenzten Ressourcen führt. Tiefen-rekurrente (oder geloopte) Transformer versuchen dies zu adressieren, indem sie einen einzigen Satz von Parametern über mehrere Durchläufe ( $R$ ) durch einen gemeinsamen Block wiederverwenden. Naives Weight-Sharing unterperformt jedoch oft gegenüber Modellen mit passender Tiefe und eindeutigen Schichten, da ein identisch angewendeter Block sein Verhalten über die Iterationen der Schleife hinweg nicht anpassen kann. Vorangegangene Lösungen, wie etwa Hyper-Verbindungen, Loop-Index-Embeddings oder explizite Stabilitätsbeschränkungen, haben versucht, dies zu mildern, aber es bleibt eine kritische architektonische Lücke: Die meisten aktuellen rekurrenten Architekturen (z. B. Hyperloop, Parcae, OpenMythos) berechnen die Key-Value-Repräsentationen (K, V) bei jeder Iteration neu aus dem sich entwickelnden Hidden State, wodurch die Trennung von Kontext-Kodierung und iterativer Verfeinerung fehlschlägt.

Methodik: CART-Architektur

CART führt eine parametereffiziente Architektur ein, die einen einzelnen gemeinsamen Kernblock $R$ -mal über die Tiefe wiederverwendet, was durch drei spezifische architektonische Beiträge gekennzeichnet ist:

Einmal berechneter KV-Anker: Im Gegensatz zu früheren Arbeiten, die K und V bei jedem Schleifen-Schritt neu berechnen, berechnet CART K und V einmal aus einem Multi-Layer-"Prelude" (einem eindeutigen Satz von $P$ Transformer-Schichten) und hält diese fest. Der rekurrente Kern führt dann Cross-Attention gegen diese fixierten Tensoren durch. Dies trennt die Kontext-Kodierung (Prelude) von der iterativen Verfeinerung (Core) und reduziert die FLOPs pro Schleife durch das Eliminieren redundanter KV-Projektionen.
Gelernte Stabilität via Sigmoid-Gated LTI: Um sicherzustellen, dass die rekurrente Berechnung konvergiert, verwendet CART ein gelerntes Linear Time-Invariant (LTI) Gate: $h_{\ell} = \sigma(a) \odot h_{in} + f_{transformer}(h)$ . Im Gegensatz zu architektonischen Beschränkungen (z. B. Zero-Order-Hold-Diskretisierung), die in anderen Arbeiten verwendet werden, lernt dieses Gate seine Konvergenzrate (Spektralradius $\varrho$ ) direkt aus den Daten, wodurch $\varrho < 1$ garantiert wird, ohne strukturelle Starrheit.
Kausale Cross-Attention-Beschränkung: Das Paper identifiziert eine kritische Beschränkung für autoregressive rekurrente Modelle: Die Cross-Attention vom Core zum Prelude muss kausal sein. Nicht-kausale Attention lässt zukünftige Token (aus dem Kontext des Preludes) in den rekurrenten Zustand leaken, was zum Kollaps des Loss führt.

Die Architektur folgt einer "Prelude $\to$ Anchor $\to$ Core $\to$ Coda"-Topologie. Die Prelude ( $P$ eindeutige Schichten) generiert den Kontext-Anker $e$ . Der Core (gemeinsame Gewichte, $R$ Iterationen) verfeinert den Zustand unter Verwendung der fixierten K, V von $e$ . Eine einzelne eindeutige "Coda"-Schicht erzeugt die finalen Logits.

Experimenteller Aufbau

Die Autoren evaluierten CART in zwei Phasen auf Consumer-Grafikkarten (RTX 3050 und RTX 3090) unter Verwendung eines Single-Pass-Korpus von $\sim$ 1B Tokens (TinyStories, Wikipedia, FineWeb-Edu).

Phase 1: Ein Hyperparameter-Screening von 64 Konfigurationen ( $d \in \{256, 512, 768, 1024\}$ , $R \in \{2, 4, 6, 8\}$ , $P \in \{2, 3, 4, 6\}$ ), trainiert für 3.000 Schritte ( $\sim$ 49M Tokens).
Phase 2: Volles Training von 36 Konfigurationen ( $P=6$ , $R \in \{6, 8, 10\}$ , jeweils 3 Seeds) für 30.500 Schritte ( $\sim$ 1B Tokens).
Baselines: Bei der Bindungs-Skala ( $d=1024$ ) wurde CART mit Dense Transformern verglichen, die sowohl auf gespeicherte Parameter (7-Layer) als auch auf effektive Parameter (12-Layer) abgestimmt waren.

Kernergebnisse

1. Stabilität und Spektralradius

Über alle 36 Konfigurationen der Phase 2 hinweg pendelte sich der Spektralradius $\varrho$ des gelernten LTI-Gates in einem engen Band von $[0,79, 0,83]$ ein. Dieser Wert ist kein festes Designziel, sondern emergiert aus dem Training. $\varrho$ steigt monoton mit der Modellbreite ( $d$ ) und schwach mit der Loop-Anzahl ( $R$ ). Der "universelle" $\varrho \approx 0,893$ , der in Phase 1 beobachtet wurde, wurde als transienter Zustand während des mittleren Trainings identifiziert, der während des vollen Trainings abnimmt.

2. Die Umkehrung des Rekurrenz-Vorteils ( $R$ )

Ein kritischer Befund ist die Umkehrung der Trends zwischen Phase 1 und Phase 2:

Phase 1 (3k Schritte): Deutete darauf hin, dass die Rekurrenztiefe ( $R$ ) wertvoller wird, wenn die Modellbreite ( $d$ ) steigt, wobei $R=8$ bei $d=1024$ signifikant besser abschnitt als $R=2$ .
Phase 2 (30,5k Schritte): Dieser Trend kehrte sich um. Bei vollem Training war $R=6$ die beste Konfiguration für alle Skalen $d \ge 512$ . Eine Erhöhung von $R$ auf 8 oder 10 führte zu einer Leistungsverschlechterung (bis zu 1 % Regression bei der Perplexität).
Inferenz-Skalierung: Die Variable- $R$ -Inferenz auf dem besten $d=1024$ Modell (trainiert bei $R=6$ ) zeigte, dass das Ausführen mehr Iterationen als trainiert wurde, die Leistung auf HellaSwag, LAMBADA und PIQA konsistent verschlechterte. Dies deutet auf ein klares negatives Ergebnis für die Test-Time-Compute-Skalierung unter dem aktuellen Trainingsrezept hin.

3. Behauptungen zur Parametereffizienz

Bei der Bindungs-Prüfung ( $d=1024$ , $\sim$ 1B Tokens):

Stored-Parameter Parität: Ein Dense 7-Layer Modell (abgestimmt auf die gespeicherten Parameter von CART) übertraf CART ( $P=6, R=6$ ) um 1–2 % bei den Perplexitätsmetriken.
Effective-Parameter Parität: Ein Dense 12-Layer Modell (abgestimmt auf die effektiven Parameter von CART) übertraf CART um $\sim$ 10 % bei natürlichen Sprachaufgaben.
Fazit: Die Hypothese, dass die gewichtsgeteilte Rekurrenz eine $R$ -fache effektive Kapazität bietet, hielt bei dieser Skala und diesem Trainingsbudget nicht stand.

4. Diagnostische Ablationen

Die Autoren dekomponierten die Leistungslücke zwischen CART und der Dense-Baseline:

Frozen K, V: Das Unfreezen von K, V (Neu-Berechnung bei jedem Schritt) verbesserte die Leistung nicht signifikant, was den fixierten Anker als primären Engpass ausschließt.
Rekurrenztiefe: Eine Reduktion von $R$ auf 1 (Entfernung der Rekurrenz) verursachte nur einen Abfall von $\sim$ 1 %, was darauf hindeutet, dass der rekurrente Kern über die erste Iteration hinaus nur marginal beiträgt.
Shared Weights: Das Unsharing der Core-Gewichte (jeder Iteration eindeutige Parameter zu geben) verbesserte die Leistung um $\sim$ 5 %, was bestätigt, dass Weight-Sharing ein signifikanter Kapazitätsengpass ist.
Maschinenkomponenten: Ablationen der HyperConnection, des LTI-Gates und des Loop Index Embedding (LIE) zeigten, dass diese in der Shared-Weight-Konfiguration vestigial (überflüssig) sind; ihre individuelle Entfernung hatte keinen messbaren Effekt auf die Perplexität.
Residuelle Lücke: Die verbleibende $\sim$ 5 % Lücke zur Dense-Baseline wird dem heterogenen "Prelude $\to$ Anchor $\to$ Core $\to$ Coda"-Framing selbst zugeschrieben, nicht einem einzelnen Mechanismus.

Bedeutung und Ansprüche

Das Paper beansprucht für CART eine rigorose empirische Untersuchung von Tiefen-rekurrenten Transformern mit drei Hauptbeiträgen:

Architektonische Unterscheidung: CART ist das erste in seiner Familie, das K, V einmal aus einer Prelude berechnet und diese als fixierten Anker wiederverwendet, wodurch die Kontext-Kodierung von der Verfeinerung getrennt wird.
Gelernte Stabilität: Es zeigt, dass ein Sigmoid-gated LTI-Filter eine stabile Konvergenzrate ( $\varrho \in [0,79, 0,83]$ ) lernen kann, ohne strukturelle Beschränkungen, und sich an Modellbreite und Loop-Anzahl anpasst.
Empirischer Realitätscheck: Das Paper liefert ein "klares negatives Ergebnis" bezüglich der Parametereffizienz gewichtsgeteilter Rekurrenz bei der getesteten Skala. Es demonstriert, dass:
- Der Nutzen der Rekurrenztiefe ( $R$ ) nicht zwangsläufig mit der Modellbreite wächst; er kann sich sogar umkehren.
- Die Test-Time-Compute-Skalierung (Erhöhung von $R$ bei der Inferenz) schädlich ist, wenn sie nicht mit dem Training übereinstimmt.
- Die "Shared-Weight-Leverage"-These (dass $R$ Iterationen eines geteilten Blocks $R$ eindeutigen Schichten entsprechen) bei $d=1024$ mit $\sim$ 1B Tokens scheitert, wobei die Architektur gegenüber einem parameter-abgestimmten Dense-Modell unterliegt.

Die Autoren kommen zu dem Schluss, dass CART zwar eine deterministische Latenz und einen fixen Speicherbedarf bietet (vorteilhaft für das Deployment), aber in der aktuellen Formulierung nicht die erforderliche Parametereffizienz liefert, um Standard-Dense-Transformer bei der getesteten Skala zu übertreffen. Die Ergebnisse legen nahe, dass das heterogene architektonische Framing und das Weight-Sharing die primären Engpässe sind, nicht die spezifische Rekurrenz-Mechanik (HyperConnection, LTI, LIE).