💬 NLP

Rethinking State Tracking in Recurrent Models Through Error Control Dynamics

Dieser Artikel argumentiert, dass eine robuste Zustandsverfolgung in rekurrenten Modellen kritisch von der Fehlerkontrolldynamik und nicht nur von der theoretischen Ausdruckskraft abhängt, und zeigt, dass affine rekurrente Netze bei Aufgaben mit langem Horizont unvermeidlich versagen, weil ihre Unfähigkeit, zustandstrennende Fehler zu korrigieren, zu einem vorhersehbaren Zusammenbruch der Verfolgung führt, sobald die innerhalb einer Klasse akkumulierte Streuung die Lesbarkeitsschwelle des Decoders überschreitet.

Ursprüngliche Autoren: Jiwan Chung, Heechan Choi, Seon Joo Kim

Veröffentlicht 2026-05-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiwan Chung, Heechan Choi, Seon Joo Kim

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine mentale Zählung eines komplexen Spiels zu führen, etwa indem Sie verfolgen, wer in einem Brettspiel gerade „die Führung" innehat, während die Spieler ständig ihre Rollen tauschen. Sie haben ein Notizbuch (den verborgenen Zustand Ihres Gehirns), in das Sie den aktuellen Status eintragen. Jedes Mal, wenn ein neuer Zug erfolgt, aktualisieren Sie Ihr Notizbuch.

Lange Zeit glaubten Wissenschaftler, dass das Einzige, was für einen Computer wichtig war, dies zu tun, die Ausdrucksstärke war: „Verfügt dieser Computer über ein ausreichend großes Notizbuch und einen ausreichend klugen Stift, um theoretisch jede mögliche Regel des Spiels aufzuschreiben?"

Diese Arbeit argumentiert, dass die Ausdrucksstärke nur die halbe Miete ist. Die andere, kritischere Hälfte ist die Fehlerkontrolle. Es geht nicht nur darum, die richtigen Regeln zu haben; es geht darum, was passiert, wenn Sie einen winzigen Fehler machen.

Das Kernproblem: Das „driftende" Notizbuch

Stellen Sie sich vor, Sie laufen auf einem Seil. Wenn Sie einen perfekten Schritt machen, bleiben Sie auf der Linie. Aber in der realen Welt könnten Sie leicht wackeln.

Der ideale Verfolger: Wenn Sie wackeln, verfügen Sie über einen eingebauten Mechanismus (wie einen Balancierstab), der Ihr Gleichgewicht sofort korrigiert und Sie zurück in die Mitte zieht.
Der fehlerhafte Verfolger: Wenn Sie wackeln, wackeln Sie einfach weiter. Sie fallen nicht sofort herunter, aber mit jedem Schritt wird Ihr Wackeln etwas größer. Schließlich driftet Sie so weit von der Linie ab, dass Sie nicht mehr erkennen können, auf welcher Seite des Seils Sie sich befinden.

Die Autoren stellten fest, dass viele populäre moderne KI-Modelle (wie Mamba und Lineare Aufmerksamkeit) vom zweiten Typ sind. Sie sind mathematisch in der Lage, die Regeln zu kennen, aber ihnen fehlt der „Balancierstab", um kleine Fehler zu korrigieren.

Die „affine" Falle

Die Arbeit konzentriert sich auf eine bestimmte Klasse von Modellen, die Affine Rekurrente Netze genannt werden. Denken Sie an diese als Modelle, die ihren Speicher mit einer sehr starren, geradlinigen Formel aktualisieren.

Die Regel: Wenn das Modell perfekt ist, muss es jedes Mal, wenn sich der Spielzyklus wiederholt, exakt an denselben Ort zurückkehren.
Der Haken: Da die Formel so starr (affin) ist, verliert sie die Fähigkeit, sich selbst zurückzuziehen, wenn sie gezwungen wird, exakt an denselben Ort zurückzukehren, falls sie davon abdriftet. Es ist wie ein Auto mit einem Lenkrad, das geradeaus gesperrt ist. Wenn das Auto perfekt zentriert ist, fährt es gut. Aber wenn ein Kieselstein es leicht aus der Mitte stößt, kann das Auto nicht wieder einlenken; es fährt einfach geradeaus weiter und entfernt sich immer weiter von der Mitte.

Die Arbeit beweist, dass diese Modelle, sobald sie die Regeln perfekt gelernt haben, gegenüber Fehlern „neutral" werden. Sie erhalten den Zustand, können aber die Drift nicht korrigieren.

Der „endliche Horizont"-Effekt

Versagen diese Modelle also sofort? Nein.
Stellen Sie es sich wie einen undichten Eimer vor.

Wenn Sie eine kurze Strecke gehen (eine kurze Textsequenz), ist das Leck so langsam, dass Sie es nicht bemerken. Der Eimer enthält noch genug Wasser, um Ihnen die Antwort zu geben.
Aber je weiter Sie gehen (längere Sequenzen), desto mehr Wasser (Genauigkeit) läuft langsam ab.
Schließlich ist der Eimer so leer (oder das Wasser so trüb durch Fehler), dass Sie die „richtige" Antwort nicht mehr von der „falschen" unterscheiden können.

Die Arbeit nennt dies den endlichen Horizont. Diese Modelle funktionieren eine Weile gut, aber sie haben eine harte Grenze. Sobald die angesammelte „Rauschen" oder „Drift" größer wird als die Lücke zwischen der richtigen und der falschen Antwort, kollabiert das Modell.

Die Lösung: Der „Balancierstab" (Zustandsabhängigkeit)

Die Arbeit vergleicht diese starren Modelle mit Zustandsabhängigen Modellen (wie Standard-RNNs mit nichtlinearen Aktivierungen).

Diese Modelle sind wie ein Radfahrer mit einem Balancierstab. Wenn sie wackeln, kann der Radfahrer aktiv wieder einlenken.
Mathematisch bedeutet dies, dass sich die Art und Weise, wie sie ihren Speicher aktualisieren, je nachdem, wo sie sich gerade befinden, ändert. Wenn sie driften, ändert sich die Aktualisierungsregel, um sie zurückzudrängen.
Die Experimente zeigen, dass diese Modelle das Seil für immer laufen können, egal wie lang die Sequenz wird, weil sie ihre eigenen Fehler aktiv beheben.

Die „Lesbarkeits"-Schwelle

Die Autoren entwickelten eine Methode, um genau vorherzusagen, wann die starren Modelle versagen werden.
Stellen Sie sich vor, die richtigen Antworten sind verschiedene Inseln in einem nebligen Ozean.

Trennung: Der Abstand zwischen den Inseln.
Ausbreitung: Wie neblig das Wasser um jede Insel ist (verursacht durch angesammelte Fehler).
Der Wendepunkt: Solange der Nebel (Fehlerausbreitung) kleiner ist als der Abstand zwischen den Inseln, können Sie noch erkennen, auf welcher Insel Sie sich befinden. Aber sobald der Nebel dicker wird als der Abstand zwischen den Inseln, können Sie nicht mehr erkennen, wo Sie sind.

Die Arbeit zeigt, dass bei starren Modellen dieser Nebel vorhersehbar wächst. Sie können genau berechnen, wie viele Schritte es dauert, bis der Nebel zu dick wird, und diese Vorhersage stimmt exakt mit dem Zeitpunkt überein, an dem das Modell in der Praxis aufhört zu funktionieren.

Zusammenfassung der Ergebnisse

Theorie reicht nicht aus: Nur weil ein Modell eine Regel theoretisch darstellen kann, bedeutet das nicht, dass es diese Regel über die Zeit zuverlässig anwenden kann.
Starre Modelle driften: Modelle, die einfache, geradlinige Aktualisierungen verwenden (Affin), können ihre eigenen kleinen Fehler nicht beheben. Sie erhalten den Zustand nur perfekt, wenn sie perfekt starten.
Das Limit ist vorhersehbar: Diese Modelle versagen nicht zufällig; sie versagen, wenn der angesammelte Fehler den Abstand zwischen den richtigen Antworten überholt.
Flexibilität gewinnt: Modelle, die ihre Aktualisierungsregeln basierend auf ihrem aktuellen Zustand ändern können (Zustandsabhängig), können Fehler aktiv korrigieren, was es ihnen ermöglicht, Informationen unbegrenzt zu verfolgen.

Kurz gesagt: Robustheit hängt nicht davon ab, wie klug Ihre Karte ist; sie hängt davon ab, wie gut Ihr Kompass Sie korrigiert, wenn Sie einen falschen Schritt tun.

Technische Zusammenfassung: Neukonzeptualisierung der Zustandsverfolgung in rekurrenten Modellen durch Fehlerkontroll-Dynamik

Problemstellung

Der vorherrschende theoretische Rahmen für die Zustandsverfolgung in rekurrenten Architekturen hat sich fast ausschließlich auf Ausdrucksstärke (Expressivity) konzentriert: die Bestimmung, ob eine feste Architektur theoretisch eine Menge symbolischer Übergangsregeln realisieren kann. Während neuere Arbeiten die theoretische Kapazität verschiedener Modelle (z. B. State-Space-Modelle, Lineare Aufmerksamkeit) nachgewiesen haben, bestimmte symbolische Übergänge darzustellen, zeigen empirische Ergebnisse eine signifikante Lücke zwischen theoretischer Ausdrucksstärke und praktischer Robustheit. Modelle versagen oft darin, Zustände unter Längsextrapolation oder wiederholter Rollout stabil zu verfolgen, selbst wenn sie die theoretische Kapazität dazu besitzen.

Dieses Papier argumentiert, dass Fehlerkontrolle – die Dynamik, die die Drift des versteckten Zustands entlang Richtungen steuert, die symbolische Zustände unterscheiden – eine ebenso kritische, jedoch übersehene Achse der Analyse darstellt. Das zentrale Problem besteht darin, dass theoretische Ausdrucksstärke nicht die Fähigkeit garantiert, akkumulierte Fehler zu korrigieren, die einen versteckten Zustand in Richtung einer falschen symbolischen Darstellung drängen.

Methodik

Theoretischer Rahmen

Die Autoren formalisieren die Zustandsverfolgung mittels einer Taxonomie rekurrenter Modelle, die durch eine rekursive Schicht definiert ist:
$h_t = \phi(g(h_{t-1}, x_t) \odot (A(x_t)h_{t-1})) + b(x_t)$
Sie kategorisieren Modelle basierend auf der Zustands-Jakobimatrix in zwei Hauptklassen:

Affine Modelle: Der Zustandsübergang ist affin in $h_{t-1}$ (d. h. die Jakobimatrix $\partial h_t / \partial h_{t-1}$ hängt nicht von $h_{t-1}$ ab). Diese Klasse umfasst State-Space-Modelle (SSMs) wie Mamba, AUSSM und lineare RNNs.
Zustandsabhängige Modelle: Der Übergang hängt nichtlinear vom aktuellen Zustand ab (z. B. gated RNNs, tanh RNNs).

Die Autoren führen einen symbolischen Unterraum $U$ ein, aufgespannt durch die Differenzen zwischen den versteckten Zustandsrepräsentationen verschiedener symbolischer Zustände ( $U := \text{span}\{c_g - c_{g'}\}$ ). Sie beweisen, dass für jede zustandserhaltende Sequenz (bei der die symbolische Aktion die Identität ist) eine exakte affine Rückabbildung als Identität auf $U$ wirken muss. Folglich können affine Modelle Fehler entlang von $U$ nicht kontrahieren; sie erhalten die Zustandsrepräsentation zwar exakt, bieten aber keinen Mechanismus, um einen gestörten Zustand zurück zu seinem korrekten Schwerpunkt zu ziehen.

Analytische Metriken

Um das Versagen affiner Tracker zu quantifizieren, definieren die Autoren ein Unterscheidbarkeitsverhältnis $q(t)$ :
$q(t) = \frac{R(t)}{M(t)}$
Wobei:

$R(t)$ die Streuung innerhalb der Klasse ist (Varianz der versteckten Zustände um ihren Klassen-Schwerpunkt).
$M(t)$ die Trennung zwischen den Klassen ist (minimale Distanz zwischen Klassen-Schwerpunkten).
$q(t)$ die Streuung relativ zum Rand misst.

Sie stellen fest, dass die Verfolgung nur dann „lesbar" bleibt, solange $q(t)$ unter einem Schwellenwert $\tau$ bleibt (speziell $0.5$ für einen Decoder mit nächstem Schwerpunkt).

Experimentelles Setup

Die Autoren evaluieren ein Spektrum rekurrenter Architekturen auf Gruppen-Zustandsverfolgungsaufgaben, die die Aufrechterhaltung eines laufenden Produkts von Gruppenelementen erfordern:

Aufgaben: Parität ( $C_2$ ), Zyklische Gruppe ( $C_6$ ) und Symmetrische Gruppe ( $S_3$ ). $S_3$ ist nicht-abelsch, wodurch eine ordnungsensitive Komposition unvermeidbar ist.
Modelle: Eine diverse Auswahl, darunter Mamba, Mamba-3, AUSSM, Negative Mamba, lineare RNNs, Token-gated RNNs, tanh RNNs und State-gated RNNs.
Protokoll: Modelle werden mit Curriculum-Learning bis zur Länge 60 trainiert und auf Extrapolation bis zur Länge 1000 evaluiert. Zudem führen sie Experimente zur Injektion von Störungen durch, um die Dynamik der Fehlerwiederherstellung zu messen.

Hauptbeiträge

1. Theoretischer Beweis der Affinen Neutralität

Das Papier beweist Satz 1: Wenn ein affines rekurrentes Netzwerk symbolische Zustände exakt erhält, wirkt seine Rückabbildung als Identität auf dem symbolischen Unterraum $U$ . Dies impliziert, dass affine Modelle Fehler entlang der Richtungen, die symbolische Zustände trennen, nicht selektiv kontrahieren können. Sobald eine zustandserhaltende affine Abbildung festgelegt ist, verbleiben keine „Freiheitsgrade", um Drift zu korrigieren.

2. Charakterisierung des Versagens mit endlichem Horizont

Die Autoren zeigen, dass affine Modelle, obwohl sie Fehler nicht korrigieren können, eine Verfolgung für einen endlichen Horizont aufrechterhalten können, der durch akkumulierte Fehler bestimmt wird.

Korollar 1 zeigt, dass für approximative affine Tracker der Fehler entlang von $U$ linear über die Zeit akkumuliert ( $e_U(t) \approx e_U(0) + t\bar{\eta}$ ).
Die Verfolgung kollabiert, wenn das Unterscheidbarkeitsverhältnis $q(t)$ den Lesbarkeits-Schwellenwert überschreitet. Diese Überschreitungszeit, $T_{cross}$ , sagt quantitativ die maximale erfolgreiche Länge ($mp$) des Modells voraus.
Zwei Versagensmodi werden identifiziert: Sättigung (wobei $q(t)$ bereits über dem Schwellenwert beginnt) und Anstieg (wobei $q(t)$ linear wächst, bis es den Schwellenwert überschreitet).

3. Empirische Validierung der Fehlerkontroll-Dynamik

Durch umfangreiche Experimente etabliert das Papier eine Dichotomie:

Zustandsabhängige Modelle (z. B. tanh RNN, State-gated RNN) zeigen bedingte Fehlerkontraktion. Sie können Störungen entlang von $U$ selektiv verkleinern, halten $q(t) < 0.5$ unbegrenzt aufrecht und erreichen eine robuste Verfolgung bis zur maximalen getesteten Länge (1000).
Affine Modelle besitzen diese selektive Kontraktion nicht. Sie versagen entweder sofort (Sättigung) oder nach einem vorhersagbaren Horizont (Anstieg), da die akkumulierte Streuung innerhalb der Klasse den Trennungsrand erodiert.

4. Unterraum-Zerlegung

Durch die Zerlegung der Streuung innerhalb der Klasse in Komponenten parallel ( $U$ ) und orthogonal ( $U^\perp$ ) zum symbolischen Unterraum zeigen die Autoren, dass das Versagen affiner Modelle spezifisch durch das Wachstum der Streuung innerhalb von $U$ getrieben wird. Zustandsabhängige Modelle unterdrücken die Streuung in $U$ erfolgreich und halten Fehler im orthogonalen Unterraum, wo sie die symbolische Diskriminierung nicht beeinträchtigen.

Ergebnisse

Robustheitslücke: Zustandsabhängige Modelle verfolgen symbolische Zustände konsistent bis zur Länge 1000 über alle Aufgaben hinweg ( $C_2, C_6, S_3$ ). Im Gegensatz dazu zeigen affine Modelle unterschiedliche Grade an Instabilität. Beispielsweise versagen Mamba und Mamba-3 bereits bei kurzen Längen auf $S_3$ , während Negative Mamba und Token-gated RNNs auf $C_2$ und $S_3$ verlängerte Horizonte zeigen, aber schließlich kollabieren.
Vorhersagekraft: Der Punkt, an dem das Unterscheidbarkeitsverhältnis $q(t)$ den Lesbarkeits-Schwellenwert überschreitet ( $T_{cross}$ ), korreliert stark ( $r \approx 0.87$ ) mit der nachgelagerten maximalen erfolgreichen Länge ($mp$) über 113 trainierte Modelle hinweg.
Nichtlinearität ist entscheidend: Die Fähigkeit zur robusten Verfolgung hängt davon ab, dass die Jakobimatrix der Aktivierungsfunktion zustandsabhängig ist. Punktweise Nichtlinearitäten (tanh, ReLU) und Paar-Operatoren (max/min, GroupSort) ermöglichen eine robuste Verfolgung, während ganzzahlige Normalisierungen (LayerNorm, Kugelprojektion) versagen und sich auf dem symbolischen Unterraum effektiv wie affine Abbildungen verhalten.
Der $C_2$ -Randfall: Das Papier stellt fest, dass einige affine Modelle bei der Paritätsaufgabe ( $C_2$ ) erfolgreich sind, nicht weil sie Fehler korrigieren, sondern weil der binäre Rand groß genug ist, um „neutrale Oszillation" zu tolerieren (Fehler ändern das Vorzeichen, bleiben aber innerhalb des Randes). Diese Toleranz schrumpft mit zunehmender Gruppenordnung, was erklärt, warum affine Modelle bei $C_6$ und $S_3$ versagen.

Bedeutung und Behauptungen

Das Papier beansprucht, das Paradigma der rekurrenten Zustandsverfolgung von einer Theorie der Ausdrucksstärke zu einer Theorie der Fehlerkontrolle zu verschieben.

Theoretische Einschränkung: Die Autoren behaupten, dass eine robuste Zustandsverfolgung nicht allein durch die Fähigkeit einer Architektur bestimmt wird, symbolische Regeln darzustellen (Ausdrucksstärke), sondern entscheidend durch ihre Fähigkeit, Fehlerdynamiken zu kontrollieren. Affine Modelle sind fundamental begrenzt, da die Erhaltung von Zustandsrepräsentationen sie zwingt, auf genau den Richtungen neutral zu sein, wo Fehlerkorrektur benötigt wird.
Praktische Implikation: Das Versagen affiner Modelle (wie SSMs) bei der Längsextrapolation ist kein Trainingsmangel, sondern eine strukturelle Begrenzung. Sie lernen „Lösungen mit endlichem Horizont", die durch akkumulierte Fehler bestimmt sind, anstatt einer robusten, unendlich-horizontigen Zustandsverfolgung.
Gestaltungsleitfaden: Um eine robuste Verfolgung zu erreichen, müssen Architekturen zustandsabhängige Übergänge integrieren, die es der Jakobimatrix ermöglichen, Fehler entlang des symbolischen Unterraums zu kontrahieren. Das Papier schlägt vor, dass die spezifische Form der Nichtlinearität weniger wichtig ist als die Frage, ob sie eine zustandsabhängige Modulation der symbolischen Richtungen ermöglicht.

Die Autoren schließen, dass affine Modelle zwar für In-Domain-Aufgaben oder kurze Horizonte ausreichend sein mögen, sie jedoch strukturell unfähig sind, die robuste, lang-horizontige Zustandsverfolgung zu leisten, die für komplexes symbolisches Reasoning ohne zustandsabhängige Fehlerkorrekturmechanismen erforderlich ist.