💬 NLP

Solve the Loop: Attractor Models for Language and Reasoning

Das Papier stellt Attractor-Modelle vor, eine neuartige Architektur, die implizite Differentiation verwendet, um Fixpunkte in latenten Repräsentationen zu berechnen, wodurch eine stabile, adaptive iterative Verfeinerung ermöglicht wird, die überlegene Leistung bei Sprachmodellierung und Schlussfolgerung bei geringeren Rechenkosten erzielt und die einzigartige Fähigkeit besitzt, Gleichgewichtszustände für eine effiziente Inferenz zu internalisieren.

Ursprüngliche Autoren: Jacob Fein-Ashley, Paria Rashidinejad

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jacob Fein-Ashley, Paria Rashidinejad

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Denken vor dem Sprechen

Stellen Sie sich vor, Sie versuchen, eine schwierige Frage zu beantworten.

Standard-KI (Transformer): Diese Modelle sind wie eine Person, die den allerersten Gedanken ausspricht, der ihr in den Sinn kommt. Sie berechnen die Antwort in einem einzigen Durchgang und sagen sie sofort. Wenn der erste Gedanke falsch ist, sagen sie das Falsche.
Geflochtene KI (alte rekurrente Modelle): Diese Modelle sind wie eine Person, die immer wieder denkt: „Warte, vielleicht sollte ich stattdessen das sagen". Sie führen eine mentale Schleife aus, um ihre Antwort zu verfeinern. Dies ist jedoch schwer zu trainieren (es ist wie jemanden zu lehren, im Kreis zu denken, ohne schwindelig zu werden), teuer im Betrieb und oft instabil, wenn sie zu oft nachdenken.

Die Lösung: Attractor-Modelle
Die Autoren stellen Attractor-Modelle vor. Stellen Sie sich dies als ein Zwei-Schritte-Team vor:

Der Vorschlagende (Rückgrat): Ein kluger, schneller Experte, der eine sehr gute „erste Schätzung" der Antwort macht.
Der Verfeinerer (Attractor): Ein spezialisierter Redakteur, der diese erste Schätzung nimmt und poliert, bis sie perfekt ist.

Der magische Trick besteht darin, dass der Verfeinerer den Prozess nicht einfach eine festgelegte Anzahl von Malen wiederholt (wie „denke 5 Mal"). Stattdessen verfeinert er weiter, bis die Antwort aufhört, sich zu ändern. Er findet den „Sweet Spot", an dem die Antwort stabil ist.

Die kreative Analogie: Der Bildhauer und der Ton

Stellen Sie sich vor, Sie versuchen, eine Statue aus einem Block Ton zu schnitzen.

Standard-Transformer sind wie ein Bildhauer, der den Ton einmal mit einem Hammer trifft und es dabei belässt. Wenn der Schlag nicht perfekt war, sieht die Statue seltsam aus.
Alte geflochtene Modelle sind wie ein Bildhauer, der den Ton trifft, ihn prüft, ihn wieder trifft, ihn prüft und ihn wieder trifft. Aber sie müssen ihre Schläge im Voraus zählen (z. B. „Ich werde ihn genau 10 Mal treffen"). Wenn sie ihn 11 Mal treffen, könnte die Statue zerbrechen. Wenn sie ihn nur 5 Mal treffen, ist sie unvollendet. Außerdem beansprucht das Erinnern an jeden einzelnen Schlag, den sie gemacht haben, eine enorme Menge an mentaler Energie (Speicher).
Attractor-Modelle sind wie ein Meisterbildhauer mit einer neuen Technik:
1. Der Vorschlagende formt den Ton schnell zu einer rohen, erkennbaren Statue (ein „warm start").
2. Der Verfeinerer glättet den Ton sanft. Er glättet weiter, bis der Ton aufhört, sich zu bewegen und sich in seine endgültige, perfekte Form setzt.
3. Das Ergebnis: Da der Vorschlagende so gute Arbeit geleistet hat, muss der Verfeinerer nur noch ein winziges bisschen glätten. Die Statue ist perfekt, und der Bildhauer musste sich nicht an jeden einzelnen Schlag erinnern, den er in der Vergangenheit gemacht hat.

Warum dieses Papier eine große Sache ist

Das Papier behauptet drei große Siege für diese neue Methode:

1. Es ist schlauer und günstiger (die „Pareto-Verbesserung")
Die Autoren testeten diese Modelle bei Schreibaufgaben (Sprachmodellierung). Sie stellten fest, dass Attractor-Modelle bessere Ergebnisse erzielen (niedrigere „Perplexität", was eine ausgefallene Art zu sagen ist „weniger Fehler"), als Standardmodelle, selbst wenn sie weniger Rechenleistung verwenden.

Die Analogie: Es ist wie die Geschwindigkeit eines Ferraris mit dem Kraftstoffverbrauch eines Fahrrads zu bekommen. Ein Attractor-Modell mit 770 Millionen Parametern schnitt besser ab als ein Standardmodell mit 1,3 Milliarden Parametern, das auf dem Doppelten an Daten trainiert wurde.

2. Es löst schwierige Rätsel (das „winzige Genie")
Bei Tests mit sehr schwierigen Logikrätseln (wie Sudoku und Labyrinthen) versagten Standard-KI-Modelle und sogar riesige, berühmte KI-Systeme (wie Claude und GPT) komplett und erzielten 0 %.

Die Analogie: Stellen Sie sich vor, ein riesiger, teurer Supercomputer scheitert daran, ein einfaches Labyrinth zu lösen, während ein winziger, billiger Taschenrechner es perfekt löst.
Das Attractor-Modell mit nur 27 Millionen Parametern (winzig im Vergleich zu Giganten) und sehr wenig Trainingsdaten löste diese Rätsel mit über 90 % Genauigkeit. Es skaliert gut, wohingegen andere „rekursive" (schleifenförmige) Modelle tatsächlich schlechter werden, wenn sie größer werden.

3. Der Trick der „Gleichgewichtsinternalisierung" (das „faule Genie")
Dies ist die überraschendste Erkenntnis. Das Modell wird trainiert, zu „denken" (zu verfeinern), bis es eine stabile Antwort erreicht. Aber die Autoren entdeckten, dass der Vorschlagende (der erste Teil des Modells) nach dem Training lernt, eine so perfekte Schätzung zu machen, dass der Verfeinerer (der zweite Teil) kaum noch etwas tun muss.

Die Analogie: Stellen Sie sich einen Schüler vor, der ein ganzes Jahr mit einem Tutor (dem Verfeinerer) studiert, um perfekte Noten zu bekommen. Bis zum Zeitpunkt des Abschlusses hat der Schüler so viel gelernt, dass er die Prüfungsfragen perfekt beantworten kann, ohne die Hilfe des Tutors. Der „Denk"-Prozess wurde internalisiert.
Das Ergebnis: Zum Testzeitpunkt kann das Modell den Verfeinerungsschritt oft vollständig überspringen und erhält trotzdem die richtige Antwort, was es unglaublich schnell macht.

Zusammenfassung der „Schleife"

Das Papier löst das Problem der „Rekurrenz" (wiederholte Schritte), indem es es in ein mathematisches Problem namens Fixpunkt verwandelt.

Anstatt das Modell zu zwingen, eine Schleife eine bestimmte Anzahl von Malen auszuführen, fragt das Modell: „Wann hört meine Antwort auf, sich zu ändern?"
Es verwendet einen mathematischen Trick (implizite Differentiation), um dies zu lernen, ohne für jeden einzelnen Schritt der Schleife eine massive Menge an Speicher speichern zu müssen.

Kurz gesagt: Attractor-Modelle sind eine neue Art, KI zu bauen, die iterativ denkt, aber effizient trainiert. Sie lernen, so gute Anfangsschätzungen zu machen, dass sie oft nicht zweimal „nachdenken" müssen, und übertreffen dennoch riesige Modelle sowohl beim Schreiben als auch bei schwierigen Logikrätseln.

Technische Zusammenfassung: Attraktor-Modelle für Sprache und Schlussfolgerung

Problemstellung

Die moderne Ära der Sprachmodellierung wird von feed-forward-Transformern dominiert, die Tokens durch einen einzigen Berechnungsdurchlauf erzeugen. Obwohl diese Architektur erfolgreich ist, wirft sie eine grundlegende Frage auf: Sollte jeder Token das Produkt einer einzigen Berechnung sein, oder sollte ein Modell in der Lage sein, seine latenten Vorhersagen zu verfeinern, bevor es sich für eine Ausgabe entscheidet?

Bestehende Ansätze für „latentes Denken" oder iterative Verfeinerung, wie etwa geschleifte Transformer und rekurrente Architekturen, sehen sich erheblichen Hürden gegenüber:

Trainingsinstabilität: Rekurrente Netze leiden häufig unter instabilen Trainingsdynamiken und erfordern sorgfältige Stabilisierungstechniken.
Speicher- und Rechenkosten: Standard-geschleifte Modelle entrollen die Rekursion für eine feste Anzahl von Schritten ( $T$ ). Dies führt dazu, dass der Trainingspeicher linear mit $T$ skaliert und die Inferenztiefe an die Trainingstiefe gebunden wird. Wenn die Inferenz mehr Schleifen erfordert als das Training, verschlechtert sich die Leistung oft.
Skalierungsprobleme: Spezialisierte winzige rekursive Reasoner zeigen ein Phänomen „weniger ist mehr", bei dem eine Vergrößerung des Modells zu einem Leistungsabsturz führt. Umgekehrt können groß angelegte rekurrente Modelle prohibitiv teuer sein und Rechenleistung verbrauchen, die mit feed-forward-Modellen vergleichbar ist, die zehnmal so groß sind.

Die Kernherausforderung besteht darin, eine Architektur zu entwerfen, die iterative Verfeinerung (Rekursion) unterstützt und dabei stabil, speichereffizient und sowohl für groß angelegte Sprachmodellierung als auch für Schlussfolgerungsaufgaben mit kleinen Datenmengen skalierbar bleibt.

Methodik: Attraktor-Modelle

Die Autoren stellen Attraktor-Modelle vor, eine universelle Architektur, die latente Verfeinerung als Fixpunktproblem im Ausgabe-Einbettungsraum behandelt, anstatt als endliche Entrollung rekurrenter Schritte. Die Architektur besteht aus zwei Hauptmodulen:

Backbone-Modul: Ein nicht-rekurrentes Netz (typischerweise ein Transformer), das Eingabe-Einbettungen auf einen ersten Ausgabe-Einbettungsvorschlag abbildet, $\tilde{y}_0 = T_{\theta_b}(E(x))$ . Im Gegensatz zu Standard-geschleiften Modellen, die die Rekursion von Null oder Rauschen initialisieren, startet das Attraktor-Modell den Verfeinerungsprozess mit einem kohärenten, eingabeabhängigen Vorschlag („warm-start").
Attraktor-Modul: Ein separates, gewichtsgespaltenes rekurrentes Netz, $T_{\theta_a}$ , das den anfänglichen Vorschlag verfeinert. Anstatt für eine feste Anzahl von Schritten zu laufen, löst das Attraktor-Modul den Fixpunkt $\tilde{y}^*$ , sodass:
$\tilde{y}^* = T_{\theta_a}(\tilde{y}^*, \tilde{y}_0)$
Dies wird als Finden der Nullstelle der Residuenfunktion $A_{\theta_a}(\tilde{y}, \tilde{y}_0) = T_{\theta_a}(\tilde{y}, \tilde{y}_0) - \tilde{y} = 0$ formuliert.

Wichtige technische Mechanismen:

Implizite Differentiation: Das Training nutzt den Satz über implizite Funktionen, um durch den Fixpunktlöser zu differenzieren. Der Gradient wird berechnet als $\frac{\partial L}{\partial \theta} = u^\top \frac{\partial T_{\theta_a}}{\partial \theta}$ , wobei $u = (I - J_{\tilde{y}}^\top)^{-1} v$ .
Ein-Schritt-Näherung: Um die Trainingseffizienz zu erhalten, verwenden die Autoren eine Ein-Schritt-Näherung ( $u \approx v$ ) für den Rückwärtspass, um die teure lineare Lösung zu vermeiden, die für eine vollständige implizite Differentiation erforderlich wäre. Dies hält den Trainingspeicher unabhängig von der Anzahl der Löseriterationen konstant.
Adaptive Konvergenz: Die Anzahl der Verfeinerungsschritte ist nicht festgelegt, sondern wird adaptiv durch eine Konvergenztoleranz $\epsilon$ (z. B. $\| \Delta \tilde{y} \| < \epsilon$ ) oder ein maximales Iterationsbudget bestimmt. Dies ermöglicht es dem Modell, die Verfeinerung zu beenden, sobald die Lösung stabilisiert ist.
Persistente Injektion: Der anfängliche Vorschlag $\tilde{y}_0$ wird bei jedem Verfeinerungsschritt persistent in das Attraktor-Modul injiziert (durch Addition oder Konkatenation), um sicherzustellen, dass der Fixpunkt eingabeabhängig bleibt und nicht in einen vorschlagsunabhängigen Zustand kollabiert.

Wichtige Beiträge

Stabiles Training mit konstantem Speicher: Durch das Lösen eines Gleichgewichts anstelle des Entrollens einer Schleife erreichen Attraktor-Modelle einen konstanten Speicherverbrauch während des Trainings bezüglich der Anzahl der Verfeinerungsschritte. Dies entkoppelt die effektive Tiefe von den Speicherkosten.
Internalisierung des Gleichgewichts: Ein neuartiges Phänomen, das während des Trainings beobachtet wurde, bei dem das Backbone-Modul lernt, einen anfänglichen Vorschlag $\tilde{y}_0$ zu produzieren, der bereits nahe am finalen Gleichgewicht $\tilde{y}^*$ liegt. Folglich wird der iterative Löser zur Inferenzzeit zunehmend unnötig; das Modell „selbstdestilliert" den Verfeinerungsprozess effektiv in seine anfängliche Vorhersage.
Leistungsstärke in zwei Regimen: Die Architektur zeigt starke Leistung in zwei unterschiedlichen Regimen:
- Groß angelegte Sprachmodellierung: Übertrifft Standard-Transformer und stabile geschleifte Baselines (wie Parcae) in Perplexität und downstream-Genauigkeit, bei gleichzeitig geringerem Trainings-Rechenaufwand.
- Schwierige Schlussfolgerung mit winzigen Modellen: Erreicht State-of-the-Art-Ergebnisse bei schwierigen algorithmischen Aufgaben (Sudoku-Extreme, Maze-Hard) mit sehr kleinen Parameterzahlen (27M) und begrenzten Daten, wo sowohl führende LLMs als auch spezialisierte rekursive Modelle versagen oder kollabieren.

Experimentelle Ergebnisse

Groß angelegte Sprachmodellierung

Evaluiert auf FineWeb-Edu über 140M, 370M und 770M Parameter-Skalen:

Pareto-Verbesserung: Attraktor-Modelle erreichen eine niedrigere Perplexität und eine höhere downstream-Genauigkeit als parametrisch abgestimmte Transformer und das geschleifte Modell Parcae, bei gleichzeitig 25–31 % weniger Trainings-FLOPs.
Skalierungseffizienz: Ein 770M-Attraktor-Modell übertrifft einen 1,3B-Standard-Transformer, der auf der doppelten Tokenmenge trainiert wurde.
Speichereffizienz: Der Spitzen-Trainingspeicher bleibt konstant, wenn die Anzahl der Schleifen zunimmt, während der Speicher von Parcae linear wächst.

Schwierige Schlussfolgerungsaufgaben

Evaluiert auf Sudoku-Extreme und Maze-Hard mit ca. 1.000 Trainingsbeispielen:

Überlegenheit winziger Modelle: Ein 27M-Attraktor-Modell erreicht 91,4 % Genauigkeit bei Sudoku-Extreme und 93,1 % bei Maze-Hard.
Versagen der Baselines: In diesem Regime versagen Standard-Transformer, führende Modelle (DeepSeek R1, Claude 3.7, o3-mini) und spezialisierte rekursive Modelle (TRM) vollständig (0 % Genauigkeit) oder kollabieren beim Hochskalieren.
Skalierungsverhalten: Im Gegensatz zu rekursiven Reasonern, die mit der Größe degradieren, verbessern sich Attraktor-Modelle, wenn die Parameterzahl von 7M auf 27M steigt.

Internalisierung des Gleichgewichts

Inferenz-Effizienz: Zur Inferenzzeit erfordert das Modell oft null oder eine Löseriteration ( $T=0$ oder $T=1$ ), um die Spitzenleistung zu erreichen, da der anfängliche Vorschlag des Backbones bereits nahe am Fixpunkt liegt.
Konvergenz: Die Anzahl der während des Trainings erforderlichen Löseriterationen sinkt schnell auf das Minimum, im Gegensatz zu Deep Equilibrium Models (DEQs), die oft zunehmende Iterationen benötigen, während das Training fortschreitet.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Attraktor-Modelle iterative Verfeinerung skalierbar machen, indem sie Rekursion in eine Berechnung transformieren, die das Modell lernen kann zu internalisieren. Indem sie Verfeinerung als Fixpunktproblem im Ausgabe-Einbettungsraum rahmen und sie mit einem sinnvollen Vorschlag initialisieren, überwindet die Architektur die Stabilitäts- und Speicherengpässe traditioneller geschleifter Modelle.

Die Autoren betonen, dass dieser Ansatz Folgendes ermöglicht:

Adaptive Tiefe: Die Berechnung wird basierend auf Konvergenzbedürfnissen statt eines festen Hyperparameters zugewiesen.
Trainingseffizienz: Konstanter Speicher und reduzierte FLOPs im Vergleich zur expliziten Entrollung.
Robustheit: Das Phänomen der „Internalisierung des Gleichgewichts" stellt sicher, dass die Vorteile iterativer Schlussfolgerung während des Trainings erfasst werden, ohne die sequentiellen Rechenkosten während der Inferenz zu verursachen.

Die Arbeit legt nahe, dass Rekursion nicht notwendigerweise ein Nachteil sein muss; wenn sie als Attraktorproblem formuliert wird, kann sie als stabiler, effizienter Mechanismus sowohl für Sprachmodellierung als auch für komplexe Schlussfolgerung dienen, selbst in parametereingeschränkten Regimen.