🤖 machine learning

Continuous Latent Contexts Enable Efficient Online Learning in Transformers

Dieser Beitrag zeigt, dass die Ausstattung von Transformern mit kontinuierlichen latenten Kontext-Token es ihnen ermöglicht, Online-Lernalgorithmen wie Weighted Majority und Q-Learning effizient zu implementieren, wodurch kleine Modelle bei langfristigen adaptiven Aufgaben deutlich größere LLMs übertreffen können.

Ursprüngliche Autoren: Emile Anand, Abdullah Ateyeh, Xinyuan Cao, Max Dabagia

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Emile Anand, Abdullah Ateyeh, Xinyuan Cao, Max Dabagia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein neues Spiel zu lernen, indem Sie einer Gruppe von vier Experten beim Spielen zuschauen. Jede Runde treffen die Experten eine Vorhersage, und dann erfahren Sie, wer recht hatte. Ihr Ziel ist es, im Laufe der Zeit die bestmögliche Vorhersage zu treffen, indem Sie herausfinden, welcher Experte am zuverlässigsten ist.

Dieser Artikel handelt davon, KI-Modellen (insbesondere „Transformern") beizubringen, wie sie diese Art des Lernens effizient bewältigen können, ohne jedes Mal ihr gesamtes „Gehirn" (Parameter) neu schreiben zu müssen, wenn sie neue Informationen erhalten.

Hier ist die Aufschlüsselung ihrer Entdeckung mit einfachen Analogien:

1. Das Problem: Die KI mit „Kurzzeitgedächtnis"

Standard-Sprachmodelle (LLMs) sind hervorragend darin, ein langes Gespräch zu betrachten und zu erraten, was als Nächstes kommt. Dies wird als „In-Context-Learning" bezeichnet. Wenn das Spiel jedoch lange dauert (hunderte von Runden), haben diese Modelle Schwierigkeiten. Sie neigen dazu, den großen Zusammenhang zu vergessen oder durch die schiere Menge vergangener Vorhersagen verwirrt zu werden. Sie verhalten sich wie jemand, der versucht, eine 100-seitige Geschichte nur anhand der letzten paar Sätze zu erinnern, anstatt eine laufende Zusammenfassung im Kopf zu behalten.

2. Die Lösung: Das „kontinuierliche Scratchpad"

Die Autoren schlagen vor, der KI ein spezielles Werkzeug zu geben: Kontinuierliche latente Kontext-Token.

Der alte Weg (diskrete Token): Stellen Sie sich vor, die KI versucht, eine Punktekarte zu führen, indem sie Wörter wie „Experte A ist gut" oder „Experte B ist schlecht" aufschreibt. Das nimmt viel Platz in Anspruch und wird unübersichtlich.
Der neue Weg (kontinuierliche Token): Stellen Sie sich vor, die KI hat ein winziges, unsichtbares Scratchpad, auf dem sie Zahlen schreiben kann, die keine Wörter sind. Sie kann diese Zahlen miteinander mischen, wie Farben.
- Anstatt zu schreiben „Experte A ist zu 80 % zuverlässig", hält sie eine einzelne, glatte „Farbe" vor, die diese 80-prozentige Zuverlässigkeit repräsentiert.
- Wenn eine neue Runde stattfindet, muss sie keinen neuen Satz schreiben. Sie verschiebt lediglich subtil die Farbe auf dem Scratchpad, um den Punktestand zu aktualisieren.

Dieses „Scratchpad" ist kompakt (es nimmt sehr wenig Platz ein) und persistent (es bleibt von einer Runde zur nächsten bei der KI).

3. Der Beweis: Der KI Mathematik beibringen

Die Forscher haben nicht nur gehofft, dass dies funktionieren würde; sie haben es mathematisch bewiesen und dann eine kleine KI trainiert, dies zu tun.

Der Weighted-Majority-Algorithmus: Sie zeigten, dass eine winzige KI mit diesem Scratchpad einen berühmten mathematischen Algorithmus zur Verfolgung der Expertenverlässlichkeit perfekt nachahmen kann. Es ist, als würde man der KI einen Taschenrechner geben, der automatisch den „Vertrauensscore" für jeden Experten sofort aktualisiert.
Q-Learning (die Videospiel-Analogie): Sie brachten der KI auch bei, ein einfaches Videospiel zu spielen (ein Markov-Entscheidungsprozess). In diesem Spiel muss die KI lernen, welche Züge die besten Belohnungen bringen.
- Normalerweise benötigt eine KI eine riesige Tabelle, um den Wert jedes möglichen Zuges zu speichern.
- Mit dem kontinuierlichen Scratchpad speichert die KI diese gesamte „Wertetabelle" als einige gemischte Zahlen. Sie kann ihre Strategie nach jedem Zug sofort aktualisieren, genau wie ein menschlicher Spieler, der aus Erfahrung lernt.

4. Die Überraschung: Kleine KI vs. Riesige KI

Der überraschendste Teil des Artikels ist das Experiment mit „Frontier"-Modellen (riesige, leistungsfähige KIs wie DeepSeek-V3 und Qwen-3-14B).

Das Setup: Sie baten diese riesigen KIs, das Experten-Vorhersagespiel zu spielen.
Das Ergebnis:
- Ohne Scratchpad: Die riesigen KIs hatten Schwierigkeiten. Sie verließen sich auf das Kurzzeitgedächtnis (wie „die letzte Person hatte recht, also werde ich das auch raten") und schnitten über lange Sequenzen hinweg schlecht ab.
- Mit Scratchpad (die „Notiz"): Die Forscher erlaubten den riesigen KIs, nach jeder Runde eine kurze „Notiz" zu schreiben, um zusammenzufassen, was sie gelernt hatten.
- Das Ergebnis: Als die riesigen KIs diese Notizen schreiben durften, stieg ihre Leistung enorm an. Sie begannen, sich wie die kleine, mathematisch perfekte KI zu verhalten, die die Autoren entwickelt hatten.

Der Haken: Die riesigen KIs wussten von sich aus nicht, wie man eine gute Notiz schreibt. Sie mussten dazu aufgefordert werden. Als sie es taten, erkannten sie, dass das Zusammenfassen der Vergangenheit (z. B. „Experte A ist zu 90 % genau") viel besser war als das bloße Erinnern der rohen Historie.

5. Das Fazit

Der Artikel argumentiert, dass kontinuierliche latente Kontexte (das unsichtbare Scratchpad mit gemischten Zahlen) der Schlüssel sind, um KI effizient beim langfristigen Lernen zu machen.

Kleine KI + Scratchpad: Kann komplexe Online-Strategien perfekt und effizient lernen.
Riesige KI + Scratchpad: Kann plötzlich beim langfristigen Entscheidungsfinden viel besser werden und übertrifft sogar größere Modelle, die keinen solchen „Zustands"-Mechanismus besitzen.

Kurz gesagt schlägt der Artikel vor, dass wir, um KI wirklich klug im Lernen über die Zeit zu machen, die Modelle nicht einfach nur größer machen sollten; wir sollten ihnen einen besseren Weg geben, eine Zusammenfassung dessen, was sie gelernt haben, festzuhalten, indem wir einen „kontinuierlichen" internen Zustand verwenden, anstatt nur eine lange Liste von Wörtern.

Technische Zusammenfassung: Kontinuierliche latente Kontexte ermöglichen effizientes Online-Lernen in Transformern

Problemstellung

Large Language Models (LLMs) zeigen starke Fähigkeiten zum kontextbasierten Lernen, indem sie Prädiktoren aus gelabelten Beispielen ableiten, ohne Parameter zu aktualisieren. Viele interaktive Szenarien erfordern jedoch Online-Entscheidungsfindung, bei der ein Modell über lange Mehr-Turn-Horizonte hinweg als Reaktion auf Feedback adaptieren muss. Effektives Online-Lernen erfordert die Aufrechterhaltung einer kompakten Repräsentation erlernter Informationen (einen algorithmischen Zustand), um zukünftige Entscheidungen zu informieren.

Standard Chain-of-Thought (CoT)-Prompting stellt intermediäres Denken durch diskrete Tokens dar, was für komplexe Aufgaben mit langen Horizonten prohibitiv lang werden kann. Neuere Arbeiten zu kontinuierlichem Chain-of-Thought (z. B. COCONUT) deuten darauf hin, dass kontinuierliche latente Zustände Informationen in „Superpositionen" von Vokabular-Tokens tragen können und potenziell eine kompaktere Kontextrepräsentation bieten. Die zentrale Frage dieses Papiers ist, ob kontinuierliche latente Kontext-Tokens Transformer so ausstatten können, dass sie Online-Lernalgorithmen effektiv implementieren, insbesondere durch Speicherung und Aktualisierung algorithmischer Zustände als lineare Kombinationen von Feature-Embeddings.

Methodik

Das Papier verfolgt einen dualen Ansatz, der theoretische Konstruktion und empirische Validierung kombiniert:

1. Theoretische Konstruktionen

Die Autoren liefern explizite Konstruktionen von causal Transformern mit konstanter Tiefe, die mit kontinuierlichen latenten Kontext-Tokens (im Einklang mit der COCONUT-Architektur) ausgestattet sind, um zwei grundlegende Online-Entscheidungsverfahren zu implementieren:

Weighted Majority Algorithm (WMA):
- Mechanismus: Der Transformer hält den Zustand von WMA in einem einzigen kontinuierlichen Kontextvektor. Dieser Vektor fungiert als Superposition (lineare Kombination) von Expert-Embeddings, wobei der Koeffizient jedes Expert-Embeddings dem Logarithmus des Gewichts dieses Experten entspricht.
- Operation:
  - Vorhersage: Ein Soft-Attention-Kopf fragt den Zustandsvektor gegen Expert-Vorhersage-Keys ab, um die gewichtete Mehrheitsvorhersage zu berechnen.
  - Aktualisierung: Nach Erhalt der Ground Truth wird der Zustandsvektor durch lineare Attention-Operationen aktualisiert, um die Log-Gewichte korrekter Experten zu inkrementieren (multiplikativer Gewichts-Update).
- Ergebnis: Die Konstruktion beweist, dass ein Transformer mit konstanter Tiefe und $O(1)$ Heads die Regel für exponentielle Gewichts-Updates exakt wiederherstellen kann.
Tabellarisches Q-Learning:
- Mechanismus: Der Transformer implementiert online tabellarisches Q-Learning für Markov-Entscheidungsprozesse (MDPs). Die Q-Tabelle wird als Satz kontinuierlicher Kontext-Tokens kodiert, wobei jedes Token eine Zeile der Q-Tabelle (indexiert nach Aktion) als Superposition von Zustands-Embeddings darstellt.
- Operation: Der Transformer führt pro Schritt zwei Aufgaben aus:
  1. Evaluation: Er ruft aktuelle Q-Werte ab, um eine Aktion auszuwählen (Implementierung von $\max_a Q(s, a)$ ).
  2. Update: Er berechnet das Bellman-Update ( $Q(s, a) \leftarrow Q(s, a) + \alpha[r + \gamma \max_{a'} Q(s', a') - Q(s, a)]$ ), indem er Terme in disjunkte Unterräume schreibt und diese im Residual-Stream linear summiert.
- Ergebnis: Es wird gezeigt, dass ein causal Transformer mit vier Schichten das Q-Learning-Update in jedem Schritt exakt implementiert.

2. Empirische Validierung

Die Autoren trainierten kleine Transformer im Stil von GPT-2 mit kontinuierlichen latenten Kontexten unter Verwendung von Multi-Curriculum-Zielen, die die latenten Zustände nicht direkt überwachten.

Unüberwachtes Lernen aus Expertendaten: Ein kleiner Transformer (4 Schichten, ~200K Parameter) wurde auf Expert-Vorhersagesequenzen trainiert. Das Modell lernte, latente Kontexte zu erhalten, die die Zuverlässigkeit von Experten kodierten, und erreichte eine Leistung, die mit dem optimalen multiplikativen Gewichts-Algorithmus vergleichbar war.
Imitationslernen von Q-Learning: Ein ähnlicher kleiner Transformer wurde auf Trajektorien trainiert, die durch tabellarisches Q-Learning generiert wurden. Das Modell lernte, Aktionen auszugeben, die mit der tabellarischen gierigen Politik konsistent waren. Lineare Sonden bestätigten, dass die Bellman-Update-Komponenten (Belohnung, aktueller Wert, gebootstrapper Wert) im Residual-Stream explizit repräsentiert waren.
Evaluation von Frontier-LLMs: Die Autoren evaluierten große Modelle (Qwen-3-14B und DeepSeek-V3) an interaktiven Expert-Vorhersageaufgaben. Sie verglichen ein Standardprotokoll mit einem Protokoll, das es dem Modell erlaubte, eine kurze, unüberwachte „Notiz" auszugeben, um Zustandsinformationen zu tragen.

Hauptergebnisse

Theoretische Machbarkeit: Das Papier zeigt, dass Transformer mit konstanter Tiefe und kontinuierlichen latenten Kontexten theoretisch komplexe Online-Lernalgorithmen (WMA und Q-Learning) implementieren können, indem sie algorithmische Zustände als Superpositionen in einer festen Anzahl von Kontext-Tokens speichern.
Effizienz kleiner Modelle: In synthetischen Online-Vorhersageaufgaben übertraf der kleine trainierte Transformer (4 Schichten, 200K Parameter) deutlich größere und komplexere LLMs (Qwen-3-14B mit 14,8 Mrd. Parametern und DeepSeek-V3 mit 671 Mrd. Parametern) bei Entscheidungsfindungsaufgaben mit langen Sequenzen.
Wiederherstellung latenter Zustände: In den trainierten kleinen Modellen wurde beobachtet, dass Attention-Mechanismen sich auf die latenten Kontext-Tokens konzentrierten, und lineare Sonden entschlüsselten den algorithmischen Zustand (Expertengewichte oder Q-Werte) erfolgreich aus diesen Tokens. Dies bestätigte, dass die Modelle gelernt hatten, den Kontext als persistenten Zustand zu nutzen.
Zustandsbeschränkungen von LLMs: Frontier-LLMs zeigten eine gewisse Fähigkeit, sich an Feedback anzupassen, performten jedoch signifikant besser, wenn sie eine explizite „Notiz" mit Zustandsinformationen ausgeben durften. Diese LLMs verließen sich jedoch oft auf linear wachsende Textnotizen (z. B. Transkripte rundenweise) anstelle von kompakten Zustandsrepräsentationen. Im Gegensatz dazu verwendet der vorgeschlagene Ansatz kontinuierlicher latenter Kontexte eine konstante Anzahl von Tokens unabhängig von der Sequenzlänge.

Bedeutung und Behauptungen

Das Papier behauptet, dass kontinuierliche latente Kontexte einen einfachen und effektiven persistenten Zustand für Transformer bieten, um Online-Lernalgorithmen zu implementieren.

Algorithmische Interpretation: Die Ergebnisse unterstützen eine algorithmische Interpretation kontinuierlichen latenten Denkens und legen nahe, dass Transformer ihren Kontext nicht nur als passiven Pufferspeicher, sondern als aktiven, persistenten Online-Lernzustand nutzen können, der die Implementierung spezifischer Algorithmen ermöglicht.
Effizienz: Der Ansatz unterstreicht den Wert kontinuierlicher latenter Repräsentationen gegenüber diskreten tokenbasierten Denkprozessen für Aufgaben, die eine langfristige Zustandsaufrechterhaltung erfordern. Er legt nahe, dass kleine Modelle, die mit dem richtigen induktiven Bias (kontinuierliche Kontexte) ausgestattet sind, massive Modelle übertreffen können, die auf diskrete Tokenketten zur Zustandsverfolgung angewiesen sind.
Limitationen: Die Autoren weisen darauf hin, dass ihre theoretischen Konstruktionen im Worst-Case optimal sind und dass das Entstehen dieser spezifischen Update-Regeln aus gradientenbasiertem Training auf natürlichen Sprachdaten eine offene Frage bleibt. Sie erkennen zudem an, dass ihre Studie auf vereinfachte Entscheidungsfindungsszenarien beschränkt ist und eine Generalisierung auf reale Denkprozesse noch nicht etabliert ist.

Die Arbeit positioniert kontinuierliches latentes Denken als potenzielle Lösung für die Skalierbarkeitsprobleme diskreten Chain-of-Thought in der Online-Entscheidungsfindung und bietet einen Weg zu effizienterer und kompakterer Zustandsaufrechterhaltung in Transformer-Architekturen.