🤖 machine learning

Streaming Reinforcement Learning under Partial Observability with Real-Time Recurrent Learning

Dieser Beitrag stellt rekurrente Spur-Einheiten vor, eine diagonale rekurrente Architektur, die exaktes Echtzeit-rekurrentes Lernen mit linearer Komplexität ermöglicht und es Streaming-Reinforcement-Learning-Agenten erlaubt, partielle Beobachtbarkeit und langfristige Abhängigkeiten effektiv zu bewältigen, ohne auf Replay-Puffer oder gebatchte Updates zurückzugreifen.

Ursprüngliche Autoren: Noah Farr, Aryaman Reddi, Carlo D'Eramo, Jan Peters

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Noah Farr, Aryaman Reddi, Carlo D'Eramo, Jan Peters

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Labyrinth zu navigieren, aber Sie haben zwei sehr strenge Regeln:

Keine Notizbücher: Der Roboter darf nicht auf seine vergangenen Erfahrungen zurückblicken. Er muss nur aus dem aktuellen Moment lernen und die Daten sofort wieder vergessen.
Mit verbundenen Augen: Der Roboter kann nicht das gesamte Labyrinth auf einmal sehen. Er sieht nur einen winzigen Ausschnitt der Welt direkt vor sich, sodass er sich daran erinnern muss, was vor ein paar Sekunden passiert ist, um die Gegenwart zu verstehen.

Dies ist die Herausforderung, die die Arbeit angeht: Streaming-Reinforcement-Learning unter partieller Beobachtbarkeit.

Hier ist die Aufschlüsselung ihrer Lösung mit einfachen Analogien.

Das Problem: Die „Einschrittige" Gedächtnislücke

Die meisten modernen KI-Systeme lernen, indem sie auf einen „Replay-Puffer" zurückgreifen – ein riesiges Notizbuch, in dem sie Tausende vergangener Züge speichern, um sie später zu studieren. In der realen Welt (wie bei einem autonomen Fahrzeug oder einem Roboter auf dem Fabrikboden) kann man jedoch oft nicht so viele Daten speichern. Man muss „on the fly" lernen, Schritt für Schritt. Dies wird als Streaming bezeichnet.

Wenn der Roboter zudem „mit verbundenen Augen" ist (partiell beobachtbar), muss er sich an die Vergangenheit erinnern, um die Gegenwart zu verstehen. Normalerweise tut dies die KI, indem sie einige Schritte in ihrer Historie zurückblickt. Wenn man jedoch die Vergangenheit nicht speichern kann, kann man nur einen Schritt zurückblicken.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Rätsel zu lösen, bei dem Sie nur fragen dürfen: „Was ist gerade jetzt passiert?" Wenn der Hinweis, den Sie benötigen, vor 10 Schritten lag, stecken Sie fest. Die Arbeit nennt dies den „Einschrittigen Gradientenhorizont", und er führt dazu, dass die KI bei Aufgaben, die ein Langzeitgedächtnis erfordern, versagt.

Die alte Lösung: Der teure Rechner

Es gibt eine mathematische Methode namens RTRL (Real-Time Recurrent Learning), die alles perfekt merken kann, ohne ein Notizbuch. Sie berechnet, wie jeder einzelne vergangene Schritt den aktuellen Moment beeinflusst.

Das Problem: Diese Mathematik durchzuführen, ist unglaublich aufwendig. Für ein Standard-KI-Gehirn wächst die Berechnung so schnell an (wie eine Schneeballschnecke, die sich in eine Lawine verwandelt), dass sie in Echtzeit unmöglich ausführbar wird. Es ist, als würde man versuchen, ein Sudoku-Puzzle im Kopf zu lösen, während man einen Marathon läuft.

Die neue Lösung: Der „diagonale" Shortcut

Die Autoren fanden einen cleveren Weg, diese schwere Mathematik leicht zu machen. Sie verwendeten eine spezielle Art von neuronaler Netzwerkschicht namens RTU (Recurrent Trace Units).

Die Analogie: Denken Sie an ein Standard-KI-Gehirn als an eine belebte Stadt, in der jede Straße mit jeder anderen verbunden ist. Um den Verkehrsfluss (Gradienten) zu berechnen, müssen Sie jede einzelne Kreuzung überprüfen.
Der RTU-Trick: Die RTU verändert das Stadtlayout so, dass jede Straße nur mit sich selbst verbunden ist. Es ist ein „diagonales" Straßensystem. Da die Verbindungen so einfach sind, wird die Mathematik schnell und leicht (lineare Zeit), was es dem Roboter ermöglicht, die perfekte „alles merken"-Berechnung in Echtzeit ohne Notizbuch durchzuführen.

Wie sie es zusammengesetzt haben

Das Team nahm bestehende „Streaming"-Algorithmen (die einen Schritt nach dem anderen lernen) und tauschte diese speziellen RTU-Schichten aus.

Das Ergebnis: Der Roboter kann nun aus einem einzigen Datenstrom lernen, lange Ereignisketten im Gedächtnis behalten und herausfinden, was zu tun ist, selbst wenn er nicht das gesamte Bild sehen kann.

Der Beweis: Hat es funktioniert?

Die Arbeit testete dies an drei Arten von Herausforderungen:

Der „Gedächtnisketten"-Test: Stellen Sie sich ein Spiel vor, bei dem Sie sich an eine geheime Zahl erinnern müssen, die vor 100 Schritten gegeben wurde.
- Alter Streaming-KI: Vergaß die Zahl nach etwa 16 Schritten.
- Neue KI: Erinnerte sich perfekt bis zu 64 Schritten. Es bewies, dass die „Shortcut-Mathematik" (RTRL) der Schlüssel war, nicht nur die Architektur.
Die „POPGym"-Gedächtnisspiele: Dies sind Logikrätsel, bei denen die KI Muster über die Zeit hinweg merken muss.
- Ergebnis: Die neue Streaming-Methode löste alle fünf Rätsel genauso gut wie die „Notizbuch"-Methoden (batched PPO), die vergangene Daten speichern.
Der „verblindete" Roboter (MuJoCo): Sie testeten einen Roboter, der laufen musste, aber seine eigene Geschwindigkeit oder Position nicht sehen konnte (er musste basierend auf dem Gedächtnis raten).
- Ergebnis: Der Streaming-Roboter lernte zu laufen und erholte einen großen Teil der Leistung der „Notizbuch"-Roboter, obwohl er nie auf alte Daten zurückblickte.

Das „Veraltetheits"-Problem (ein kleiner Fehler)

Die Arbeit bemerkte auch einen kleinen Nebeneffekt. Da der Roboter lernt, während er sich bewegt, ist die Mathematik, die er verwendet, um sich an die Vergangenheit zu erinnern, leicht „veraltet" (wie das Lesen einer Karte, die vor einer Sekunde gezeichnet wurde, während sich das Gelände bereits leicht verschoben hat).

Sie maßen diese „Veraltetheit" und fanden eine mathematische „Korrektur" (eine Taylor-Korrektur), die die Karte genauer macht und den Fehler erheblich reduziert.

Zusammenfassung

Die Arbeit behauptet nicht, dies sei die absolut beste KI für jeden Job. Stattdessen behauptet sie, eine spezifische Lücke geschlossen zu haben: Sie bewies, dass man einer KI beibringen kann, langfristige Ereignisse zu merken und „verblindete" Situationen zu bewältigen, ohne ein Gedächtnis-Notizbuch zu verwenden. Dies geschieht durch einen speziellen, leichten Mathematik-Trick (RTU + RTRL), der perfektes Gedächtnis in Echtzeit ermöglicht.

Technische Zusammenfassung: Streaming-Reinforcement-Learning unter teilweiser Beobachtbarkeit mit Echtzeit-Recurrent-Learning

Problemstellung

Streaming-Reinforcement-Learning (RL) ist ein Online-Lernparadigma, bei dem ein Agent seine Policy oder Wertfunktion von jedem eingehenden Stichprobenwert sofort aktualisiert, ohne einen Replay-Puffer zu unterhalten oder Batch-Updates zu verwenden. Während jüngste Arbeiten Streaming-RL erfolgreich auf tiefe Funktionsapproximation in vollständig beobachtbaren Umgebungen mittels Eligibility-Traces skaliert haben, blieb die Erweiterung auf teilweise beobachtbare Settings (POMDPs) eine offene Herausforderung.

In teilweise beobachtbaren Umgebungen müssen Agenten auf rekurrente Architekturen zurückgreifen, um einen versteckten Zustand zu erhalten, der den historischen Kontext erfasst. Standardmethoden für rekurrentes Lernen stehen jedoch im Streaming-Setting vor einem Zielkonflikt:

Abgebrochene Backpropagation Through Time (TBPTT): Im Setting mit Einzelstichproben-Updates kollabiert TBPTT zu einem Zeithorizont von einem Schritt (TBPTT(1)). Dies liefert nur einen Gradienten für einen Schritt, was für die Kreditvergabe über lange zeitliche Abhängigkeiten hinweg unzureichend ist.
Real-Time Recurrent Learning (RTRL): RTRL berechnet Vorwärtsmodi-Gradienten inkrementell und ist theoretisch ideal für Streaming. Für allgemeine rekurrente Architekturen (wie GRUs oder LSTMs) weist RTRL jedoch eine prohibitiv hohe rechnerische Komplexität auf, die quartisch ( $O(n^4)$ ) mit der versteckten Dimension $n$ skaliert.

Der vorliegende Beitrag schließt die Lücke zwischen dem Bedarf an Kreditvergabe über lange Zeithorizonte in POMDPs und den rechnerischen Beschränkungen von Streaming-Updates.

Methodik

Die vorgeschlagene Methode integriert Recurrent Trace Units (RTUs) mit exaktem Real-Time Recurrent Learning (RTRL) in bestehende Streaming-RL-Algorithmen.

Kernarchitektur: Recurrent Trace Units (RTUs)

RTUs sind eine diagonale, komplexwertige rekurrente Architektur. Im Gegensatz zu allgemeinen rekurrenten Einheiten ist eine RTU-Schicht definiert durch:
$h_t = \Lambda h_{t-1} + W x_t$
wobei $\Lambda$ eine Diagonalmatrix mit komplexen Einträgen $\lambda_k = r_k(\cos \Omega_k + i \sin \Omega_k)$ ist. Da jede versteckte Einheit nur mit sich selbst verbunden ist (diagonale Rekurrenz), vereinfacht sich die Gradientenberechnung erheblich. Diese Struktur ermöglicht die Berechnung von exaktem RTRL mit linearer Zeit- und Speicherkomplexität relativ zur Parameteranzahl und vermeidet so den $O(n^4)$ -Flaschenhals des Standard-RTRL.

Integration mit Streaming-RL

Die Autoren fügen eine einzelne RTU-Schicht zwischen den Beobachtungs-Encoder und den feedforward-Kopf (Wert oder Policy) standardmäßiger Streaming-Algorithmen ein (speziell QRC( $\lambda$ ) für wertbasierte und stream AC( $\lambda$ ) für policybasierte Steuerung).

Der Update-Mechanismus umfasst zwei unterschiedliche Spuren, die sich natürlich kombinieren:

Eligibility-Traces: Standard-Zeitliche Kreditvergabe-Spuren ( $z_t$ ), die im Streaming-RL verwendet werden, um Gradienten über die Zeit zu akkumulieren ( $z_t = \gamma\lambda z_{t-1} + g_t$ ).
RTRL-Spuren: Vorwärtsmodi-Sensitivitätsmatrizen ( $S_t = \partial h_t / \partial \psi$ ), die von der RTU-Schicht unterhalten werden, um Gradienten durch den rekurrenten Zustand zu propagieren.

Strategie zur Gradientenberechnung:

Rekurrente Parameter ( $\psi$ ): Gradienten werden unter Verwendung der exakten RTRL-Spur $S_t$ berechnet, die in jedem Schritt vorwärts aktualisiert wird.
Kopf-Parameter ( $w$ ): Standard-Backpropagation wird verwendet, da keine zeitliche Abhängigkeit besteht.
Encoder-Parameter ( $\theta$ ): Um die prohibitiven Kosten der Unterhaltung exakter Spuren durch einen tiefen Encoder zu vermeiden, verwenden die Autoren eine Approximation über einen Schritt. Der Encoder wird nur für seine unmittelbare Wirkung auf den aktuellen versteckten Zustand kreditiert, wobei sein Einfluss durch vergangene Zustände ignoriert wird. Dies ist eine notwendige Approximation für tiefe Encoder im Streaming-Regime.

Analyse und Korrektur der Veraltetheit (Staleness)

Der Beitrag anerkennt, dass sich unter Streaming-Updates die Parameter $\psi$ in jedem Schritt ändern. Folglich akkumuliert die RTRL-Sensitivitätsmatrix $S_t$ Jacobi-Matrizen, die an veralteten Parametern evaluiert wurden, was zu „Veraltetheit" (Staleness) führt.

Die Autoren leiten eine theoretische Schranke für diesen Veraltetheitsfehler ab und zeigen, dass er linear mit der Schrittbreite und dem Horizont der Kreditvergabe skaliert.
Sie schlagen eine Korrektur erster Ordnung mittels Taylor-Entwicklung für das Sensitivitäts-Update vor. Durch Approximation der Änderung der unmittelbaren Jacobi-Matrix basierend auf dem Parameter-Update $\Delta \psi$ reduzieren sie den Veraltetheitsfehler von $O(\eta)$ auf $O(\eta^2)$ .

Hauptbeiträge

Algorithmus: Ein Streaming-tiefes-RL-Algorithmus für teilweise beobachtbare Umgebungen unter Verwendung von RTUs, die mit exaktem RTRL trainiert werden. Er erfordert keinen Replay-Puffer und keine Batch-Updates.
Diagnostische Validierung: Ein MemoryChain-Experiment, das demonstriert, dass diese Kombination die Kreditvergabe über Kettenlängen (bis zu 64 Schritten) aufrechterhält, bei denen Streaming-Baselines mit feedforward-Netzen, GRUs oder RTUs mit TBPTT(1) kollabieren.
Empirische Leistung: Belege aus fünf POPGym-Gedächtnisaufgaben und teilweise beobachtbaren MuJoCo-Kontinuierlichen-Steuerungsaufgaben zeigen, dass der Streaming-Ansatz mit batched PPO konkurrieren kann, alle POPGym-Aufgaben löst und einen erheblichen Anteil der batched-Leistung bei MuJoCo wiederherstellt.
Veraltetheitsanalyse: Eine quantitative Analyse der RTRL-Sensitivitätsveraltetheit unter Streaming-Updates, die eine stationäre Fehlerschranke liefert und die Wirksamkeit einer Taylor-Korrektur erster Ordnung zur Verschärfung dieser Schranke demonstriert.

Experimentelle Ergebnisse

MemoryChain (Horizont der Kreditvergabe)

Bei einer diagnostischen Aufgabe, bei der der Agent einen binären Hinweis nach $L$ Schritten erinnern muss:

Baselines: Feedforward-Netze, GRUs mit TBPTT(1) und RTUs mit TBPTT(1) kollabierten alle bei Kettenlängen $L > 16$ auf nahezu Null-Erträge.
Vorgeschlagene Methode: RTU mit exaktem RTRL hielt hohe Leistung bis $L=48$ aufrecht und blieb bis $L=64$ konkurrenzfähig. Dies bestätigt, dass die Gradientenmethode (RTRL) und nicht nur die Architektur der kritische Faktor für die Kreditvergabe über lange Zeithorizonte im Streaming ist.

POPGym (Diskrete Gedächtnisaufgaben)

Ausgewertet an fünf Aufgaben (Autoencode, Concentration, CountRecall, HigherLower, RepeatFirst):

Zwei Streaming-Varianten (QRC( $\lambda$ )-RTU und stream AC( $\lambda$ )-RTU) wurden gegen eine batched PPO-RTU-Baseline verglichen.
Die beiden Streaming-Methoden waren komplementär: stream AC( $\lambda$ )-RTU gelang drei Aufgaben, bei denen QRC( $\lambda$ )-RTU scheiterte, und umgekehrt.
Ergebnis: Zusammen lösten die Streaming-Methoden alle fünf Aufgaben und erreichten die Leistung von batched PPO, ohne vergangene Trajektorien zu speichern.

Masked MuJoCo (Kontinuierliche Steuerung)

Ausgewertet bei Lokomotionsaufgaben (Ant, HalfCheetah, Hopper, Walker2d) mit maskierten Geschwindigkeiten oder Positionen:

Die Streaming-Methode (stream AC( $\lambda$ )-RTU) war bei mehreren Aufgaben mit batched PPO-RTU konkurrenzfähig (z. B. Gleichstand bei HalfCheetah-P, Überlegenheit bei Walker2d-V).
Obwohl sie bei einigen Aufgaben hinter batched PPO zurückblieb (z. B. Walker2d-P), stellte sie einen erheblichen Anteil der batched-Leistung wieder her und demonstrierte die Machbarkeit der kontinuierlichen Steuerung unter teilweiser Beobachtbarkeit ohne Replay-Puffer.

KMemoryChain (Quantifizierung der Veraltetheit)

Eine Variante von MemoryChain, die entwickelt wurde, um die RTRL-Spur kontinuierlich zu beanspruchen:

Veraltetheit wurde als $\ell_2$ -Abstand zwischen der Online-Sensitivitätsmatrix und einer Referenz gemessen, die mit aktuellen Parametern neu berechnet wurde.
Die Veraltetheit nahm mit dem Gedächtnishorizont $K$ zu, konsistent mit theoretischen Schranken.
Die Taylor-Korrektur reduzierte die Veraltetheit signifikant, insbesondere bei längeren Horizonten ( $K=16$ ), und korrespondierte mit schnellerem Lernen und stabileren Trainingskurven im Regime hoher Veraltetheit.

Bedeutung und Behauptungen

Die Autoren äußern ausdrücklich Bescheidenheit bezüglich ihrer Behauptungen:

Kein State-of-the-Art (SOTA)-Anspruch: Sie beanspruchen nicht, die absolut beste Leistung auf einem einzelnen Benchmark im Vergleich zu unbeschränkten batched-Methoden zu erzielen.
Hauptbeitrag: Die Bedeutung liegt im Schließen der Lücke zwischen Streaming-RL und teilweiser Beobachtbarkeit. Sie demonstrieren, dass es möglich ist, tiefes RL in POMDPs unter den strengen Beschränkungen von Streaming (kein Replay-Puffer, Einzelstichproben-Updates) durch die Kombination von RTUs mit exaktem RTRL durchzuführen.
Anwendbarkeit: Die Methode ist für Szenarien positioniert, in denen Ressourcenbeschränkungen real sind, wie z. B. Lernen auf dem Gerät, Echtzeitsteuerung und lebenslanges Lernen, bei denen das Speichern vergangener Trajektorien unpraktisch ist.

Der Beitrag schließt damit, dass, obwohl die Lücke zur batched-Leistung bei einigen kontinuierlichen Steuerungsaufgaben bestehen bleibt, die vorgeschlagene Methode das Streaming-Paradigma erfolgreich auf komplexe, teilweise beobachtbare Umgebungen erweitert und die Lebensfähigkeit von exaktem RTRL mit linearer Komplexität im tiefen RL validiert.