🤖 machine learning

Endpoint Replay: Compressing the Recency Buffer in Deep Reinforcement Learning

Dieses Paper führt „Endpoint Replay“ ein, eine Methode, die den Experience-Replay-Buffer komprimiert, indem sie repräsentative Übergänge von den Endpunkten verbundener n-Schritt-Sequenzen speichert, wodurch eine vergleichbare Leistung zu herkömmlichen großen Puffern bei einer Reduzierung der Speicheranforderungen um eine Größenordnung erreicht wird.

Ursprüngliche Autoren: Parham Mohammad Panahi, Armin Ashrafi, Haoyu Du, Andrew Patterson, Martha White, Adam White

Veröffentlicht 2026-07-29

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Parham Mohammad Panahi, Armin Ashrafi, Haoyu Du, Andrew Patterson, Martha White, Adam White

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Roboter vor, der lernt, ein Videospiel zu spielen. Um gut zu werden, muss er üben, aber er kann sich nicht nur auf das verlassen, was in den letzten paar Sekunden passiert ist; er muss sich an Lektionen von vor Stunden erinnern können. In der Welt der künstlichen Intelligenz wird dieser Speicherbank als „Experience Replay Buffer“ bezeichnet. Denken Sie an ein Notizbuch eines Schülers, in dem er jede Bewegung, die er gemacht hat, den erzielten Punktestand und das, was als Nächstes geschah, aufschreibt. Die meisten modernen KI-Roboter nutzen ein massives Notizbuch – oft mit einer Million Einträgen –, um sicherzustellen, dass sie das Wichtige nicht vergessen. Sie blättern zufällig in diesem Notizbuch, um aus vergangenen Fehlern und Erfolgen zu lernen. Aber hier liegt der Haken: Das Speichern von einer Million Einträgen verbraucht viel Computerspeicher und Energie. Wissenschaftler stellen eine einfache Frage: Können wir dieses Notizbuch auf eine winzige Größe schrumpfen, ohne dass der Roboter verlernt, wie man spielt?

Das Papier, das Sie gleich lesen werden, befasst sich genau mit diesem Problem. Es führt eine clevere neue Methode zur Komprimierung dieses Gedächtnisses ein und beweist, dass eine KI genauso gut lernen kann mit einem Notizbuch, das 10- bis 50-mal kleiner ist als die Standardversionen. Die Forscher entdeckten, dass der Roboter verwirrt wird, wenn man einfach nur ein paar „wichtige“ Seiten aus einem riesigen Notizbuch auswählt, um sie zu behalten, da die Seiten untereinander keine Verbindung haben. Ihre Lösung? Anstatt isolierte Seiten zu behalten, bewahren sie „Ketten“ von Ereignissen auf, die logisch miteinander verknüpft sind und sicherstellen, dass jede Lektion logisch zur nächsten führt. Durch den Einsatz eines speziellen mathematischen Tricks zur Handhabung der zeitlichen Lücken gelang es ihnen, ein massives Gedächtnis in einen winzigen Raum zu pressen, wodurch der Roboter schneller und kostengünstiger lernen kann, ohne seine Fähigkeiten zu verlieren.

Das Problem: Ein Notizbuch voller loser Seiten

Seit Jahren ist das Standardrezept für das Lehren von KI-Agenten (wie jenen, die Atari-Spiele spielen) das Vorhalten eines riesigen „FIFO“-(First-In, First-Out) Buffers. Stellen Sie sich ein Förderband vor, bei dem neue Erfahrungen vorne auf das Band gleiten und alte hinten wieder herunterfallen. Das Band ist normalerweise eine Million Schritte lang. Die KI zieht zufällige Seiten von diesem Band, um zu lernen. Es funktioniert, ist aber sperrig.

Forscher haben bereits versucht, dieses Band zu schrumpfen. Einige versuchten, nur die „wichtigsten“ Seiten zu behalten, eine Technik, die als Coreset bezeichnet wird. Die Idee war, die besten, repräsentativsten Erfahrungen auszuwählen und den Rest wegzuwerfen. Die Autoren dieses Papiers fanden jedoch einen verborgenen Fehler in diesem Ansatz.

Wenn Sie zufällige, isolierte Seiten aus einer riesigen Historie auswählen, erhalten Sie oft eine Seite, die besagt: „Ich habe diese Aktion ausgeführt und bin dann in diesem Zustand gelandet.“ Wenn Sie jedoch alle Seiten dazwischen wegwerfen, lernt die KI nie wirklich, was innerhalb dieses Landezustands passiert. Es ist, als würde man ein Comicbuch lesen, bei dem man nur das erste und das letzte Panel einer Szene behält. Man sieht den Helden springen und dann sieht man ihn landen, aber man hat keine Ahnung, wie er dorthin gekommen ist oder wie sich die Landung angefühlt hat. In der Fachsprache der KI wird das „Bootstrap Target“ (der Wert, den die KI für den nächsten Schritt vorherzusagen versucht) unverankert (unanchored). Die KI rät den Wert eines Zustands, den sie in ihrem aktuellen, winzigen Gedächtnis nie tatsächlich aktualisiert oder gesehen hat. Dies führt zu schlechten Vermutungen und einer schlechten Leistung.

Die Lösung: Endpoint Replay

Die Autoren schlagen eine neue Methode namens Endpoint Replay vor. Anstatt isolierte Seiten zu behalten, bewahren sie Ketten auf.

Stellen Sie sich vor, Sie komprimieren einen langen Film zu einem Highlight-Reel. Anstatt zufällige Einzelbilder auszuwählen, wählen Sie ein Startbild, springen 10 Bilder weiter und zeichnen dann die gesamte Sequenz der Belohnungen, die in der Zwischenzeit stattgefunden haben, als eine einzige „Zusammenfassung“ auf. Sie behalten den Startpunkt und den Endpunkt, verknüpfen sie aber mit der während dieses Sprungs erzielten Gesamtpunktzahl.

So funktioniert es in ihrem System:

Zwei Buffer: Die KI behält einen kleinen „Recency Buffer“ (die letzten 10.000 Schritte) für unmittelbares Lernen, genau wie ein Standard-Notizbuch.
Der Lag Buffer: Wenn alte Daten aus dem Recency Buffer herausfallen, werden sie nicht einfach gelöscht. Sie gelangen in einen winzigen „Lag Buffer“, der etwa 10 Schritte hält.
Die Kette: Sobald der Lag Buffer voll ist (oder die Episode endet), berechnet die KI die Gesamtbelohnung für diese 10 Schritte und erstellt eine einzige „n-Schritt-Transition“. Sie speichert den Startzustand, den Endzustand und die in der Zwischenzeit erzielte Gesamtbelohnung.
Das Coreset: Diese „verketteten“ Zusammenfassungen werden in einem zweiten, etwas größeren Buffer namens Coreset gespeichert.

Die Magie besteht darin, dass jeder Endzustand im Coreset auch ein Startzustand für eine andere Kette ist. Das bedeutet, dass die KI niemals den Wert eines Zustands erraten muss, den sie nicht gesehen hat; jedes „Landen“ wird durch ein „Abheben“ verankert, das ebenfalls im Gedächtnis vorhanden ist. Die Verbindungen bleiben erhalten, obwohl die mittleren Schritte verschwunden sind.

Das Problem des „Alten Nachrichten“-Bias zu lösen

Es gab noch eine weitere Hürde. Da diese Ketten aus Daten erstellt werden, die von einer älteren Version der KI gesammelt wurden (da der Agent immer besser wird), könnten die Belohnungen in der Kette im Vergleich zu dem, was die aktuelle, intelligentere KI erreichen könnte, „pessimistisch“ oder zu niedrig erscheinen.

Um dies zu beheben, verwendeten die Autoren ein mathematisches Werkzeug namens Expectile Sarsa.

Standardmäßiges Lernen versucht, die durchschnittliche Belohnung zu finden.
Expectile-Lernen ist wie ein „Pessimismus-Filter“. Es konzentriert sich auf die Belohnungen, die besser als der Durchschnitt sind, und sagt der KI effektiv: „Gib dich nicht mit dem Mittelmaß zufrieden; strebe nach den hohen Punktzahlen.“

Durch die Verwendung dieser spezifischen Art von Mathematik kann die KI diese alten 10-Schritt-Ketten betrachten und dennoch die richtigen Werte lernen, ohne durch die Fehler ihres früheren Ichs nach unten gezogen zu werden.

Was sie herausgefunden haben

Die Forscher testeten diese Idee in zwei sehr unterschiedlichen Welten:

Pinball: Ein physikbasiertes Spiel, bei dem ein Ball auf einem Tisch hin und her springt.
Atari 2600: Eine klassische Sammlung von 12 Videospielen (wie Breakout, Space Invaders und Pong).

Sie verglichen ihre Endpoint Replay-Methode mit:

Einem Standard-Riesengroßen Buffer (1 Million Schritte).
Einem winzigen Buffer (100k Schritte) ohne Ketten.
Einem winzigen Buffer mit „unverankertem“ Zufalls-Sampling (der alten Methode).
Anderen Kompressionsmethoden wie MeDQN.

Die Ergebnisse:

Massive Kompression: Endpoint Replay funktionierte genauso gut wie der riesige 1-Million-Schritte-Buffer, selbst wenn 10- bis 50-mal weniger Speicher verwendet wurde.
Besser als die Grundlagen: In den 10x- und 50x-kleineren Einstellungen übertraf Endpoint Replay die winzigen Buffer, die Zufalls-Sampling oder Standard-1-Schritt-Updates verwendeten, deutlich.
Der Beweis der „Verankerung“: Als sie die „Verkettung“ entfernten (wodurch die Zustände wieder unverankert wurden), brach die Leistung ein. Dies bewies, dass das Problem des „unverankerten Bootstrappings“ real war und ihre Verkettungslösung der Schlüssel war.
Die Mathematik zählt: Als sie die spezielle „Expectile“-Mathematik entfernten und Standard-Durchschnitte verwendeten, sank die Leistung leicht, was zeigte, dass die Handhabung des „Alten Nachrichten“-Bias ebenfalls entscheidend war.

Das Fazit

Dieses Papier legt nicht nur nahe, dass kleinere Buffer vielleicht funktionieren könnten; es zeigt, dass sie mit der richtigen Struktur tatsächlich funktionieren. Die Autoren haben mathematisch bewiesen, dass ihre Methode fundiert ist, und durch Simulationen demonstriert, dass sie die Leistung massiver Gedächtnisbanken erreicht, während sie nur einen Bruchteil des Platzes beansprucht.

Sie haben das Notizbuch nicht nur geschrumpft; sie haben die Art und Weise neu geschrieben, wie die Seiten miteinander verbunden sind. Indem sie die „Endpunkte“ langer Ketten behielten und diese miteinander verknüpften, lösten sie das Problem, dass die KI in ihrem eigenen Gedächtnis die Orientierung verliert. Dies bedeutet, dass zukünftige KI-Agenten komplexe Aufgaben auf Geräten mit viel weniger Speicher lernen können, was leistungsstarke künstliche Intelligenz zugänglicher und effizienter macht.

Technisches Resümee: Endpoint Replay: Komprimierung des Recency-Buffers in Deep Reinforcement Learning

Problemstellung

Algorithmen des Deep Reinforcement Learning (DRL), insbesondere Off-Policy-Methoden wie DQN, SAC und DreamerV3, verlassen sich stark auf große Experience-Replay-Buffer (typischerweise 1 Million Transitionen), um Stichproben zu de-korrelieren, Daten für schwierige Exploration zu behalten und spärliche Belohnungen zu propagieren. Während dies effektiv ist, verursachen diese großen Buffer erhebliche Speicherkosten und einen hohen Rechenaufwand.

Vorherige Versuche, die Buffer-Größe zu reduzieren, konzentrierten sich auf:

Kontinuierliches RL: Komprimierung von Buffern, um nicht-stationäre Aufgaben zu verfolgen, was oft zu Lasten der langfristigen Retention geht.
Streaming-/Generative Methoden: Vollständige Eliminierung von Buffern oder Verwendung generativer Modelle, was Simulationsbias oder Instabilität einführen kann.
Coreset-Konstruktion: Auswahl repräsentativer Transitionen (z. B. via Reservoir-Sampling), um einen großen Buffer zusammenzufassen.

Das zentrale Problem, das in dieser Arbeit adressiert wird, ist, ob ein großer Recency-Buffer um eine Größenordnung (10x bis 50x) komprimiert werden kann, während die Leistungsvorteile des ursprünglichen großen Buffers erhalten bleiben. Die Autoren identifizieren einen kritischen, bisher unerkannten Fehlermodus bestehender Coreset-Ansätze: ungeankerte Bootstrap-Targets (unanchored bootstrap targets). Wenn ein Coreset aus isolierten, nicht-kontinuierlichen Transitionen besteht, sind die Bootstrap-Targets (die nächsten Zustands-Aktions-Paare) oft nicht im Coreset selbst enthalten. Infolgedessen werden die Wertschätzungen für diese Targets niemals durch Transitionen im Buffer aktualisiert, was zu ungenauen, ungeankerten Targets führt, die die Value-Funktion korrumpieren.

Methodik: Endpoint Replay

Die Autoren schlagen Endpoint Replay vor, eine Methode zur Komprimierung von Erfahrungen, die einen kleinen Recency-Buffer und einen größeren Coreset-Buffer auf Basis von „verketteten“ $n$ -Schritt-Transitionen unterhält.

1. Verkettete $n$ -Schritt-Transitionen (Anchoring)

Anstatt isolierte Transitionen $(s_t, a_t, r_{t+1}, s_{t+1}, a_{t+1})$ zu speichern, konstruiert Endpoint Replay ein Coreset aus „sprunghaften“ Transitionen. Wenn Daten aus einem kleinen Recency-Buffer ( $D_r$ ) herausfallen, werden sie in $n$ -Schritt-Sequenzen aggregiert.

Mechanismus: Ein „Lag-Buffer“ akkumuliert $n$ Transitionen aus dem Recency-Buffer. Sobald er voll ist (oder bei Beendigung), berechnet er den $n$ -Schritt-Return $G_{t,n} = \sum_{i=0}^{n-1} \gamma^i r_{t+i+1}$ und speichert eine einzige Transition: $(s_t, a_t, G_{t,n}, \gamma^n, s_{t+n}, a_{t+n})$ .
Anchoring: Entscheidend ist, dass der Endpunkt $(s_{t+n}, a_{t+n})$ einer Transition als Startpunkt für die nächste Transition im Coreset dient. Dies stellt sicher, dass jedes Bootstrap-Target „verankert“ ist – es existiert als Startzustand in einer anderen Transition innerhalb des Co-setsest und wird daher während des Trainings aktualisiert. Dies eliminiert das Problem der ungeankerten Targets, das bei naivem Coreset-Sampling auftritt.

2. Expectile Sarsa Update

Die Verwendung von $n$ -Schritt-Targets führt eine neue Herausforderung ein: pessimistische Bias. In Off-Policy-Settings werden $n$ -Schritt-Returns von Trajektorien berechnet, die von älteren, potenziell suboptimalen Policies generiert wurden. Standardmäßige $n$ -Schritt-Updates unter Verwendung des maximalen Aktionswertes ( $\max_a Q$ ) können überoptimistisch oder verzerrt sein, während Standard-Sarsa-Updates (unter Verwendung der tatsächlich gewählten Aktion $a_{t+n}$ ) pessimistisch sein können, wenn die ältere Policy suboptimal war.

Um dies zu mildern, führen die Autoren ein $n$ -Schritt-Expectile Sarsa ein:

Verlustfunktion: Sie ersetzen den Standard-Quadratfehler-Loss durch einen Expectile-Loss mit dem Parameter $\tau \in (0, 1)$ .
Mechanismus: Der Expectile-Loss $u$ balanciert erwartete Abwärtsabweichungen (gewichtet mit $1-\tau$ ) und Aufwärtsabweichungen (gewichtet mit $\tau$ ). Durch Setzen von $\tau > 0.5$ (z. B. $\tau=0.7$ ) fokussiert sich das Update auf höhere Returns, wodurch effektiv über die Sequenz der in den Datensatz aufgenommenen Aktionen maximiert wird, ohne nach Out-of-Distribution-Aktionen zu fragen.
Sarsa vs. Q-Learning: Das Update verwendet die tatsächlich am Endpunkt gewählte Aktion ( $a_{t+n}$ ) anstelle von $\max_a Q(s_{t+n}, a)$ , um sicherzustellen, dass die Aktion ebenfalls innerhalb der Datensatzverteilung „verankert“ ist.

3. Algorithmus-Architektur

Das System nutzt eine Zwei-Buffer-Architektur:

Recency Buffer ( $D_r$ ): Speichert die jüngsten $j$ Transitionen (z. B. 10k). Wird mit Standard-Double DQN (DDQN) Updates aktualisiert.
Coreset Buffer ( $D_c$ ): Speichert die komprimierten $n$ -Schritt-Transitionen (z. B. 90k). Wird mit dem $n$ -Schritt-Expectile Sarsa Loss aktualisiert.
Sampling: Mini-Batches werden mit einem hohen Verhältnis aus dem Recency-Buffer gesampelt (z. B. ein 7:1 Verhältnis von $D_r$ zu $D_c$ ), um das Lernen von frischen Daten zu priorisieren, während der Coreset zur Regularisierung und Wertpropagation genutzt wird.

Zentrale Beiträge

Endpoint Replay Algorithmus: Eine Methode zur Buffer-Komprimierung, die einen kleinen Recency-Buffer mit einem Coreset aus verketteten $n$ -Schritt-Transitionen kombiniert, welche mittels Expectile Sarsa aktualisiert werden. Es erreicht eine vergleichbare Leistung wie große Buffer bei 10- bis 50-mal geringerem Speicherbedarf.
Identifizierung ungeankerter Targets: Die Arbeit identifiziert und demonstriert formal, dass isolierte Coreset-Transitionen zu ungeankerten Bootstrap-Targets führen, was die Value-Funktion korrumpiert. Sie beweist, dass die Verkettung von $n$ -Schritt-Transitionen dies durch Sicherstellung löst, dass alle Bootstrap-Zustände aktualisiert werden.
Theoretische Analyse von $n$ -Schritt-Expectile Sarsa:
- Formalisiert $n$ -Schritt-Expectile-Aktionswerte und beweist, dass der zugehörige Bellman-Operator eine Kontraktion ist, was Konvergenz für $n \ge 1$ garantiert.
- Beweist, dass die Policy-Iteration unter deterministischen Dynamiken zu einer optimalen Policy konvergiert.
- Erstellt eine geordnete Beziehung zwischen $n$ -Schritt-Expectile-Werten und zeigt, dass längere Horizonte konservativere Schätzungen liefern.

Experimentelle Ergebnisse

Die Autoren evaluierten Endpoint Replay in der Pinball-Umgebung und in 12 Atari 2600 Spielen.

Pinball: Endpoint Replay mit einem 50-mal kleineren Buffer (10k insgesamt gegenüber 500k Standard) erreichte die Leistung eines großen Recency-Buffers (1M) und übertraf gleich große kleine Buffer, Reservoir-Sampling-Coresets und MeDQN signifikant.
Atari 2600:
- 10x Komprimierung (100k Buffer): Endpoint Replay übertraf gleich große kleine Buffer und Reservoir-Coresets und erreichte oder übertraf leicht die Leistung eines Standard-1M-Buffer-Baselines.
- 50x Komprimierung (20k Buffer): Endpoint Replay übertraf alle kleinen-Buffer-Baselines (1-Schritt und 10-Schritt) und erreichte in 5 von 12 Spielen die Leistung des großen Buffers.
Ablationsstudien:
- Anchoring: Das Entfernen der Verkettung (ungeankerte Zustände) oder des Action-Anchorings (Verwendung von DDQN anstelle von Sarsa) verschlechterte die Leistung erheblich.
- Expectile Loss: Das Ersetzen des Expectile-Loss durch den Standard-Quadratfehler (Entfernen der Bias-Korrektur) führte zu einer geringeren Leistung, was die Notwendigkeit des Expectile-Updates für $n$ -Schritt-Targets bestätigt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Endpoint Replay erfolgreich den Trade-off zwischen Speichereffizienz und Lernleistung in Off-Policy DRL adressiert. Durch die Identifizierung des Problems der „ungeankerten Bootstrap-Targets“ zeigen die Autoren, dass einfache Coreset-Selektion für DRL unzureichend ist. Ihre Lösung – das Verankern von Endpunkten via $n$ -Schritt-Ketten und die Korrektur der Bias via Expectile-Loss – ermöglicht es Agenten, die Vorteile großer Buffer (langfristige Credit Assignment und Exploration) mit einem Bruchteil des Speicherbedarfs zu nutzen.

Die Autoren merken an, dass die Methode zwar robust gegenüber geringer Stochastizität ist, die theoretische Konvergenzgarantie zur optimalen Policy jedoch strikt unter deterministischen Dynamiken gilt, da der Expectile-Loss andernfalls dazu neigt, die Umgebungsstochastik statt der Aktionssequenzen zu verfolgen. Die Arbeit weist den Weg zu einem ressourceneffizienteren DRL, ohne die durch große Replay-Buffer bereitgestellte Stabilität und Stichproben-Effizienz zu opfern.