🤖 machine learning

Data Deletion Can Help in Adaptive RL

Dieser Artikel zeigt, dass das zufällige Entfernen eines Anteils der Trainingsdaten im kontextuellen Reinforcement Learning die Kontextschätzung und die Robustheit der Politik verbessert, indem es implizit neuere, verteilungsgerechte Stichproben gewichtet, ein Phänomen, das theoretisch begründet wird, indem gezeigt wird, dass ein derartiges Entfernen den erwarteten Testverlust bei Verteilungsabweichungen reduziert, sofern Regularisierung und Signal-Rausch-Verhältnis in bestimmten Bereichen liegen.

Ursprüngliche Autoren: Param Budhraja, Aditya Gangrade, Alex Olshevsky, Venkatesh Saligrama

Veröffentlicht 2026-05-04

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Param Budhraja, Aditya Gangrade, Alex Olshevsky, Venkatesh Saligrama

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter das Gehen bei. Sie trainieren ihn in einer Simulation, in der der Boden manchmal rutschig, manchmal klebrig ist und manchmal eine andere Schwerkraft herrscht. Der Roboter lernt, sich an diese Veränderungen anzupassen, indem er auf seine letzten Schritte schaut und rät: „Ah, der Boden muss gerade rutschig sein", und daraufhin seinen Gang anpasst.

Dieser Artikel stellt einen überraschenden Trick vor, damit dieser Roboter besser lernt: Löschen Sie einige seiner Trainingsgedächtnisse.

Hier ist die Aufschlüsselung, wie dies funktioniert, unter Verwendung einfacher Analogien:

1. Das Problem: Der Roboter wird durch alte Neuigkeiten verwirrt

Beim Standardtraining sammelt der Roboter über viele Runden hinweg Tausende von „Gedächtnissen" (Datenpunkten).

Frühe Runden: Der Roboter ist ungeschickt. Er macht Fehler und sammelt Daten basierend auf schlechten Vermutungen.
Spätere Runden: Der Roboter wird schlauer. Er sammelt Daten basierend auf besseren Vermutungen.

Das Problem ist, dass der Roboter, wenn er versucht zu lernen, wie man die Umgebung (den „Kontext") einschätzt, alle seine Erinnerungen gleichwertig betrachtet. Es ist, als würde man versuchen, Autofahren im Regen zu lernen, indem man eine Mischung aus folgendem studiert:

Videos eines professionellen Fahrers bei perfektem Wetter (gute Daten).
Videos eines Kleinkindes, das in einem Blizzard laufen lernt (schlechte Daten).

Die „schlechten Daten" aus den frühen, ungeschickten Runden entsprechen nicht der „realen Welt", mit der der Roboter später konfrontiert wird. Sie verwirren den Lernprozess.

2. Die Lösung: Der Trick des „verblassenden Gedächtnisses"

Die Autoren schlagen eine einfache, kontraintuitive Regel vor: Nach jeder Trainingseinheit werfen Sie zufällig einen Teil des Gedächtnisspeichers des Roboters weg.

Stellen Sie sich dies wie ein sich drehendes Bücherregal vor:

Jedes Mal, wenn Sie ein neues Buch (neue Daten) hinzufügen, ziehen Sie zufällig ein paar alte Bücher vom Regal und werfen sie in den Müll.
Da Sie dies jede Runde tun, sind die ältesten Bücher (die ungeschickten, frühen Daten) am wahrscheinlichsten, weggeworfen zu werden.
Die neueren Bücher (die klugen, aktuellen Daten) haben eine bessere Chance, zu bleiben.

Warum ist das magisch?

Es hält die „frischen" Daten: Der Roboter konzentriert sich auf das, was er kürzlich gelernt hat, was für die aktuelle Situation relevanter ist.
Es hält die „Vielfalt": Im Gegensatz zu einem System, das nur die neuesten Daten behält (was zu eng sein könnte), behält diese zufällige Löschung eine Mischung verschiedener Szenarien bei, nur mit weniger „Rauschen" aus den sehr alten, nutzlosen Versuchen.

3. Die Ergebnisse: Kleine Gehirne können große Gehirne schlagen

Die Forscher testeten dies an Computersimulationen von Robotern, die gehen und balancieren (wie ein Mondlander oder eine laufende Ameise).

Die Überraschung: Sie stellten fest, dass ein winziges, einfaches Gehirn (ein kleines neuronales Netz), das diesen „Löschtrick" verwendet, tatsächlich ein riesiges, komplexes Gehirn (ein großes neuronales Netz), das den Trick nicht verwendet, schlagen konnte.
Die Zahlen: In einigen Fällen war das kleine Modell mit Löschung beim Anpassen 30 % besser als das große Modell ohne es. Selbst im Durchschnitt verbesserte es die Leistung um etwa 6 %.

Es ist, als würde ein Schüler mit einem kleinen Notizbuch, der nur seine besten, aktuellsten Notizen behält, einen Schüler mit einer riesigen Bibliothek voller veralteter, verwirrender Lehrbücher übertreffen.

4. Die Theorie: Warum hilft Wegwerfen?

Die Autoren führten einige mathematische Berechnungen durch, um zu erklären, warum dies funktioniert.

Stellen Sie sich vor, Sie versuchen, das Zentrum eines Ziels zu finden.
Wenn Ihre Trainingsdaten (die Pfeile, die Sie geschossen haben) aus einem leicht anderen Winkel stammen als Ihr tatsächliches Ziel (eine „Verteilungsabweichung"), könnte das Behalten jedes einzelnen Pfeils Ihre Zielrichtung in die falsche Richtung ziehen.
Indem Sie zufällig einige Pfeile löschen, entfernen Sie versehentlich diejenigen, die Sie am meisten vom Kurs abbringen.
Die Mathematik zeigt, dass, wenn das „Rauschen" in Ihren Daten hoch genug ist (wie viel Wind, der Ihre Pfeile weht), das Löschen einiger zufälliger Pfeile tatsächlich hilft, öfter ins Schwarze zu treffen.

Zusammenfassung

Der Artikel argumentiert, dass in der Welt der KI, die sich an sich verändernde Umgebungen anpassen muss, weniger mehr ist. Durch das zufällige Löschen alter, potenziell verwirrender Trainingsdaten konzentriert sich die KI auf das, was am wichtigsten ist: aktuelle, vielfältige Erfahrungen. Dies ermöglicht es sogar kleinen, einfachen KI-Modellen, hochgradig anpassungsfähig zu werden und viel größere, komplexere Modelle zu übertreffen.

1. Problemstellung

Das Paper adressiert die Herausforderung des adaptiven Reinforcement Learning (RL) im realen Einsatz. Im Gegensatz zum Standard-RL, bei dem Trainings- und Testumgebungen identisch sind, erfordert adaptives RL, dass ein Agent auf nicht gesehene, aber ähnliche Umgebungen generalisiert.

Rahmenwerk: Die Autoren nutzen das Framework des kontextuellen Markov-Entscheidungsprozesses (cMDP). Ein cMDP ist eine Familie von MDPs, die durch einen niedrigdimensionalen Kontext $c$ (z. B. Schwerkraft, Masse, Reibung) indiziert sind, der die Übergangsdynamik beeinflusst.
Die Herausforderung: Der wahre Kontext $c$ ist während des Trainings bekannt, aber zum Testzeitpunkt unbekannt.
Standardansatz: Das Problem wird typischerweise in zwei Teile zerlegt:
1. Universelle Richtlinie ( $K$ ): Trainiert, um optimale Aktionen basierend auf dem Zustand und dem wahren Kontext zu ergreifen.
2. Kontextschätzer ( $\phi$ ): Trainiert, um den Kontext $\hat{c}$ basierend auf beobachteten Zustands-Aktions-Trajektorien zu schätzen.
3. Adaptive Richtlinie: Definiert als $\pi = K(\hat{c})$ .
Das Problem: Beim Training über mehrere Runden werden Daten mit zunehmend besseren Richtlinien gesammelt. Ältere Trajektorien werden von suboptimalen Richtlinien generiert und stammen aus einer Verteilung, die sich erheblich vom Einsatzszenario unterscheidet (wo der Schätzer unvollkommen ist). Diese Verteilungsabweichung zwischen Trainingsdaten und Einsatzrealität verschlechtert die Leistung des Kontextschätzers.

2. Methodik: Zufällige Datenlöschung

Die Autoren schlagen eine einfache, kontraintuitive Technik namens Zufällige Datenlöschung vor, um die Leistung des Kontextschätzers zu verbessern.

Der Algorithmus:
1. Trainieren einer universellen Richtlinie $K$ und eines initialen Kontextschätzers $\phi$ .
2. Sammeln von Trajektorien unter Verwendung der aktuellen adaptiven Richtlinie $K(\phi)$ .
3. Hinzufügen dieser Trajektorien zu einem Datenpuffer.
4. Kritischer Schritt: Nach jeder Trainingsrunde zufälliges Löschen eines Anteils $(1 - \alpha)$ der derzeit im Puffer befindlichen Trajektorien.
5. Neutrainieren des Schätzers $\phi$ auf den verbleibenden Daten.
Wirkmechanismus:
- Da Daten über mehrere Runden gesammelt werden, entsprechen ältere Daten früheren, weniger leistungsfähigen Richtlinien.
- Zufällige Löschung erzeugt ein implizites exponentielles Abklingen älterer Daten. Trajektorien aus frühen Runden haben eine geringere Überlebenswahrscheinlichkeit als solche aus jüngeren Runden.
- Dies filtert effektiv „veraltete" Daten heraus (die Verteilungsabweichungen verursachen), während die Datenvielfalt erhalten bleibt (im Gegensatz zum bloßen Beibehalten nur der neuesten Daten, die möglicherweise keine ausreichende Abdeckung bieten).
Theoretische Begründung:
- Die Autoren analysieren dies mittels Regularisierter Empirischer Risikominimierung (ERM) unter Berücksichtigung einer Diskrepanz zwischen Trainingsverteilung ( $P_{train}$ ) und Testverteilung ( $P_{test}$ ).
- Sie beweisen, dass unter milden Bedingungen (speziell für konvexe Verlustfunktionen) das Entfernen eines einzelnen gleichmäßig zufälligen Datenpunkts den erwarteten Testverlust verringert, wenn die Verteilungsabweichung signifikant ist.
- Für Ridge-Regression leiten sie eine quantitative Bedingung ab: Löschung ist vorteilhaft, wenn das Signal-zu-Rausch-Verhältnis (SNR) hinreichend niedrig ist und der Regularisierungskoeffizient moderat ist. Die SNR-Schwelle misst direkt die erforderliche Größe der Verteilungsabweichung, damit Löschung hilfreich ist.

3. Hauptbeiträge

Neuartige Technik: Einführung der Zufälligen Datenlöschung als Methode zur Verbesserung adaptiver RL-Richtlinien.
Empirische Validierung: Demonstration von Leistungssteigerungen bei Multi-Layer-Perceptrons (MLPs) und Recurrent Neural Networks (RNNs wie LSTM/GRU).
Effizienz: Nachweis, dass Datenlöschung es kleineren Modellen (z. B. einem MLP mit 5-fach weniger Parametern) ermöglicht, größere, breitere Modelle, die ohne Löschung trainiert wurden, zu übertreffen.
Theoretische Analyse: Bereitstellung eines theoretischen Rahmens, der erklärt, warum Löschung hilft, und sie mit Verteilungsabweichung und Regularisierung in konvexen Optimierungsszenarien verknüpft.

4. Experimentelle Ergebnisse

Die Autoren bewerteten die Methode an Klassischen Kontroll-Benchmarks (Pendulum, LunarLander, Acrobot, MountainCar) und Brax-Lokomotions-Benchmarks (Ant, HalfCheetah) unter Variation von Kontexten wie Schwerkraft, Masse und Reibung.

Leistungssteigerungen:
- MLPs: Verringerung der Robustheitslücke (Abstand zur optimalen „wahren Kontext"-Richtlinie) um bis zu 30 %.
- RNNs (LSTM/GRU): Verringerung der Robustheitslücke im Durchschnitt um 6 %.
Modell-Effizienz:
- Ein schmales MLP (8.322 Parameter), trainiert mit Datenlöschung, übertraf ein breites MLP (47.426 Parameter), das ohne Löschung trainiert wurde.
- RNNs (LSTM/GRU) schnitten im Allgemeinen besser ab als das breite MLP, obwohl sie signifikant weniger Parameter hatten.
Ablationsstudien:
- Vergleich mit Veralteter Löschung (nur älteste Daten entfernen) und Uniformer Löschung (zufälliges Sampling für das Training, aber Beibehaltung aller Daten).
- Zufällige Löschung war für RNNs überlegen, während Uniforme Löschung für schmale MLPs am besten funktionierte. Veraltete Löschung schnitt schlecht ab, was bestätigt, dass einige ältere Daten für die Vielfalt notwendig sind.
- Die optimale Datenerhaltung ( $\alpha$ ) lag je nach Architektur und Umgebung bei etwa 0,8 (Löschen von 20 %) oder 0,5 (Löschen von 50 %).

5. Bedeutung und Fazit

Diese Arbeit stellt das konventionelle Wissen in Frage, dass „mehr Daten immer besser" im RL sind. Sie zeigt, dass in adaptiven Settings ältere Daten schädlich sein können aufgrund von Verteilungsverschiebungen, die durch die sich entwickelnde Richtlinie verursacht werden.

Praktische Auswirkungen: Die Methode bietet einen rechnerisch günstigen, hyperparameter-einstellbaren Weg, um die RL-Generalisierung zu verbessern, ohne die zugrunde liegende Architektur oder die Belohnungsfunktion zu ändern.
Theoretische Einsicht: Sie schließt die Lücke zwischen praktischen Heuristiken und theoretischem Verständnis und zeigt, dass Datenlöschung als Regularisierer gegen Verteilungsabweichungen wirkt.
Breitere Anwendung: Die Ergebnisse deuten darauf hin, dass in jedem Lernszenario, bei dem sich die Trainingsverteilung von der Einsatzverteilung entfernt (häufig beim Online-Lernen und beim Transfer von Simulation zur Realität), das selektive Entfernen veralteter Daten die Generalisierung verbessern kann.

Zusammenfassend etabliert das Paper, dass das zufällige Löschen eines Anteils der Trainingsdaten eine leistungsstarke, einfache und theoretisch fundierte Strategie ist, um die Robustheit und Effizienz adaptiver RL-Agenten in sich zeitlich verändernden Umgebungen zu verbessern.