🤖 machine learning

Reward-free Pretraining for Reinforcement Learning via Occupancy Coverage Maximization

Dieses Paper führt ROVER ein, eine belohnungsfreie Vortrainierungsmethode, die die Abdeckung der Zustandsraum-Besetzung über ein gelerntes Resolvent-Weltmodell und einen virtuellen Senkenzustand maximiert, um übertragbare Explorations-Policies zu generieren, die sich schnell an spärliche Belohnungen in Downstream-Aufgaben anpassen.

Ursprüngliche Autoren: Marco Pratticò, Pietro Novelli, Massimiliano Pontil, Carlo Ciliberto

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Marco Pratticò, Pietro Novelli, Massimiliano Pontil, Carlo Ciliberto

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie trainieren einen Roboter, der durch ein riesiges, dunkles Labyrinth navigieren soll. Das Problem? Der Roboter erhält kein Feedback (kein „Gut gemacht“ oder „Versuch es noch einmal“), bis er versehentlich den Ausgang findet. Dies wird als „Sparse Reward“-Problem (Problem mit spärlichen Belohnungen) bezeichnet. Die meisten Roboter bleiben in Kreisen hängen oder erkunden immer wieder dieselbe kleine Ecke, weil sie nicht wissen, wo sie suchen sollen.

Dieses Paper stellt eine neue Trainingsmethode namens ROVER (Reward-free pretraining via Occupancy coVERage maximization) vor, um dieses Problem zu lösen. So funktioniert es, erklärt durch einfache Analogien:

1. Das Problem: Der „Wankelmütige Entdecker“

Stellen Sie sich einen Roboter vor, dem gesagt wird: „Erkunde das Labyrinth.“

Alte Methoden sind wie ein neugieriges Kind, das in ein neues Zimmer rennt, sich langweilt und in ein anderes neues Zimmer rennt. Sie besuchen vielleicht irgendwann jedes Zimmer, aber sie bleiben nicht dort. Wenn man sie später bittet, in ein bestimmtes Zimmer zu gehen, haben sie den Weg vielleicht schon vergessen, weil sie immer nur dem „Neuesten“ hinterhergejagt sind.
Das Paper argumentiert, dass ein Roboter, um später nützlich zu sein, eine ausgewogene Karte lernen muss. Er sollte nicht nur neue Orte besuchen; er muss lernen, wie er zu den Orten zurückkehrt, die er bereits kennt, um eine stabile, gleichmäßige Abdeckung des gesamten Labyrinths zu schaffen.

2. Die Lösung: ROVERs Strategie des „Gleichmäßigen Verteilens“

ROVER versucht noch nicht, den Ausgang zu finden. Stattdessen trainiert es den Roboter so, dass er sich verhält wie beim Verstreichen von Butter auf einem Toast.

Das Ziel ist es, sicherzustellen, dass der Roboter jeden Teil des Labyrinths etwa gleich oft besucht.
Es verwendet einen mathematischen Trick (unter Verwendung eines sogenannten „Kernels“), um zu messen, wie „geklumpt“ die Besuche des Roboters sind. Wenn der Roboter in einer Ecke feststeckt, sagt die Mathematik: „Hey, du bist zu sehr geklumpt! Geh dich verteilen!“
Dies stellt sicher, dass der Roboter, wenn ihm später eine spezifische Aufgabe gestellt wird (wie „Finde den Ausgang“), bereits eine vollständige, zuverlässige Karte des gesamten Labyrinths besitzt, auf der er aufbauen kann.

3. Die Geheimwaffe: Der „Sink“-Zustand

Eines der größten Probleme dieser Entdecker ist, dass sie verwirrt sind, wenn sie versuchen, irgendwohin zu gehen, wo der Roboter noch nie zuvor war. Es ist wie ein GPS, das abstürzt, wenn man vom bekannten Streckennetz abkommt.

Die Lösung: Die Autoren haben einen virtuellen „Sink State“ hinzugefügt (denken Sie an ein „Schwarzes Loch“ oder einen „sicheren Aufbewahrungsplatz für das Unbekannte“).
Wenn der Robot versucht, sich in einen Teil des Labyrinths zu bewegen, den das Modell noch nicht versteht, leitet die Mathematik diese „unbekannte“ Bewegung sanft in diesen „Sink“ um, anstatt dass der Roboter abstürzt oder wild rät.
Warum das hilft: Es verhindert, dass der Roboter in einer Schleife stecken bleibt aus: „Neues Zimmer erkunden -> verwirrt sein -> altes Zimmer vergessen.“ Der Sink fungiert als Sicherheitsventil, das es dem Roboter ermöglicht, sein Territorium zu erweitern, ohne den Halt an den Orten zu verlieren, die er bereits kennt.

4. Das Ergebnis: Ein besserer Startpunkt

Das Paper testete ROVER in gitterartigen Labyrinthen (einige mit einfachen Zahlen, andere mit pixelbasierten Bildern).

Das Ergebnis: Roboter, die mit ROVER trainiert wurden, erkundeten das Labyrinth viel gleichmäßiger als Roboter, die andere Methoden verwendeten.
Der Lohn: Als diese Roboter später eine spezifische Aufgabe erhielten (die „Downstream-Aufgabe“), lernten sie viel schneller. Da sie bereits ein stabiles Fundament mit einer vollständigen Karte geschaffen hatten, mussten sie keine Zeit damit verschwenden, die Grundlagen neu zu entdecken.

Zusammenfassung

Betrachten Sie ROVER als ein Vortraininglager für einen Roboter. Anstatt den Roboter blind in das dunkle Labyrinth zu schicken und zu hoffen, dass er den Ausgang findet, trainiert ROVER ihn zuerst dazu, ein gründlicher Entdecker zu sein, der seine Aufmerksamkeit gleichmäßig über das gesamte Gebiet verteilt. Er nutzt einen „Sink“, um das Unbekannte sicher zu handhaben. Wenn der Roboter schließlich seinen eigentlichen Job bekommt, ist er kein verwirrter Wanderer mehr, sondern ein erfahrener Führer mit einer vollständigen mentalen Karte des Geländes.

Technisches Resümee: Reward-free Pretraining für Reinforcement Learning via Occupancy Coverage Maximization

Problemstellung

Spärliche Belohnungen (Sparse Rewards) stellen eine fundamentale Herausforderung im Reinforcement Learning (RL) dar, bei der Agenten keine informativen Rückmeldungen erhalten, bis sie ein spezifisches Ziel erreichen. Methoden mit intrinsischen Belohnungen (z. B. Neuheit, Vorhersagefehler, Skill-Diversität) versuchen zwar, Supervision-Signale zu injizieren, hängen jedoch oft von der Fähigkeit ab, extrinsische Belohnungen entweder online oder via Offline-Relabeling gespeicherter Übergänge zu bewerten. Diese Annahme versagt in Multi-Task-, Meta- und Kontinuierlichen RL-Settings, in denen die Interaktionen strikt belohnungsfrei sind und die nachgelagerte Belohnungsfunktion erst verfügbar ist, wenn der Agent tatsächlich ein aufgabenspezifisches Ziel erreicht hat.

Bestehende belohnungsfreie Zielsetzungen leiden oft unter Nicht-Stationarität. Methoden, die auf die Übereinstimmung der Zustandsmarginalverteilung, den Vorhersagefehler oder die Skill-Diversität optimieren, mögen zwar während des Pretrainings diverse Zustände entdecken, scheitern jedoch daran, eine Policy aufrechtzuerhalten, deren diskontierte Zustandsbelegung (discounted state occupancy) breit verteilt ist. Stattdessen konzentriert sich die endgültige Policy oft auf kleine Regionen oder zeigt ein oszillierendes „Expansion-Collapse“-Verhalten, wodurch sie keine robuste Initialisierung für nachgelagerte Sparse-Reward-Aufgaben bietet.

Methodik: ROVER

Die Autoren schlagen ROVER (Reward-free pretraining via Occupancy coVERage maximization) vor, einen Algorithmus, der darauf ausgelegt ist, übertragbare Explorations-Policies vorzutrainieren, die die Zustandsraum-Abdeckung maximieren, ohne eine Zielverteilung oder eine Offline-Belohnungsevaluierung zu erfordern.

1. Zielsetzung: Maximierung der Occupancy Coverage

ROVER formuliert die Pretraining-Zielsetzung als Minimierung der Selbstähnlichkeit des diskontierten Zustandsbelegungsmaßes $d^\pi$ innerhalb eines Reproducing Kernel Hilbert Space (RKHS).

Formulierung: Das Ziel ist definiert als $J(\pi) = \|\mu_{d^\pi}\|_H^2$ , wobei $\mu_{d^\pi}$ die Kernel-Mittel-Einbettung der Belegungsmaß ist.
Theoretische Äquivalenz:
- Die Minimierung dieser Norm ist äquivalent zur Maximierung der metrischen Rényi-Entropie zweiter Ordnung.
- Im tabellarischen Setting mit einem Dirac-Kernel ist dies äquivalent zur Minimierung des Maximum Mean Discrepancy (MMD) Abstand zu einer Gleichverteilung, was effektiv eine uniforme Abdeckung fördert, ohne explizit eine uniforme Zielverteilung definieren zu müssen.
- In gelernten Repräsentationsräumen fördert dies die Diversität in der durch die Repräsentation induzierten Geometrie.

2. Algorithmische Implementierung

ROVER nutzt die operatoriale Formulierung des RL, um die Zielsetzung berechenbar und differenzierbar in geschlossener Form zu machen. Der Algorithmus wechselt zwischen Datensammlung und drei Schritten:

Repräsentationslernen: Eine Feature-Map $\phi_\theta$ wird aus Übergangsdaten mittels eines kontrastiven InfoNCE-Loss gelernt, um die vorhergesagten Next-State-Repräsentationen mit den tatsächlichen nächsten Zuständen abzugleichen. Dies definiert die Geometrie für die Coverage-Zielsetzung.
Weltmodell-Schätzung (Transition Operator): Der Algorithmus schätzt einen gehobenen Transition Operator $\hat{T}_n$ mittels Kernel Ridge Regression (KRR) auf den gelernten Repräsentationen. Dieser Operator bildet State-Action-Features auf Next-State-Embeddings in geschlossener Form ab.
Policy Mirror Descent (PMD): Die Policy wird aktualisiert, um das Ziel $J(\pi)$ unter Verwendung von Policy Mirror Descent zu minimieren. Der Gradient des Ziels wird in geschlossener Form unter Verwendung des Resolventen des Transition Operators abgeleitet, was effiziente Updates ohne sampling-basierte Gradientenschätzung ermöglicht.

3. Sink-State-Augmentierung

Eine kritische Komponente von ROVER ist die Einführung eines virtuellen „Sink“-Zustands ( $s_{S_\epsilon}$ ), um Regionen des Zustandsraums zu handhaben, die durch die aktuellen Daten nicht unterstützt werden.

Mechanismus: Der Zustandsraum wird um einen absorbierenden Sink-Zustand erweitert. Der Transition Operator wird mittels eines verschobenen Ridge-Problems geschätzt, das unerklärte Residuen (Vorhersagen für ungesehene State-Action-Paare) in den Sink-Zustand leitet, statt zu einem Nullvektor.
Stabilisierung: Dies verhindert das „Expansion-Collapse“-Verhalten, bei dem eine Policy zwischen der Entdeckung neuer Regionen und dem Vergessen zuvor abgedeckter Regionen oszilliert. Der Sink-Zustand erzwingt eine Kostenfunktion für die Zuweisung von Belegung an ununterstützte Regionen und balanciert so Exploration mit der Beibehaltung bekannter Coverage.
Zerlegung der Zielsetzung: Die Gesamtzielsetzung zerlegt sich in die Norm der Belegung im ursprünglichen Raum plus einen Strafterm, der proportional zur dem Sink-Zustand zugewiesenen Masse ist, gesteuert durch einen Hyperparameter $\epsilon$ .

Zentrale Beiträge

Ziel-freie Formulierung: Die Arbeit formalisiert Occupancy Coverage als zielfreie RKHS-Zielsetzung für den belohnungsfreien Behavioral Transfer und verknüpft dies mit MMD-Matching, Rényi-2-Diversität und potenzialtheoretischer Energieminimierung.
Operator-basierte Policy-Aktualisierung: Die Autoren leiten eine geschlossene, operator-basierte Policy-Aktualisierung zur Minimierung dieser Zielsetzung unter Verwendung eines gelernten Resolventen-Weltmodells ab, wodurch die Nicht-Stationaritäts-Probleme von Proxy-basierten Methoden vermieden werden.
Sink-State-Augmentierung: Die Einführung eines virtuellen Sink-Zustands stabilisiert die Coverage unter partiellen Daten, verhindert zyklisches Expansion-Collapse-Verhalten und stellt sicher, dass die Policy die Coverage zuvor besuchter Regionen beibehält.

Experimentelle Ergebnisse

Die Autoren evaluieren ROVER in kontrollierten, voll beobachtbaren, spärlich belohnten Navigationsumgebungen (tabellarisch und pixelbasiert), die darauf ausgelegt sind, topologische Engpässe (z. B. Middle-Room, Multi-Rooms, Maze) zu isolieren.

Coverage-Effizienz: ROVER erreicht eine vollständige Zustandsraum-Abdeckung signifikant schneller als Baselines (RND, SMM, APT, MAXENT, CIC), wenn es von Grund auf trainiert wird.
Stabilität und Transfer: Im Gegensatz zu Baselines, die Zustände zwar transient entdecken, aber zu lokalisierter Belegung kollabieren können, erzeugt ROVER Policies mit weit verbreiteter diskontierter Belegung. Dies führt zu stärkeren Initialisierungen für nachgelagerte Model-Free RL (DDPG, SAC) und erfordert weniger Samples, um Ziele zu erreichen.
Offline-Transfer: In Offline-RL-Settings (CQL, DDPG) unterstützen von ROVER generierte Replay-Buffer das nachgelagerte Lernen effektiv. Obwohl sich die Verteilung von anderen Methoden unterscheidet (während CIC homogenere Daten erzeugt, behält ROVER eine höhere Dichte nahe Startzuständen und Engpässen), ist die Datenstruktur von ROVER besonders effektiv für konservative Algorithmen wie CQL.
Robustheit: Die Methode zeigt Robustheit gegenüber Hyperparametern, wobei extreme Werte für die Norm des Sink-States $\epsilon$ die Exploration behindern können.

Bedeutung und Ansprüche

Das Paper positioniert ROVER als einen prinzipiellen Schritt zur Etablierung von Occupancy Coverage als Standard-Zielsetzung für den belohnungsfreien Behavioral Transfer.

Moderater Umfang: Die Autoren geben explizit an, dass sich die Studie auf diskrete Aktionsräume und einfache Umgebungen beschränkt, um die Coverage-Zielsetzung zu isolieren und ihr Verhalten direkt zu analysieren, anstatt ROVER sofort als voll skalierbaren Explorationsalgorithmus für hochdimensionale Domänen zu präsentieren.
Kerninzicht: Der primäre Beitrag ist der Nachweis, dass die Maximierung der Occupancy Coverage über einen stabilen, geschlossenen Operator-Ansatz Policies hervorbringt, die von Natur aus besser für den nachgelagerten Sparse-Reward-Transfer geeignet sind als solche, die auf transiente Neuheit oder Skill-Diversität optimiert sind.
Zukünftige Richtungen: Die Autoren identifizieren zukünftige Arbeiten in der Entwicklung skalierbarer Repräsentationen für hochdimensionale Domänen, approximativer Implementierungen der Resolventen-Zielsetzung sowie Erweiterungen auf kontinuierliche Aktionen und partielle Beobachtbarkeit.