📊 statistics

Offline Constrained Reinforcement Learning under Partial Data Coverage

Dieser Artikel stellt PDOCRL vor, einen orakel-effizienten primal-dualen Algorithmus für offline-gestütztes, eingeschränktes Reinforcement Learning mit allgemeiner Funktionsapproximation, der unter partieller Datenabdeckung nahezu optimale und nahezu zulässige Leistung erzielt, ohne Kenntnis der datengenerierenden Verteilung zu erfordern, und dabei das Problem spurloser Sattelpunkte durch eine stärkere Realisierbarkeitsbedingung adressiert.

Ursprüngliche Autoren: Seokmin Ko, Ambuj Tewari, Kihyuk Hong

Veröffentlicht 2026-05-13

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Seokmin Ko, Ambuj Tewari, Kihyuk Hong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter das Autofahren beizubringen, aber Sie können den Roboter nicht auf echten Straßen fahren lassen, um zu lernen. Das ist zu gefährlich und zu teuer. Stattdessen haben Sie nur eine riesige Videobibliothek mit vergangenen Fahrten eines menschlichen Fahrers. Ihr Ziel ist es, dem Roboter beizubringen, so schnell wie möglich zu fahren (Belohnung maximieren), während er niemals die Geschwindigkeitsbegrenzung überschreitet oder gegen einen Bordstein fährt (Sicherheitsbedingungen erfüllen).

Dies ist das Problem des Offline Constrained Reinforcement Learning (Offline-Constraint-Reinforcement-Learning). Die von Ihnen bereitgestellte Arbeit mit dem Titel „Offline Constrained Reinforcement Learning under Partial Data Coverage" stellt eine neue Methode namens PDOCRL vor, um dieses Problem zu lösen.

Hier ist die Aufschlüsselung des Problems und ihrer Lösung unter Verwendung einfacher Analogien.

Das Problem: Der „tote Winkel" und die „Geisterpolitik"

1. Das Problem der teilweisen Abdeckung (Der tote Winkel)
Stellen Sie sich vor, Ihre Videobibliothek enthält nur Aufnahmen des menschlichen Fahrers auf der Autobahn. Sie enthält keine Aufnahmen davon, wie er durch eine enge Stadtgasse fährt.

Wenn Sie versuchen, dem Roboter beizubringen, durch diese Gasse zu fahren, rät der Roboter. Er weiß nicht, was passiert, wenn er dort links abbiegt, weil er es noch nie gesehen hat.
Bisherige Methoden versuchten, in Bezug auf diese toten Winkel „pessimistisch" zu sein (das Schlimmste anzunehmen). In einem eingeschränkten Setting (wo Sicherheit entscheidend ist) bleiben diese Methoden jedoch oft stecken. Sie versuchen, „Was-wäre-wenn"-Szenarien für Zwischenstrategien zu bewerten, die der Roboter testet. Wenn diese Strategien zu einem toten Winkel führen, schlägt die Bewertung fehl, und der Roboter kann nicht sicher lernen.

2. Das Problem der „Geisterpolitik" (Das fehlende Rezept)
Viele bestehende Methoden funktionieren wie folgt:

Sie berechnen ein „Dichteverhältnis" (eine ausgefallene Art zu sagen: „Wie viel häufiger besucht der Roboter diesen Ort im Vergleich zum Menschen?").
Sie versuchen dann, dieses Verhältnis zurück in eine Fahrstrategie (Policy) umzuwandeln.
Der Haken: Um Schritt 2 durchzuführen, müssen sie die exakte Wahrscheinlichkeit kennen, dass sich der menschliche Fahrer an jedem einzelnen Ort in der Videobibliothek befindet. Aber in der realen Welt haben Sie keine solche „Meisterliste" der Gewohnheiten des Menschen. Es ist, als würde man versuchen, einen Kuchen zu backen, wobei das Rezept eine Zutat erfordert, für die man kein Etikett hat.

Die Lösung: PDOCRL

Die Autoren schlagen PDOCRL (Primal-Dual Offline Constrained Reinforcement Learning) vor. Sie lösen die oben genannten Probleme mit zwei klugen Tricks.

Trick 1: Die „zerlegte" Küche (Vermeidung des Geisters)

Anstatt zu versuchen, den Kuchen (die Policy) nachdem die Zutatenverhältnisse (die Dichte) ermittelt wurden zu backen, ändert PDOCRL das Rezept vollständig.

Alter Weg: Verhältnisse berechnen $\rightarrow$ Versuchen, die fehlende Zutatenliste zu erraten $\rightarrow$ Den Kuchen backen. (Scheitert, wenn man die Zutatenliste nicht kennt).
PDOCRL-Weg: Sie teilen das Problem in zwei separate Aufgaben auf, die miteinander kommunizieren.
- Aufgabe A: Die Verhältnisse herausfinden (wie sehr man den Daten vertrauen soll).
- Aufgabe B: Die Fahrstrategie des Roboters (die Policy) direkt anpassen.
- Die Magie: Sie haben die Mathematik so umgeschrieben, dass die Fahrstrategie des Roboters eine direkte Variable in der Gleichung wird. Das bedeutet, dass der Roboter den Fahrstil direkt lernt, ohne jemals die „Meisterliste" der Gewohnheiten des menschlichen Fahrers kennen zu müssen. Es umgeht die Notwendigkeit des fehlenden Zutatenetiketts vollständig.

Trick 2: Die „trügerische Falle" (Vermeidung falscher Lösungen)

Wenn man ein komplexes mathematisches Problem mit vielen Variablen hat, findet man manchmal eine „Lösung", die auf dem Papier perfekt aussieht, aber tatsächlich eine Falle ist. In mathematischen Begriffen nennt man diese trügerische Sattelpunkte.

Die Analogie: Stellen Sie sich vor, Sie suchen den höchsten Gipfel in einem Gebirge. Sie finden einen Ort, der aus einer Perspektive wie ein Gipfel aussieht, aber wenn Sie ihn umgehen, stellen Sie fest, dass es tatsächlich ein kleiner Hügel ist, der von einem tiefen Tal umgeben ist. Sie dachten, Sie hätten die Spitze gefunden, aber Sie haben es nicht getan.
Die Lösung: Die Arbeit beweist, dass man in diese Fallen fällt, wenn man nur annimmt, dass die „beste" Lösung in Ihren Daten existiert. Um dies zu beheben, fügen sie eine strengere Regel hinzu: Das „Gehirn" des Roboters (der Funktionsapproximator) muss intelligent genug sein, um jeden möglichen Fahrstil zu verstehen, nicht nur den besten.
Indem sie das Gehirn des Roboters zwingen, in der Lage zu sein, jede Strategie zu bewerten, garantieren sie, dass der „Gipfel", den sie finden, der wahre höchste Gipfel ist und kein gefälschter.

Das Ergebnis: Ein sicherer, effizienter Lerner

Die Arbeit behauptet, dass PDOCRL drei Dinge erreicht, die frühere Methoden nicht gleichzeitig tun konnten:

Teilweise Abdeckung: Es funktioniert auch dann, wenn die Datenbibliothek große tote Winkel aufweist (solange der beste Pfad abgedeckt ist).
Orakel-Effizienz: Es ist rechnerisch schnell. Es muss keine unmöglichen mathematischen Rätsel lösen; es verwendet einfach Standard-Optimierungswerkzeuge (wie ein Koch, der Standardmesser verwendet, anstatt neue zu erfinden).
Keine „Meisterliste" erforderlich: Es muss die zugrunde liegende Verteilung der Daten (die Gewohnheiten des Menschen) nicht kennen. Es lernt direkt aus den Videos.

Der „Geschmackstest" (Experimente)**

Die Autoren testeten ihre Methode an Standard-Autofahrsimulationen (BulletGym).

Die Basislinie: Sie verglichen sie mit anderen hochmodernen „sicheren" Fahralgorithmen.
Das Ergebnis: PDOCRL war der einzige Algorithmus, der über alle Aufgaben hinweg konsequent unter der Geschwindigkeitsbegrenzung blieb (die Sicherheitsbedingung erfüllte) und gleichzeitig schnell genug fuhr, um wettbewerbsfähig zu sein.
Die Ablationsstudie: Sie testeten auch, was passiert, wenn sie die alte „Geisterpolitik"-Methode verwendeten (Extrahieren der Policy aus Verhältnissen). Das Ergebnis? Der Roboter stürzte ab oder fuhr schrecklich. Dies bewies, dass ihr neuer „direkter Policy"-Trick unerlässlich war.

Zusammenfassung

PDOCRL ist ein neuer Algorithmus, der Robotern beibringt, sicher und effizient zu sein, indem er nur vergangene Daten verwendet, selbst wenn diese Daten unvollständig sind. Dies erreicht er durch:

Das Überspringen des Schritts, bei dem versucht wird, die verborgenen Muster der Daten zu erraten.
Die direkte Optimierung des Verhaltens des Roboters.
Die Verwendung einer strengeren mathematischen Regel, um sicherzustellen, dass der Roboter nicht von gefälschten „Lösungen" getäuscht wird.

Es ist, als würde man einem Schüler das Autofahren beibringen, indem man ihm Videos zeigt, aber anstatt ihn zu bitten, jede Bewegung des Lehrers auswendig zu lernen, lehrt man ihn die Verkehrsregeln direkt, wodurch sichergestellt wird, dass er auch in Teilen der Stadt sicher fahren kann, die der Lehrer nie besucht hat.

Technische Zusammenfassung: Offline-gestütztes, eingeschränktes Reinforcement Learning unter partieller Datenabdeckung

Problemstellung

Der Beitrag behandelt Offline-gestütztes, eingeschränktes Reinforcement Learning (Offline Constrained RL) im Rahmen diskontierter eingeschränkter Markov-Entscheidungsprozesse (CMDPs). Das Ziel besteht darin, eine Policy aus einem festen, offline-Datensatz zu erlernen, die ein primäres Belohnungssignal maximiert und dabei mehrere zusätzliche Sicherheits- oder Ressourcenbeschränkungen erfüllt.

Eine zentrale Herausforderung in diesem Setting ist die partielle Datenabdeckung. Eine zuverlässige Optimierung erfordert typischerweise, dass der Datensatz die Zustands-Aktions-Besetzung der zu bewertenden Policies abdeckt. Bei unbeschränktem Offline-RL haben pessimistische Actor-Critic-Methoden unter unzureichender Abdeckung Erfolg gezeigt. Im eingeschränkten Setting stoßen Primal-Dual-Methoden jedoch auf ein spezifisches Hindernis: Die Aktualisierung dualer Multiplikatoren erfordert die Schätzung von Verstößen gegen die Beschränkungen für intermediate Policies. Unter partieller Abdeckung werden diese intermediate Policies möglicherweise nicht vom Datensatz unterstützt, was duale Aktualisierungen unzuverlässig macht und effektiv starke Abdeckungsanforderungen wiederherstellt.

Darüber hinaus verlassen sich bestehende Methoden oft auf Policy-Extraktionsschritte, die Kenntnisse über die unbekannte datengenerierende Verteilung ( $\mu_D$ ) oder eine Referenz-Policy erfordern, was in realen Szenarien unpraktisch ist.

Methodik: PDOCRL

Die Autoren schlagen PDOCRL (Primal-Dual Oracle-Efficient Constrained Reinforcement Learning) vor, einen Algorithmus, der oracle-effizient, unter partieller Abdeckung sample-effizient und unabhängig von der datengenerierenden Verteilung ist.

1. Decomponierte Lineare Programmierung

Standard-LP-Formulierungen für CMDPs optimieren über Besetzungsmaße ( $\mu$ ). Die Rückgewinnung einer Policy aus $\mu$ erfordert typischerweise eine Normalisierung durch die Datenverteilung $\mu_D$ , die unbekannt ist. Um dies zu umgehen, verwenden die Autoren eine Lagrange-Decomposition:

Sie führen eine Kopie-Variable $\nu$ für das Besetzungsmaß $\mu$ ein.
Sie trennen die Rollen: $\mu$ wird zur Lagrange-Schätzung verwendet (durch Maßwechsel zur Datenverteilung), während $\nu$ zur Policy-Extraktion dient.
Entscheidend ist, dass sie $\nu$ direkt in Bezug auf das Besetzungsmaß $\mu$ und die Policy $\pi$ reparametrisieren: $\nu_{\mu, \pi}(s, a) = \pi(a|s)((1-\gamma)d_0(s) + \gamma[P^\top \mu](s))$ .
Dies macht die Policy $\pi$ zu einer expliziten Optimierungsvariable und eliminiert die Notwendigkeit eines separaten Policy-Extraktionsschritts, der von $\mu_D$ abhängt.

2. Umgang mit trügerischen Sattelpunkten

Die Autoren identifizieren, dass eingeschränkte Sattelpunkt-Formulierungen unter Verwendung allgemeiner Funktionsapproximation trügerische Sattelpunkte zulassen können. Selbst wenn die Funktionsklassen die optimale Policy, deren Besetzungsmaß und optimale Aktionswertfunktionen enthalten, muss ein Sattelpunkt der eingeschränkten Lagrange-Funktion nicht einer optimalen Policy entsprechen.

Um dies zu lösen, legen sie zwei Schlüsselbedingungen fest:

Slater-Bedingung (Annahme B): Stellt die Existenz einer zulässigen Policy sicher, die die Beschränkungen mit einem positiven Rand $\phi$ erfüllt. Dies begrenzt die optimalen dualen Variablen.
All-Policy-Wertfunktions-Realisierbarkeit (Annahme C): Eine starke Realisierbarkeitsbedingung, die verlangt, dass für jede Policy $\pi$ in der Klasse die Wertfunktionen $Q^\pi_0$ und $Q^\pi_0 + (1 + 1/\phi)Q^\pi_i$ innerhalb der Funktionsklasse $\mathcal{Q}$ enthalten sind. Dies ist stärker als die Single-Policy-Realisierbarkeit, aber notwendig, um trügerische Sattelpunkte in der decomponierten Formulierung auszuschließen.

3. Oracle-effizienter Primal-Dual-Algorithmus

PDOCRL löst das empirische Sattelpunktproblem unter Verwendung standardmäßiger Orakel und vermeidet unlösbare Min-Max-Optimierung:

Primal Player:
- Dichteverhältnis ( $w$ ): Verwendet ein no-regret-Online-Linear-Optimierungsorakel ( $\mathcal{O}_{LOW}$ ) über die Funktionsklasse $\mathcal{W}$ .
- Policy ( $\pi$ ): Verwendet ein no-regret-Policy-Optimierungsorakel ( $\mathcal{P}_{O\Pi,\mathcal{Q}}$ ) über die Policy-Klasse $\Pi$ .
Dual Player:
- Q-Funktion ( $Q$ ): Verwendet ein lineares Minimierungsorakel ( $\mathcal{LMO}_{\mathcal{Q}}$ ) über $\mathcal{Q}$ .
- Lagrange-Multiplikatoren ( $\lambda$ ): Verwendet ein lineares Minimierungsorakel ( $\mathcal{LMO}_{B\Delta_I}$ ) über die duale Schranke.

Der Algorithmus iteriert $T$ -mal, aktualisiert diese Variablen und gibt eine Policy zurück, die gleichmäßig aus der Sequenz $\pi_1, \dots, \pi_T$ gesampelt wird.

Hauptbeiträge

Algorithmus-Design: PDOCRL ist die erste Methode, die gleichzeitig Garantien für partielle Abdeckung, Oracle-Effizienz und Unabhängigkeit von der datengenerierenden Verteilung ( $\mu_D$ ) im Offline-eingeschränkten RL mit allgemeiner Funktionsapproximation erreicht.
Theoretische Einsicht zu Sattelpunkten: Der Beitrag zeigt, dass naive eingeschränkte Sattelformulierungen aufgrund trügerischer Sattelpunkte versagen können, und identifiziert eine stärkere All-Policy-Realisierbarkeitsbedingung, unter der jeder eingeschränkte Sattelpunkt optimal ist.
Decompositionstechnik: Durch die Reparametrisierung des Besetzungsmaßes, um die Policy zu einer expliziten Variable zu machen, vermeidet die Methode die statistische Fragilität beim Extrahieren von Policies aus Dichteverhältnissen, wenn $\mu_D$ unbekannt ist.
Sample-Komplexität: Unter den genannten Annahmen liefert PDOCRL eine nahezu optimale und nahezu zulässige Policy mit einer Sample-Komplexität von $\tilde{O}(\epsilon^{-2})$ .

Experimentelle Ergebnisse

Die Autoren bewerteten PDOCRL auf dem BulletGym-Benchmark unter Verwendung von Datensätzen aus dem DSRL-Paket.

Basislinien: Vergleich mit BC-All, BC-Safe, CDT, BCQ-Lag, BEAR-Lag, CPQ und COptiDICE.
Leistung: PDOCRL war der einzige Algorithmus, der über alle Aufgaben hinweg konsistent die Sicherheitsbeschränkungen (normalisierte Kosten $\le 1$ ) erfüllte und dabei eine wettbewerbsfähige Belohnungsleistung beibehielt.
Ablationsstudie: Eine Variante von PDOCRL, die zum Standard-Policy-Extraktionsschritt zurückkehrt (der Kenntnisse über $\mu_D$ erfordert), schnitt signifikant schlechter ab, was bestätigt, dass die vorgeschlagene Reparametrisierung für die Leistung im Offline-Setting entscheidend ist.

Bedeutung und Behauptungen

Der Beitrag behauptet, dass PDOCRL eine fundamentale Lücke im Offline-eingeschränkten RL adressiert: den Trade-off zwischen Abdeckungsanforderungen, Recheneffizienz und dem Bedarf an Wissen über die Datenverteilung.

Im Gegensatz zu früheren Actor-Critic-Methoden (z. B. PDCA, WSAC), die eine vollständige Abdeckung oder unlösbare Optimierung erfordern, arbeitet PDOCRL unter partieller Abdeckung mit Oracle-Effizienz.
Im Gegensatz zu Dichteverhältnis-Methoden (z. B. COptiDICE, POCC), die $\mu_D$ für die Policy-Extraktion benötigen, optimiert PDOCRL die Policy direkt.
Die Arbeit unterstreicht, dass zwar starke Realisierbarkeitsannahmen (All-Policy) erforderlich sind, um Optimalität in Gegenwart trügerischer Sattelpunkte zu garantieren, dies jedoch ein notwendiger theoretischer Preis für die Erzielung von Oracle-Effizienz und die Vermeidung von Verteilungsannahmen im Setting der allgemeinen Funktionsapproximation ist.

Die Autoren schließen, dass PDOCRL einen nachweislich effizienten Rahmen für sicheres Offline-Lernen bietet, wobei sie jedoch anmerken, dass die Lockerung der All-Policy-Realisierbarkeitsbedingung hin zur Single-Policy-Realisierbarkeit eine Richtung für zukünftige Arbeiten bleibt.