Generalization in offline RL: The structure is more important than the amount of pessimism

Titel: Generalisierung in Offline-RL: Die Struktur ist wichtiger als das Ausmaß der Pessimismus

Problemstellung
Offline-Reinforcement Learning (RL) zielt darauf ab, optimale Strategien aus festen, statischen Datensätzen zu lernen, ohne weitere Interaktionen mit der Umgebung vorzunehmen. Um den Überschätzungsfehler bei Out-of-Distribution (OOD)-Aktionen zu mildern, verwenden die meisten State-of-the-Art-Methoden pessimistisches Wertlernen oder Konservativität. Jüngste Literatur deutet jedoch darauf an, dass übermäßige Konservativität die Generalisierung auf neue Szenarien behindern oder das „Trajectory Stitching“ erschweren kann. Während einige Ansätze für eine „milde“ Konservativität plädieren, um die Generalisierung zu verbessern, bleibt unklar, ob der Grad des Pessimismus oder die strukturellen Eigenschaften der pessimistischen Value-Funktion der primäre Bestimmungsfaktor für die Leistung beim Zero-Shot Policy Transfer (ZSPT) ist. Speziell in Umgebungen mit zugrunde liegenden Symmetrien (z. B. Rotationsinvarianz) ist unbekannt, ob eine hochgradig pessimistische, aber symmetrische Value-Funktion besser generalisiert als eine milde, aber asymmetrische.

Methodik
Die Autoren untersuchen diese Frage durch eine Kombination aus theoretischer Analyse und empirischer Validierung im Kontext von kontextuellen MDPs (CMDPs) unter dem Generalization-through-Invariance ZSPT (GTI-ZSPT) Framework.

1. Theoretischer Rahmen:

   • Die Autoren formalisieren Generalisierung als die Fähigkeit eines Agenten, die korrekte Symmetriegruppe $G$ der optimalen Lösung zu erlernen, obwohl er in den Trainingsdaten nur eine Untergruppe $B \leq G$ beobachtet.
   • Sie nutzen Q-Wert-Destillation als Stellvertreter für Offline-RL-Mechanismen. Dies isoliert den Effekt des Lernens einer spezifischen pessimistischen Value-Funktion von den Komplexitäten des RL-Algorithmus selbst.
   • Die Analyse nimmt das Limit eines unendlich breiten neuronalen Netzwerks an und nutzt den Neural Tangent Kernel (NTK) sowie Ergebnisse von Gerken & Kessel (2024) bezüglich der Äquivarianz von Deep Ensembles.
   • Zwei zentrale Theoreme werden bewiesen:
     • Theorem 1: Wenn eine pessimistische Value-Funktion die zugrunde liegende Symmetriegruppe $B$ der Trainingsdaten respektiert, kann der Agent eine optimale Generalisierungsleistung in der Testumgebung erzielen, unabhängig davon, wie groß das Ausmaß des Pessimismus ($\eta_{max}$) ist.
     • Theorem 2: Umgekehrt existieren Instanzen, in denen eine milde, aber die Symmetriestruktur verletzende pessimistische Value-Funktion ($\hat{Q}_{asym}$) garantiert schlechter generalisiert als eine übermäßig pessimistische, aber symmetrische Value-Funktion ($\hat{Q}_{sym}$).

2. Empirische Validierung:

   • Umgebung: Eine rotationssymmetrische „Rotational Reacher“ Continuous-Control-Umgebung. Die Trainingskontexte decken eine $C_4$-Untergruppe (90°-Rotationen) ab, während der Test die volle $SO(2)$-Gruppe umfasst.
   • Algorithmen: Die Studie evaluiert Implicit Q-Learning (IQL) und Conservative Q-Learning (CQL).
   • Datenaugmentations-Strategien (DA): Das Paper vergleicht Standard-DA (Training auf augmentierten Datensätzen) mit Data Augmentation Consistency (DAC) Regularisierung. DAC erzwingt Symmetrie durch das Hinzufügen eines Verlustterms, der die Differenz zwischen den Ausgaben (oder latenten Repräsentationen) des Netzwerks für Original- und augmentierte Eingaben minimiert.
   • Hypothese: Die Autoren argumentieren, dass DAC für Offline-RL überlegen ist, da es die Struktur (Symmetrie) der Value-Funktion/Policy explizit erzwingt und dabei die Symmetrie gegenüber der Genauigkeit der Wertschätzungen priorisiert, was mit ihren theoretischen Befunden übereinstimmt.

Wesentliche Beiträge

• Theoretische Erkenntnis: Das Paper etabliert, dass die Struktur des Pessimismus entscheidender ist als dessen Größenordnung für die Generalisierung. Es beweist, dass eine optimale Generalisierung mit beliebig hohem Pessimismus erreichbar ist, sofern die Value-Funktion die Symmetrien der Umgebung respektiert.
• Kontraintuitiver Befund: Es zeigt auf, dass milder Pessimismus keine Garantie für bessere Generalisierung ist; wenn der milde Pessimismus die erforderlichen Symmetries bricht, kann die Leistung im Vergleich zu einer hochgradig pessimistischen, aber symmetrischen Alternative extrem schlecht sein.
• Methodischer Vorschlag: Die Autoren schlagen vor, Datenaugmentation mittels eines Consistency-Loss während der Policy-Extraktion anzuwenden (speziell für den Actor in IQL), anstatt der gängigen Praxis, auf augmentierten Datensätzen zu trainieren. Dieser Ansatz erzwingt direkt die symmetrische Struktur der Policy/Value-Funktion.
• Empirische Evidenz: Experimente mit IQL und CQL zeigen, dass DAC-Output (Erzwingung der Konsistenz auf der Netzwerkausgabe) die beste Generalisierungsleistung erzielt und dabei sowohl die No-Augmentation-Baselines als als auch das Standard-Augmented-Training (Aug-D) übertrifft.

Ergebnisse

• Q-Wert-Destillation: In der theoretischen Validierung mit dem Rotational Reacher behielt ein symmetrischer pessimistischer Target ($\hat{Q}^*_{sym}$) selbst bei einer Erhöhung des Pessimismus um eine Größenordnung eine nahezu optimale Testleistung bei. Im Gegensatz dazu sank die Testleistung eines asymmetrischen Targets ($\hat{Q}^*_{asym}$) signifikant ab, als der Pessimismus zunahm.
• Offline-RL-Experimente:
  • Für sowohl IQL als auch CQL erzielte die Anwendung von DAC-Output konsistent die höchsten Test-Returns über Experten-, Mixed- und Suboptimal-Datensätze hinweg.
  • Standard-Datenaugmentation (Aug-D) verbesserte zwar die No-Augmentation-Baseline, war aber im Allgemeinen schlechter oder ebenbürtig gegenüber den Konsistenz-Loss-Methoden.
  • Die Anwendung von DA nur auf den Critic (ohne den Actor) in IQL zeigte keine Verbesserung gegenüber der Baseline, was bestätigt, dass die Erzwingung der Symmetrie auf der Policy-Extraktions-Komponente entscheidend ist.

Bedeutung und Ansprüche
Das Paper behauptet, dass die vorherrschende Intuition – dass die Reduzierung von Konservativität notwendig ist, um Generalisierung zu erreichen – unvollständig ist. Stattdessen argumentieren die Autoren, dass das Erzwingen der korrekten strukturellen Symmetrien der primäre Treiber für erfolgreichen Zero-Shot-Transfer in Offline-RL ist.

Die Bedeutung dieser Arbeit liegt in der Verschiebung des Fokus von „Wie konservativ sollten wir sein?“ zu „Respektiert unsere Konservativität die Symmetrien der Umgebung?“. Die Autoren postulieren, dass in Offline-RL, wo die Datendeckung oft nicht-symmetrische Biases induziert, Techniken wie Data Augmentation Consistency (DAC) essenziell sind. Indem DAC die Symmetrie gegenüber der Wertgenauigkeit während der Policy-Extraktion priorisiert, ermöglicht es Agenten, selbst bei einer hochgradig pessimistischen Value-Funktion optimal zu generalisieren. Dies fordelt die Standardpraxis heraus, Datenaugmentation lediglich zur Vergrößerung des Datensatzes für das reguläre Training zu nutzen, und legt stattdessen nahe, sie als Regularisierer zur Erzwingung struktureller Invarianz einzusetzen.

Limitierungen
Die Autoren räumen mehrere Einschränkungen ein:

• Die theoretischen Beweise stützen sich auf das Limit unendlicher Breite neuronaler Netze, obwohl empirische Ergebnisse auf endlichen Netzwerken die Theorie unterstützen.
• Die Analyse konzentriert sich auf intrinsische Gruppensymmetrien, die konsistent mit der Datenverteilung sind. Es bleibt unbewiesen, ob diese Schlussfolgerungen auch für extrinsische oder inkonsistente Transformationen (z. B. zufälliges Rauschen), die rein zur Regularisierung verwendet werden, gelten.
• Die Ergebnisse wurden bisher auf der Aufgabe „Rotational Reacher“ und zwei spezifischen Algorithmen (IQL, CQL) validiert; eine breitere Validierung über komplexere Umgebungen und Algorithmen hinweg ist erforderlich.