Technische Zusammenfassung: Überbrückung von Domänenlücken durch zielgerichtete Generierung für Offline-Reinforcement-Learning

Problemstellung

Cross-Domain Offline Reinforcement Learning (RL) zielt darauf ab, eine Policy von einer Quell-Domäne auf eine Ziel-Domäne zu übertragen, wobei ausschließlich vorab gesammelte Datensätze verwendet werden, ohne jegliche Online-Interaktion. Dieses Setting ist entscheidend für Anwendungen wie die Steuerung heterogener Roboter und die Simulation-zu-Real-Übertragung, bei denen die Online-Datenerhebung zu kostspielig oder unsicher ist.

Eine Haupt Herausforderung in diesem Regime ist die Verteilungsabweichung zwischen Quell- und Ziel-Domäne, insbesondere wenn der Ziel-Datensatz extrem begrenzt ist ($|D_{tar}| \ll |D_{src}|$). Bestehende Methoden versuchen häufig, diese Lücke zu überbrücken, indem sie Quell-Daten filtern, um Übergänge zu finden, die der Zielverteilung „nahe" sind. Die Autoren zeigen jedoch, dass bei einer großen Dynamiklücke die direkte Einbeziehung selbst „nächster-Nachbar"-Quell-Übergänge zu einer erheblichen Verteilungsabweichung führen kann, was die Leistung im Vergleich zum Training ausschließlich mit Ziel-Daten verschlechtert. Umgekehrt führt das reine Verlassen auf begrenzte Ziel-Daten oft nicht zu einer ausreichenden Zustandsabdeckung für ein effektives Policy-Lernen.

Methodik: Zielgerichtete Abdeckungs-Erweiterung (TCE)

Um den Kompromiss zwischen der Nutzung von Quell-Daten und der Vermeidung von Verteilungsabweichungen zu adressieren, schlagen die Autoren die Zielgerichtete Abdeckungs-Erweiterung (Target-Aligned Coverage Expansion, TCE) vor. TCE ist ein Framework, das theoretisch leitet, wie Quell-Daten genutzt werden sollten: entweder durch direkte Einbeziehung zielnaher Übergänge oder durch die Nutzung von Quell-Daten zur Erweiterung der Zustandsabdeckung mittels zielgerichteter Generierung.

Theoretische Grundlage

Die Methode basiert auf einer theoretischen Analyse der Leistungslücke zwischen einem Ziel-Markov-Entscheidungsprozess (MDP) und einem Misch-MDP (der Quell- und Ziel-Dynamiken kombiniert). Die Autoren leiten eine Schranke (Theorem 4.1) her, die zeigt, dass die Leistungslücke von zwei Komponenten bestimmt wird:

1. Dynamiklücke: Der Total-Variations-Abstand zwischen den Quell-Übergangsdynamiken ($P_{src}$) und den Ziel-Dynamiken ($P_{tar}$).
2. Generierungsfehler: Der Abstand zwischen einem generierten approximativen Ziel-Übergang ($\hat{P}_{tar}$) und den wahren Ziel-Dynamiken.

TCE steuert diese beiden Fehlerquellen durch die Anpassung zweier Koeffizienten:

• $\lambda_{mix}$: Steuert den Anteil der direkt einbezogenen Quell-Daten (minimiert den Generierungsfehler, kann aber die Dynamiklücke erhöhen).
• $\lambda_{cov}$: Steuert das Ausmaß der Zustandsabdeckungs-Erweiterung durch Generierung (minimiert die Dynamiklücke, kann aber den Generierungsfehler erhöhen).

Algorithmisches Framework

TCE verwendet ein dual score-basiertes Generativmodell, das auf Stochastischen Differentialgleichungen (SDEs) basiert, um Übergänge zu synthetisieren, die mit den Ziel-Dynamiken konsistent sind, aber eine erweiterte Zustandsabdeckung bieten.

1. Dual Score-Netzwerke:

   • Misch-Zustands-Score-Netzwerk ($q^{mix}_\theta$): Trainiert auf einer kontrollierbaren Mischung aus Ziel-Zuständen und Quell-Zuständen, die der Ziel-Domäne „nahe" sind (ausgewählt über ein Kriterium der nächsten Nachbarn). Dieses Netzwerk modelliert die erweiterte Zustandsverteilung.
   • Ziel-Übergangs-Score-Netzwerk ($q^{tran}_\theta$): Trainiert ausschließlich auf Ziel-Übergängen. Es generiert den nächsten Zustand, bedingt auf den aktuellen Zustand, und stellt sicher, dass die Übergangsdynamiken mit der Ziel-Domäne übereinstimmen.

2. Zweistufiges Stichprobenverfahren:

   • Stufe 1 (Zustandsstichprobe): Stichprobe eines Zustands $\hat{s}_t$ aus der Misch-Zustandsverteilung unter Verwendung der inversen SDE, geleitet durch $q^{mix}_\theta$.
   • Stufe 2 (Übergangsstichprobe): Generierung des nächsten Zustands $\hat{s}_{t+1}$, bedingt auf $\hat{s}_t$, unter Verwendung der inversen SDE, geleitet durch $q^{tran}_\theta$.
   • Auxiliäre Modelle: Ein inverses Dynamikmodell (trainiert auf Ziel-Daten) und ein Belohnungsmodell (trainiert auf beiden Domänen) werden verwendet, um die Aktion $\hat{a}_t$ und die Belohnung $\hat{r}_t$ zu rekonstruieren, wodurch das Übergangstuple vervollständigt wird.

3. Policy-Lernen:
   Der finale Trainingsdatensatz ($D_{train}$) wird durch die Kombination des Ziel-Datensatzes ($D_{tar}$), der generierten zielgerichteten Übergänge ($D^{gen}_{\lambda_{cov}}$) und optional eines gefilterten Teils der Quell-Übergänge ($D^{src}_{\lambda_{mix}}$) konstruiert. Ein Offline-RL-Algorithmus (Implicit Q-Learning, IQL) wird auf diesem augmentierten Datensatz mit einem KL-Regularisierungsterm trainiert, um Abweichungen von der Ziel-Verhaltens-Policy zu bestrafen.

Hauptbeiträge

• Zielgerichtete Abdeckungs-Erweiterung (TCE): Ein neues Framework, das über eine einfache Filterung von Quell-Daten hinausgeht. Es entscheidet explizit, ob Quell-Daten direkt genutzt oder zur Generierung zielkonsistenter Übergänge genutzt werden sollen, basierend auf der Größe der Domänenlücke.
• Theoretische Analyse: Eine formale Zerlegung der Cross-Domain-Leistungslücke in Dynamik-Verteilungsabweichung und Generierungsfehler, die eine theoretische Grundlage für die Balance zwischen Datenmischung und Generierung bietet.
• Dualer Score-basierter Architekturansatz: Ein zweistufiger generativer Ansatz, der die Erweiterung der Zustandsabdeckung von der Übergangsmodellierung entkoppelt. Dieses Design verhindert Overfitting auf begrenzte Ziel-Daten, was ein häufiger Fehlermodus ist, wenn direkt State-Action-Next-State-Mappings in Low-Data-Regimes gelernt werden.
• Empirische Validierung: Umfassende Experimente zeigen, dass TCE konsistent State-of-the-Art-Baselines in diversen Cross-Domain-Szenarien übertrifft.

Experimentelle Ergebnisse

Die Autoren evaluierten TCE auf MuJoCo-Kontrollaufgaben für kontinuierliche Steuerung (HalfCheetah, Hopper, Walker2d, Ant) und Adroit-Aufgaben für geschickte Manipulation, die Morphologie-, Kinematik- und Gravitationsverschiebungen abdecken.

• Leistung: TCE erzielte die höchste durchschnittliche Leistung in 33 von 36 Morphologie-Verschiebungsaufgaben in MuJoCo und übertraf alle Baselines bei Adroit-Aufgaben.
• Robustheit gegenüber großen Lücken: In Szenarien mit großen Dynamiklücken (z. B. signifikante Morphologieänderungen oder extreme Gravitationsverschiebungen) schnitt die Variante TCE(OG) (nur generierte Übergänge, $\lambda_{mix}=0$) signifikant besser ab als Methoden, die Quell-Daten direkt mischten. Dies bestätigt, dass naive Quell-Einbeziehung unter großen Lücken nachteilig sein kann.
• Kleine Lücken: In milderen Settings (z. B. Gravitationsverschiebungen) zeigte die Variante TCE(SM) (Einbeziehung von Quell-Daten, $\lambda_{mix} > 0$) überlegene Leistung und validiert die Anpassungsfähigkeit des Frameworks.
• Ablationsstudien:
  • Abdeckungskoeffizient ($\lambda_{cov}$): Die Leistung folgt einer Trade-off-Kurve; eine zu aggressive Erweiterung der Abdeckung erhöht den Generierungsfehler und verschlechtert die Leistung. Ein moderater Wert (z. B. 0,2) wurde als optimal befunden.
  • Zweistufiges Design: Das entkoppelte zweistufige Design erwies sich als kritisch. Eine „einstufige" Baseline, die nächste Zustände direkt aus State-Action-Paaren schätzte, litt unter signifikant höheren Fehlern und niedrigerer Leistung aufgrund von Overfitting auf begrenzte Ziel-Daten.

Bedeutung und Behauptungen

Die Autoren behaupten, dass TCE eine einfache und praktische Lösung für Cross-Domain Offline RL bietet, insbesondere in sicherheitskritischen oder kostensensitiven Domänen, in denen eine Online-Interaktion unmöglich ist. Durch die theoretische Fundierung der Entscheidung, Daten zu mischen oder zu generieren, mildert TCE die Verteilungsabweichung, die bestehende Methoden plagt.

Die Autoren betonen, dass ihr Ansatz kein universelles Allheilmittel ist; er geht von gemeinsamen Zustands- und Aktionsräumen aus und verlässt sich auf den Ziel-Datensatz, wie klein er auch sein mag, um die Generierung zu steuern. Sie erkennen Einschränkungen in Szenarien mit extremer Verteilungsabweichung an, in denen Quell- und Ziel-Domäne wenig gemeinsamen Träger haben. Dennoch deuten die Ergebnisse darauf hin, dass zielgerichtete Generierung eine robustere Strategie als die direkte Datenmischung ist, wenn die Domänenlücke beträchtlich ist, und so ein effektives Policy-Lernen mit begrenzten Ziel-Daten ermöglicht.