🤖 machine learning

Unifying Value Alignment and Assignment in Cross-Domain Offline Reinforcement Learning with Heterogeneous Datasets

Dieser Beitrag stellt V2A vor, ein neuartiges Framework für heterogenes cross-domain offline Reinforcement Learning, das das kritische Problem der Wertfehlzuweisung durch die Integration von zeitlich konsistentem modalitätsbasiertem Repräsentationslernen, modalitätsbewusstem Vorteilslernen und Datenfilterung angeht, um Wertausrichtung und -zuweisung für eine effektive Policy-Übertragung zu vereinen.

Ursprüngliche Autoren: Zhongjian Qiao, Jiafei Lyu, Chenjia Bai, Peisong Wang, Siyang Gao, Shuang Qiu

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhongjian Qiao, Jiafei Lyu, Chenjia Bai, Peisong Wang, Siyang Gao, Shuang Qiu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Bild: Das „Gebrauchtwagen"-Problem

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, wie man ein bestimmtes Auto (das Ziel-Domain) fährt. Sie haben nur eine winzige Menge an Daten von diesem spezifischen Auto. Allerdings besitzen Sie eine riesige Bibliothek mit Fahrdaten von anderen Autos (das Quell-Domain).

Das Problem ist, dass diese anderen Autos unterschiedlich sind. Einige haben andere Motoren, einige haben eine defekte Federung, und einige wurden von verschiedenen Personen gefahren (einige Experten, einige Anfänger). Dies wird als Cross-Domain Offline Reinforcement Learning bezeichnet.

Wenn Sie einfach alle diese Daten mischen und versuchen, dem Roboter beizubringen, wird er verwirrt sein und scheitern. Der Roboter könnte versuchen, wie in einem LKW zu fahren, obwohl er tatsächlich in einem Sportwagen sitzt, oder er könnte schlechte Gewohnheiten von einem Anfängerfahrer lernen.

Der alte Weg: Filtern nach „Motortyp"

Frühere Methoden (wie IGDF oder OTDF) versuchten, dieses Problem zu lösen, indem sie auf den Motor (die Dynamik) schauten. Sie fragten: „Fährt sich dieses Auto wie das Zielauto?"

Wenn die Federung ähnlich ist, behalten sie die Daten.
Wenn der Motor völlig anders ist, werfen sie die Daten weg.

Der Fehler: Dies ist wie der Kauf eines Gebrauchtwagens, der nur auf der Motorgröße basiert. Sie könnten ein Auto mit dem perfekten Motor finden, aber wenn der Vorbesitzer ein schrecklicher Fahrer war, der es ständig zu Schrott gefahren hat, sind diese Daten nutzlos. Sie müssen wissen, ob der Fahrer gut war, nicht nur ob das Auto ähnlich ist.

Der neue Weg: Der Versuch der „Value Alignment"

Eine neuere Methode namens DVDF versuchte, dies zu beheben. Sie betrachtete sowohl den Motor (Dynamik) als auch die Fahrerkompetenz (Value). Sie versuchte, Daten auszuwählen, die sowohl ähnlich als auch hochwertig waren.

Die Entdeckung des Papers: Die Autoren fanden eine versteckte Falle in DVDF, die Value Misassignment genannt wird.

Die Analogie: Stellen Sie sich vor, Sie haben eine Bibliothek mit Fahrvideos aus drei verschiedenen Ländern: Frankreich, Japan und Brasilien.
- In Frankreich ist „schnell fahren" sicher und legal.
- In Japan ist „schnell fahren" gefährlich und illegal.
- In Brasilien ist „schnell fahren" chaotisch.
Wenn Sie nur auf den Tacho (den „Value") schauen, ohne zu wissen, aus welchem Land das Video stammt, könnten Sie denken, der japanische Fahrer sei ein Genie, weil er schnell ist, oder der französische Fahrer sei rücksichtslos. Sie weisen den Wert der Handlung falsch zu, weil Sie den Kontext (die Dynamik) nicht verstehen.
In den Begriffen des Papers versuchte die alte Methode, einem Fahrmanöver eine „Bewertung" zu geben, ohne zu erkennen, dass sich das Manöver in einer völlig anderen physischen Welt abspielte. Dies führte dazu, dass der Roboter von „gut aussehenden" Daten lernte, die für seine spezifische Situation tatsächlich schlecht waren.

Die Lösung: V2A (Value Alignment + Assignment)

Die Autoren schlagen ein neues System namens V2A vor. Denken Sie an V2A als an einen intelligenten Bibliothekar, der Bücher nicht nur nach Genre sortiert, sondern auch nach dem spezifischen Kontext der Geschichte.

V2A macht drei Dinge nacheinander:

Erkennen des „Vibes" (Modality Representation):
Anstatt jeden einzelnen Fahrzug einzeln zu betrachten, betrachtet V2A die gesamte „Reise" (Trajektorie). Es verwendet eine spezielle KI, um herauszufinden: „Stammt diese Reise vom Roboter mit dem 'gebrochenen Bein', vom Roboter mit dem 'langen Rumpf' oder vom 'normalen' Roboter?"
- Analogie: Es ist, als würde man auf jeden Videoclip einen Aufkleber kleben mit der Aufschrift „Dies ist eine französische Straße" oder „Dies ist eine japanische Straße".
Neuberechnung der Bewertung (Value Assignment):
Jetzt, da das System weiß, aus welcher „Welt" die Daten stammen, bewertet es die Fahrerkompetenz neu.
- Analogie: Es erkennt: „Ach, dieser Fahrer war schnell, aber er war in Japan, wo Geschwindigkeit gefährlich ist. Das ist also eigentlich eine schlechte Bewertung für unser Zielauto." Es korrigiert die „Fehlzuweisung", indem es dem richtigen Kontext die richtige Bewertung gibt.
Auswählen der besten Daten (Data Filtering):
Schließlich filtert es die Daten. Es behält nur die Clips, die:
- Aus einer ähnlichen „Welt" stammen (Dynamics Alignment).
- Von einem fähigen Fahrer in dieser spezifischen Welt stammen (Value Alignment).
- Korrekt bewertet sind (Value Assignment).

Warum es wichtig ist

Das Paper zeigt, dass bei einem chaotischen Mix von Daten aus vielen verschiedenen Robotern und vielen verschiedenen Fahrern die alten Methoden verwirrt werden. Sie wählen „gute" Daten aus, die für den Zielroboter tatsächlich „schlecht" sind.

V2A fungiert wie ein Übersetzer und ein Qualitätsprüfer in einem. Es versteht, dass ein „guter Zug" in einer Umgebung ein „schlechter Zug" in einer anderen sein kann. Durch die Korrektur des Bewertungssystems hilft es dem Roboter, viel schneller und besser zu lernen als zuvor.

Die Ergebnisse

Die Autoren testeten dies an Robotersimulationen (wie einem Half-Cheetah, der rennt, oder einem Hopper, der springt).

Sie mischten Daten von Robotern mit defekten Gelenken und unterschiedlichen Körperformen.
Sie mischten Daten von „Experten"-Fahrern und „mittleren" Fahrern.
Ergebnis: V2A schlug konsistent die bisherigen besten Methoden. Es lernte, den Zielroboter viel besser zu steuern, weil es nicht von dem verwirrenden Mix aus Daten getäuscht wurde.

Zusammenfassung

Das Problem: Einem Roboter mit Daten von anderen, unterschiedlichen Robotern beizubringen, ist schwierig, weil „gute" Daten in einer Welt in einer anderen „schlecht" sein können.
Der Fehler: Frühere Werkzeuge versuchten, die Roboter abzugleichen, vergaßen aber zu prüfen, ob die „Güte" der Daten im neuen Kontext tatsächlich Sinn machte.
Die Lösung: V2A identifiziert zuerst die „Welt", aus der die Daten stammen, bewertet die Daten dann basierend auf dieser Welt neu und wählt schließlich die besten Daten zum Lernen aus.
Das Ergebnis: Der Roboter lernt schneller und performt besser in komplexen Situationen mit gemischten Daten.

Technische Zusammenfassung: Vereinheitlichung von Wertausrichtung und -zuweisung im cross-domänen Offline-Reinforcement-Learning mit heterogenen Datensätzen

1. Problemstellung

Cross-Domain Offline Reinforcement Learning (RL) zielt darauf ab, eine Policy in einem Zielbereich unter Verwendung eines begrenzten Ziel-Datensatzes und eines umfangreichen Quelldatensatzes zu erlernen, der eine Dynamikverschiebung aufweist (d. h. unterschiedliche Übergangsdynamiken $P_{src}$ vs. $P_{tar}$ ). Während neuere Methoden versucht haben, das Problem der Out-of-Distribution (OOD)-Dynamik durch Datenfilterung basierend auf Dynamikausrichtung (z. B. IGDF, OTDF) oder Wertausrichtung (z. B. DVDF) zu adressieren, gehen diese Ansätze typischerweise davon aus, dass der Quelldatensatz aus einer einzigen Umgebung mit einer einzigen Verhaltenspolicy gesammelt wurde.

Dieser Artikel behandelt ein allgemeineres und realistischeres Szenario: Heterogenes Cross-Domain Offline RL. In diesem Setting wird der Quelldatensatz aus mehreren Quellbereichen mit unterschiedlichen Übergangsdynamiken aggregiert und von diversen Verhaltenspolicies gesammelt. Die Autoren identifizieren ein kritisches, bisher übersehenes Problem in diesem Setting, das als Wertfehlzuweisung (Value Misassignment) bezeichnet wird.

Wertfehlzuweisung tritt auf, wenn eine einzige Wertfunktion (oder Vorteilfunktion) auf dem gesamten heterogenen Quelldatensatz trainiert wird, ohne zwischen den zugrunde liegenden Dynamikmodi zu unterscheiden. Dies führt zu:

Fehlerhafter Vorteilsschätzung: Die den Stichproben zugewiesenen Vorteilswerte spiegeln ihre wahre Optimalität im Verhältnis zu ihrem spezifischen Dynamik-Subbereich nicht wider.
Suboptimaler Datenfilterung: Datenfiltermechanismen, die sich auf diese fehlzugeschriebenen Werte verlassen, werden irreführt, wählen suboptimale Stichproben (z. B. Daten mittlerer Qualität aus einem spezifischen Dynamikbereich) aus und verwerfen optimale.
Aufgelockerter Suboptimalitätslücke: Die theoretische Analyse zeigt, dass Wertfehlzuweisung eine enge Schranke der Suboptimalitätslücke im Zielbereich verhindert und die Leistung des Agents verschlechtert.

2. Methodik: V2A

Um die Wertfehlzuweisung zu beheben, schlagen die Autoren V2A (Value Alignment and Assignment) vor, ein Framework, das Dynamikausrichtung, Wertausrichtung und Wertzuweisung vereinheitlicht. Die Methode durchläuft drei Hauptphasen:

2.1. Lernen zeitkonsistenter Modus-Repräsentationen

Der erste Schritt besteht darin, die verschiedenen Dynamikmodi innerhalb des Quelldatensatzes zu entkoppeln.

Ansatz: Die Autoren verwenden einen Expectation-Maximization (EM)-Rahmen, um eine latente Repräsentation $z$ für jede Trajektorie zu lernen.
Innovation: Im Gegensatz zu herkömmlichen variationalen Autoencodern, die Übergänge einzeln kodieren (was zu zeitlicher Inkonsistenz führt), verwendet V2A eine zeitkonsistente ELBO. Sie kodiert die gesamte Trajektorie $\tau$ in eine einzige latente Variable $z$ unter Verwendung eines rekurrenten neuronalen Netzwerks (RNN/LSTM), während sie Übergänge auf Ebene der einzelnen Schritte decodiert.
Ziel: Dies stellt sicher, dass alle Übergänge innerhalb einer Trajektorie dieselbe Dynamikrepräsentation $z$ teilen und Trajektorien effektiv nach ihren zugrunde liegenden Dynamiken gruppiert werden.

2.2. Modus-bewusstes Vorteilslernen

Sobald die Dynamikmodi ( $z$ ) inferiert wurden, wird der Quelldatensatz als $D'_{src} = \{(s, a, r, s', z)\}$ neu gekennzeichnet.

Ansatz: Die Autoren schlagen Modus-bewusstes Vorteilslernen vor. Anstatt eine Standard-Vorteilfunktion $A(s, a)$ zu trainieren, trainieren sie eine modus-konditionierte Vorteilfunktion $A(s, a, z)$ .
Mechanismus: Die latente Repräsentation $z$ wird während des Vor-Trainings (unter Verwendung eines Sparse-QL-Schemas) als Eingabe für die $Q$ -Funktion und die $V$ -Funktion bereitgestellt.
Ergebnis: Dies ermöglicht es der Vorteilfunktion, zwischen verschiedenen Dynamikmodi zu unterscheiden und State-Action-Paaren basierend auf ihrem spezifischen Dynamikkontext korrekte Vorteilswerte zuzuweisen, wodurch die Wertfehlzuweisung korrigiert wird.

2.3. Vereinheitlichte Datenfilterung und Policy-Lernen

Die letzte Phase integriert diese Komponenten in ein Datenfilterparadigma für das Lernen der Ziel-Policy.

Score-Funktion: Eine neue Score-Funktion $f(s, a, s', z)$ wird definiert, um Quelldaten zu filtern:
$f(s, a, s', z) = \lambda \cdot h(s, a, s') + (1 - \lambda) \cdot \text{Norm}(A(s, a, z))$
wobei $h(\cdot)$ die Dynamikausrichtung misst (durch kontrastives Lernen oder optimalen Transport) und $A(s, a, z)$ die modus-bewusste Wertausrichtung misst.
Filterung: Quell-Stichproben werden basierend auf dem Top- $\xi$ -Quantil dieses Scores ausgewählt.
Policy-Optimierung: Die Ziel-Policy wird auf den gefilterten Quelldaten, kombiniert mit den begrenzten Ziel-Daten, unter Verwendung von Implicit Q-Learning (IQL) trainiert.

3. Hauptbeiträge

Problemformulierung: Der Artikel formalisiert das Setting des heterogenen Cross-Domain Offline RL, bei dem Quelldaten aus mehreren Bereichen und Verhaltenspolicies stammen, und identifiziert die Wertfehlzuweisung als eine grundlegende Einschränkung bestehender Methoden.
Theoretische Einsicht: Die Autoren liefern eine theoretische Schranke für die Suboptimalitätslücke und zeigen, dass Wertfehlzuweisung diese Schranke auflockert. Sie beweisen, dass das Entkoppeln von Dynamikmodi notwendig ist, um eine engere Schranke zu erreichen.
Algorithmus (V2A): Sie schlagen V2A vor, das integriert:
- Zeitkonsistentes Lernen von Modus-Repräsentationen (via EM).
- Modus-bewusstes Vorteilslernen.
- Ein vereinheitlichtes Datenfilterparadigma.
Empirische Validierung: Umfassende Experimente an MuJoCo-Aufgaben (HalfCheetah, Hopper, Walker2d, Ant) mit heterogenen Quelldatensätzen zeigen, dass V2A starke Baselines (IGDF, OTDF, DVDF, BOSA, DARA) deutlich übertrifft.

4. Experimentelle Ergebnisse

Leistung: V2A erzielt signifikante Leistungsverbesserungen gegenüber Baselines. Beispielsweise verbesserte V2A, auf IGDF aufbauend, den insgesamt normalisierten Score um 21,4 % im Vergleich zur Baseline IGDF und um 21,4 % gegenüber DVDF (welches nur eine Verbesserung von 6,8 % gegenüber IGDF erzielte). Ähnliche Gewinne wurden bei OTDF beobachtet.
Ablationsstudien:
- Zeitkonsistente ELBO: Das Entfernen der Trajektorien-Ebene-Konsistenz (stattdessen Verwendung einer Stichproben-Ebene-ELBO) führte zu geringerer Leistung und bestätigte die Notwendigkeit zeitlicher Konsistenz für eine genaue Modus-Extraktion.
- Modus-Bewusstsein: Visualisierungen der gelernten Vorteilverteilungen zeigen, dass V2A schärfere, klarer unterscheidbare Vorteilverteilungen erzeugt im Vergleich zu den flacheren, weniger diskriminierenden Verteilungen von DVDF, was auf eine bessere Schätzung der Stichproben-Optimalität hindeutet.
- Parameterempfindlichkeit: Die Methode ist robust gegenüber dem Trade-off-Koeffizienten $\lambda$ (optimal um 0,6) und dem Datenauswahlverhältnis $\xi$ (optimal um 0,5).

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass V2A das erste Framework ist, das das der heterogenen cross-domänen Offline RL innewohnende Problem der Wertfehlzuweisung effektiv adressiert. Durch die Vereinheitlichung von Dynamikausrichtung, Wertausrichtung und Wertzuweisung ermöglicht V2A einen effizienten Policy-Transfer, selbst wenn Quelldaten eine komplexe Mischung aus diversen Dynamiken und Verhaltensweisen darstellen.

Die Autoren betonen, dass, während frühere Arbeiten sich isoliert auf Dynamik- oder Wertausrichtung konzentrierten (oder homogene Quelldaten annahmen), ihre Arbeit hervorhebt, dass das Ignorieren der multi-modalen Natur von Quell-Dynamiken zu falscher Wertschätzung führt, was wiederum die Datenfilterung untergräbt. Die vorgeschlagene Methode bietet eine einfache, aber effektive Lösung, die die Lücke zwischen theoretischen Settings und realistischen, heterogenen Datenszenarien in der Robotik und im Embodied AI signifikant überbrückt.

Anerkannte Einschränkungen:

Das Lernen zeitkonsistenter Modus-Repräsentationen erfordert zusätzliche Trainingszeit (obwohl dies vorab berechnet werden kann).
Die theoretische Analyse stützt sich auf milde Annahmen (z. B. hinreichende Bedingungen zweiter Ordnung für Konvexität in der Umgebung der optimalen Policy).