Technische Samenvatting: Het Unificeren van Waarde-Alignatie en Toewijzing in Cross-Domain Offline Versterkingsleer met Heterogene Datasets

1. Probleemstelling

Cross-domain offline Versterkingsleer (RL) heeft tot doel een beleid te leren in een doomeinde met behulp van een beperkte doel-dataset en een overvloedige bron-dataset die een dynamische verschuiving vertoont (d.w.z. verschillende overgangsdynamieken $P_{src}$ versus $P_{tar}$). Hoewel recente methoden hebben geprobeerd het Out-of-Distribution (OOD) dynamische probleem aan te pakken via datafiltering gebaseerd op dynamische alignatie (bijv. IGDF, OTDF) of waarde-alignatie (bijv. DVDF), gaan deze benaderingen doorgaans uit van het feit dat de bron-dataset is verzameld uit een enkele omgeving met een enkel gedragsbeleid.

Dit artikel adresseert een algemener en realistischer scenario: Heterogene Cross-Domain Offline RL. In dit scenario is de bron-dataset samengesteld uit meerdere bron-domeinen met onderscheiden overgangsdynamieken en verzameld door diverse gedragsbeleid. De auteurs identificeren een kritiek, tot nu toe overzien probleem in dit scenario genaamd Waarde-Verkeerde Toewijzing.

Waarde-Verkeerde Toewijzing treedt op wanneer een enkele waardenfunctie (of voordeelfunctie) wordt getraind op de volledige heterogene bron-dataset zonder onderscheid te maken tussen de onderliggende dynamische modaliteiten. Dit leidt tot:

1. Onjuiste Voordeelraming: De voordeelwaarden die aan steekproeven worden toegewezen, geven hun ware optimaliteit niet weer ten opzichte van hun specifieke dynamische sub-domein.
2. Suboptimale Datafiltering: Datafilteringsmechanismen die vertrouwen op deze verkeerd toegewezen waarden, worden misleid, waardoor suboptimale steekproeven worden geselecteerd (bijv. data van gemiddelde kwaliteit uit een specifieke dynamiek) terwijl optimale worden verworpen.
3. Verslapt Suboptimaliteitsgat: Theoretische analyse toont aan dat waarde-verkeerde toewijzing voorkomt dat het suboptimaliteitsgat in het doomeinde strak wordt begrensd, wat de prestaties van de agent verslechtert.

2. Methodologie: V2A

Om waarde-verkeerde toewijzing op te lossen, stellen de auteurs V2A (Value Alignment and Assignment) voor, een kader dat dynamische alignatie, waarde-alignatie en waarde-toewijzing unificeert. De methode verloopt in drie hoofdfasen:

2.1. Temporaal-consistente Modaliteitsrepresentatieleer

De eerste stap is het ontkoppelen van de verschillende dynamische modaliteiten binnen de bron-dataset.

• Benadering: De auteurs maken gebruik van een Expectation-Maximization (EM) kader om een latente representatie $z$ te leren voor elke traject.
• Innovatie: In tegenstelling tot standaard variatiele auto-encoders die overgangen individueel coderen (wat leidt tot temporale inconsistentie), maakt V2A gebruik van een Temporaal-consistente ELBO. Het codeert het volledige traject $\tau$ in één enkele latente variabele $z$ met behulp van een Recurrent Neural Network (RNN/LSTM), terwijl het de overgangen op stapniveau decodeert.
• Doel: Dit zorgt ervoor dat alle overgangen binnen een traject dezelfde dynamische representatie $z$ delen, waardoor trajecten effectief worden geklusterd op basis van hun onderliggende dynamiek.

2.2. Modaliteitsbewuste Voordeellearning

Zodra de dynamische modaliteiten ($z$) zijn afgeleid, wordt de bron-dataset opnieuw gelabeld als $D'_{src} = \{(s, a, r, s', z)\}$.

• Benadering: De auteurs stellen Modaliteitsbewuste Voordeellearning voor. In plaats van een standaard voordeelfunctie $A(s, a)$ te trainen, trainen ze een modaliteits-geconditioneerde voordeelfunctie $A(s, a, z)$.
• Mechanisme: De latente representatie $z$ wordt als invoer aangeleverd aan de $Q$-functie en $V$-functie tijdens de voortraining (met behulp van een Sparse-QL schema).
• Resultaat: Dit stelt de voordeelfunctie in staat onderscheid te maken tussen verschillende dynamische modaliteiten, waardoor correcte voordeelwaarden worden toegewezen aan staat-actieparen op basis van hun specifieke dynamische context, waardoor de waarde-verkeerde toewijzing wordt gecorrigeerd.

2.3. Unificatie van Datafiltering en Beleidsoptimalisatie

De laatste fase integreert deze componenten in een datafilteringsparadigma voor het leren van het doelbeleid.

• Scorefunctie: Een nieuwe scorefunctie $f(s, a, s', z)$ wordt gedefinieerd om bron-data te filteren:
  $$f(s, a, s', z) = \lambda \cdot h(s, a, s') + (1 - \lambda) \cdot \text{Norm}(A(s, a, z))$$
  waarbij $h(\cdot)$ dynamische alignatie meet (via contrastief leren of optimale transport) en $A(s, a, z)$ de modaliteitsbewuste waarde-alignatie meet.
• Filtering: Bron-steekproeven worden geselecteerd op basis van de top-$\xi$ quantiel van deze score.
• Beleidsoptimalisatie: Het doelbeleid wordt getraind op de gefilterde bron-data gecombineerd met de beperkte doel-data met behulp van Implicit Q-Learning (IQL).

3. Belangrijkste Bijdragen

1. Probleemformulering: Het artikel formaliseert het Heterogene Cross-Domain Offline RL scenario, waarbij bron-data uit meerdere domeinen en gedragsbeleid komt, en identificeert Waarde-Verkeerde Toewijzing als een fundamentele beperking in bestaande methoden.
2. Theoretisch Inzicht: De auteurs bieden een theoretische bovengrens voor het suboptimaliteitsgat, en tonen aan dat waarde-verkeerde toewijzing deze grens verslapt. Zij bewijzen dat het ontkoppelen van dynamische modaliteiten noodzakelijk is om een strakkere grens te bereiken.
3. Algoritme (V2A): Zij stellen V2A voor, dat integreert:
   • Temporaal-consistente modaliteitsrepresentatieleer (via EM).
   • Modaliteitsbewuste voordeellearning.
   • Een unificatie van datafiltering.
4. Empirische Validatie: Uitgebreide experimenten op MuJoCo-taken (HalfCheetah, Hopper, Walker2d, Ant) met heterogene bron-datasets tonen aan dat V2A aanzienlijk beter presteert dan sterke baselines (IGDF, OTDF, DVDF, BOSA, DARA).

4. Experimentele Resultaten

• Prestaties: V2A bereikt aanzienlijke prestatieverbeteringen ten opzichte van baselines. Bijvoorbeeld, wanneer gebaseerd op IGDF, verbeterde V2A de totale genormaliseerde score met 21,4% ten opzichte van de baseline IGDF, en met 21,4% ten opzichte van DVDF (die slechts 6,8% verbeterde ten opzichte van IGDF). Vergelijkbare winsten werden waargenomen met OTDF.
• Ablatie-studies:
  • Temporaal-consistente ELBO: Het verwijderen van de traject-niveau consistentie (in plaats daarvan een steekproef-niveau ELBO gebruiken) resulteerde in lagere prestaties, wat de noodzaak bevestigt van temporale consistentie voor accurate modaliteitsextractie.
  • Modaliteitsbewustzijn: Visualisaties van de geleerde voordeelverdelingen tonen aan dat V2A scherpere, meer onderscheidende voordeelverdelingen produceert in vergelijking met de vlakkere, minder discriminerende verdelingen van DVDF, wat wijst op een betere raming van de steekproef-optimaliteit.
  • Parametergevoeligheid: De methode is robuust voor de afwegingscoëfficiënt $\lambda$ (optimaal rond 0,6) en de dataselectieratio $\xi$ (optimaal rond 0,5).

5. Betekenis en Claims

Het artikel beweert dat V2A het eerste kader is dat effectief het probleem van waarde-verkeerde toewijzing aanpakt dat inherent is aan heterogene cross-domain offline RL. Door dynamische alignatie, waarde-alignatie en waarde-toewijzing te unificeren, maakt V2A efficiënte beleidsoverdracht mogelijk, zelfs wanneer bron-data een complexe mengeling is van diverse dynamieken en gedragingen.

De auteurs benadrukken dat, terwijl eerdere werken zich richtten op dynamische of waarde-alignatie in isolatie (of uitgingen van homogene bron-data), hun werk benadrukt dat het negeren van de multi-modale aard van bron-dynamiek leidt tot onjuiste waardenraming, wat op zijn beurt datafiltering ondermijnt. De voorgestelde methode biedt een eenvoudige maar effectieve oplossing die de kloof aanzienlijk dicht tussen theoretische scenario's en realistische, heterogene datasituaties in robotica en embodied AI.

Erkende Beperkingen:

• De temporale-consistente modaliteitsrepresentatieleer vereist extra trainingstijd (hoewel dit vooraf kan worden berekend).
• De theoretische analyse rust op milde aannames (bijv. tweede-orde voldoende voorwaarden voor convexiteit in de buurt van het optimale beleid).