Technische Samenvatting: Het Overbruggen van Domeinverschillen met Doelgericht Uitgelijnde Generatie voor Offline Versterkingsleer

Probleemstelling

Cross-domein offline versterkingsleer (RL) heeft tot doel een beleid over te dragen van een bron-domein naar een doel-domein, uitsluitend gebruikmakend van vooraf verzamelde datasets, zonder enige online interactie. Deze setting is cruciaal voor toepassingen zoals heterogene robotbesturing en simulatie-naar-realiteit-overdracht, waar online dataverzameling te kostbaar of onveilig is.

Een primaire uitdaging in dit regime is de distributieve mismatch tussen bron- en doel-domeinen, met name wanneer de doel-dataset extreem beperkt is ($|D_{tar}| \ll |D_{src}|$). Bestaande methoden proberen deze kloof vaak te overbruggen door bron-data te filteren om transities te vinden die "nabij" de doel-distributie liggen. De auteurs tonen echter aan dat, wanneer de dynamische kloof groot is, het direct incorporeren van zelfs "naaste-buur" bron-transities aanzienlijke distributieve mismatch kan veroorzaken, wat de prestaties verslechtert ten opzichte van trainen op alleen de doel-data. Omgekeerd leidt het uitsluitend vertrouwen op beperkte doel-data vaak tot onvoldoende staatendekking voor effectief beleidsleren.

Methodologie: Doelgericht Uitgelijnde Dekkingsexpansie (TCE)

Om de afweging tussen het benutten van bron-data en het vermijden van distributieve mismatch aan te pakken, stellen de auteurs Target-Aligned Coverage Expansion (TCE) voor. TCE is een raamwerk dat theoretisch leidt hoe bron-data moet worden gebruikt: ofwel door directe incorporatie van doel-nabije transities, of door het gebruik van bron-data om de staatendekking uit te breiden via doelgericht uitgelijnde generatie.

Theoretische Grondslag

De methode is gebaseerd op een theoretische analyse van de prestatiekloof tussen een doel-Markov-beslissingsproces (MDP) en een mengsel-MDP (dat bron- en doel-dynamica combineert). De auteurs leiden een bovengrens af (Stelling 4.1) waaruit blijkt dat de prestatiekloof wordt bepaald door twee componenten:

1. Dynamische Kloof: De totale variatieafstand tussen de bron-overgangsdynamica ($P_{src}$) en de doel-dynamica ($P_{tar}$).
2. Generatiefout: De afstand tussen een gegenereerde benaderende doel-overgang ($\hat{P}_{tar}$) en de ware doel-dynamica.

TCE beheerst deze twee foutbronnen door twee coëfficiënten aan te passen:

• $\lambda_{mix}$: Beheerst het fractioneel deel van bron-data dat direct wordt opgenomen (minimaliseert generatiefout maar kan de dynamische kloof vergroten).
• $\lambda_{cov}$: Beheerst de omvang van de uitbreiding van de staatendekking via generatie (minimaliseert dynamische kloof maar kan generatiefout vergroten).

Algoritmisch Raamwerk

TCE maakt gebruik van een dubbel score-gebaseerd generatief model gebouwd op Stochastische Differentiaalvergelijkingen (SDE's) om transities te synthetiseren die consistent zijn met doel-dynamica maar een uitgebreide staatruimte bestrijken.

1. Dubbele Score-netwerken:

   • Mixture-State Score Network ($q^{mix}_\theta$): Getraind op een controleerbaar mengsel van doel-staten en bron-staten die "nabij" het doel liggen (geselecteerd via een naaste-buur-criterium). Dit netwerk modelleert de uitgebreide staatendistributie.
   • Target-Transition Score Network ($q^{tran}_\theta$): Getraind uitsluitend op doel-transities. Het genereert de volgende staat, geconditioneerd op de huidige staat, en zorgt ervoor dat de overgangsdynamica uitgelijnd is met het doel-domein.

2. Tweestaps Steekproefprocedure:

   • Stap 1 (Staatsteekproef): Steekt een staat $\hat{s}_t$ uit de mixture-state distributie met behulp van de reverse SDE geleid door $q^{mix}_\theta$.
   • Stap 2 (Transitiesteekproef): Genereert de volgende staat $\hat{s}_{t+1}$ geconditioneerd op $\hat{s}_t$ met behulp van de reverse SDE geleid door $q^{tran}_\theta$.
   • Auxiliaire Modellen: Een inverse dynamica-model (getraind op doel-data) en een beloningsmodel (getraind op beide domeinen) worden gebruikt om de actie $\hat{a}_t$ en de beloning $\hat{r}_t$ te herstellen, waarmee de transitie-tuple wordt voltooid.

3. Beleidsleren:
   De definitieve trainingsdataset ($D_{train}$) wordt samengesteld door de doel-dataset ($D_{tar}$), de gegenereerde doel-uitgelijnde transities ($D^{gen}_{\lambda_{cov}}$), en optioneel een gefilterd subset van bron-transities ($D^{src}_{\lambda_{mix}}$) te combineren. Een offline RL-algoritme (Implicit Q-Learning, IQL) wordt getraind op deze uitgebreide dataset met een KL-regularisatieterm om afwijkingen van het doel-bewegingsbeleid te bestraffen.

Belangrijkste Bijdragen

• Target-Aligned Coverage Expansion (TCE): Een nieuw raamwerk dat voorbij gaat aan eenvoudige filtering van bron-data. Het beslist expliciet of bron-data direct moet worden gebruikt of als basis moet dienen voor het genereren van doel-consistente transities, gebaseerd op de omvang van het domeinverschil.
• Theoretische Analyse: Een formele decompositie van de cross-domein prestatiekloof in dynamische mismatch en generatiefout, wat een theoretische basis biedt voor het balanceren van data-mixing en generatie.
• Dubbel Score-gebaseerde Architectuur: Een tweestaps generatieve aanpak die de uitbreiding van de staatendekking ontkoppelt van het modelleren van transities. Dit ontwerp voorkomt overfitting op beperkte doel-data, wat een veelvoorkomende faalmodus is bij het direct leren van staat-actie-volgende-staat-mappings in regimes met weinig data.
• Empirische Validatie: Uitgebreide experimenten die aantonen dat TCE consistent betere prestaties levert dan state-of-the-art baselines in diverse cross-domein settings.

Experimentele Resultaten

De auteurs hebben TCE geëvalueerd op MuJoCo continu-control taken (HalfCheetah, Hopper, Walker2d, Ant) en Adroit dexterous manipulation taken, waarbij morfologie-, kinematische- en zwaartekrachtsverschillen werden gedekt.

• Prestaties: TCE behaalde de hoogste gemiddelde prestaties in 33 van de 36 morfologie-verschuivingstaken in MuJoCo en presteerde beter dan alle baselines op Adroit-taken.
• Robuustheid bij Grote Kloven: In scenario's met grote dynamische kloven (bijvoorbeeld significante morfologieveranderingen of extreme zwaartekrachtsverschuivingen) presteerde de variant TCE(OG) (die uitsluitend gegenereerde transities gebruikt, $\lambda_{mix}=0$) aanzienlijk beter dan methoden die bron-data direct mixten. Dit bevestigt dat naïeve incorporatie van bron-data schadelijk kan zijn bij grote kloven.
• Kleine Kloven: In mildere settings (bijvoorbeeld zwaartekrachtsverschuivingen) toonde de variant TCE(SM) (die bron-data opneemt, $\lambda_{mix} > 0$) superieure prestaties, wat de aanpasbaarheid van het raamwerk valideert.
• Ablatiestudies:
  • Dekkingscoëfficiënt ($\lambda_{cov}$): De prestaties volgen een afwegingscurve; te agressieve uitbreiding van de dekking verhoogt de generatiefout en verslechtert de prestaties. Een matige waarde (bijvoorbeeld 0,2) bleek optimaal.
  • Tweestaps Ontwerp: Het ontkoppelde tweestaps ontwerp bleek cruciaal. Een "één-staps" baseline die direct volgende staten schatte vanuit staat-actie-paren, leed aan aanzienlijk hogere fouten en lagere prestaties als gevolg van overfitting op beperkte doel-data.

Betekenis en Claims

Het artikel claimt dat TCE een eenvoudige en praktische oplossing biedt voor cross-domein offline RL, met name in veiligheidskritieke of kostengevoelige domeinen waar online interactie onmogelijk is. Door de beslissing om data te mixen of te genereren theoretisch te onderbouwen, mitigeert TCE de distributieve mismatch die bestaande methoden teistert.

De auteurs benadrukken dat hun aanpak geen universele panacee is; het veronderstelt gedeelde staat- en actieruimtes en is afhankelijk van de doel-dataset, hoe klein ook, om de generatie te sturen. Zij erkennen beperkingen in scenario's met extreme mismatch waarbij bron en doel weinig overlap hebben. Niettemin suggereren de resultaten dat doelgericht uitgelijnde generatie een robuustere strategie is dan directe data-mixing wanneer het domeinverschil aanzienlijk is, waardoor effectief beleidsleren mogelijk wordt met beperkte doel-data.