xTED: Cross-Domain Adaptation via Diffusion-Based Trajectory Editing

Dit paper introduceert xTED, een framework dat een speciaal ontworpen diffusion-model gebruikt om bron-domein trajecten direct op data-niveau aan te passen aan het doel-domein, waardoor complexe domein-specifieke modellen worden vermeden en de prestaties van beleidsleer worden verbeterd.

De kern

Stel je voor dat je een robot wilt leren om een kopje thee te zetten. Je hebt twee opties:

1. Optie A: Je laat de robot urenlang oefenen in de echte keuken (de "doelwereld"), maar dat kost veel tijd, geld en de robot breekt vaak dingen.
2. Optie B: Je leert de robot eerst in een perfecte, virtuele simulatie of met een heel andere robot (de "bronwereld"). Het probleem? De robot in de simulatie ziet er anders uit, voelt anders aan en beweegt anders dan de echte robot. Als je de kennis van de simulatie direct overdraagt, faalt de echte robot vaak omdat hij de wereld verkeerd begrijpt.

Meestal proberen wetenschappers de hersenen van de robot (het beleid) te herschrijven om deze twee werelden met elkaar te verzoenen. Dat is als proberen een Nederlands boek handmatig te vertalen naar het Chinees terwijl je de zinnen steeds weer opnieuw moet bouwen. Het is complex, duur en vaak niet flexibel.

xTED (Cross-Domain Trajectory Editing) doet het anders. In plaats van de hersenen van de robot te veranderen, veranderen ze de "trainingssessie" zelf.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Vertaalprobleem"

Stel je voor dat je een foto hebt van een hond in de sneeuw (bron), maar je wilt een foto van een hond in de woestijn (doel).

• De oude manier was: "Laten we een AI bouwen die de sneeuw weggooit en zand erbij plakt, maar dan moet je wel heel precies weten hoe zand eruitziet."
• xTED zegt: "Laten we de foto van de hond in de sneeuw gewoon 'oplossen' alsof het een wazige tekening is, en dan laten we een expert (de AI) de details van de hond in de woestijn erin 'dromen', terwijl de hond zelf (de actie) hetzelfde blijft."

2. De Oplossing: Een "Difuserende" Chef-kok

De auteurs gebruiken een technologie die Diffusie heet. Dit klinkt ingewikkeld, maar het werkt net als het restaureren van een oud schilderij of het maken van een foto uit ruis.

• Stap 1: De Chef-kok traint. Eerst laten ze de AI (de chef-kok) alleen maar kijken naar de echte robot in de echte keuken (de doelwereld). De chef-kok leert precies hoe de wereld eruitziet: hoe zwaar de kopjes zijn, hoe het licht valt, hoe de robot beweegt.
• Stap 2: Het "Oplossen" van de oude data. Nu nemen ze de data van de andere robot (de bron). Ze voegen er wat "ruis" aan toe. Het is alsof je de foto van de hond in de sneeuw een beetje wazig maakt. De specifieke details van de sneeuw (de fouten van de bronwereld) verdwijnen, maar de vorm van de hond (de taak: "pak het kopje") blijft zichtbaar.
• Stap 3: Het "Denoisen" (Oplossen). De chef-kok (die alleen de echte keuken kent) kijkt naar die wazige foto en zegt: "Ah, dit is een hond, maar hij staat niet in de sneeuw. Laten we de sneeuw wegdoen en zand erbij doen."
  • Het resultaat? Een nieuwe foto van de hond in de woestijn. De hond doet precies hetzelfde (taak behouden), maar de omgeving klopt nu perfect met de echte wereld.

3. Waarom is dit zo slim? (De Creatieve Analogie)

In de robotwereld zijn er drie belangrijke dingen: Waar hij kijkt (staat), Wat hij doet (actie) en Hoe goed hij het doet (beloning).

In de meeste oude methoden werden deze drie als één grote, rommelige stapel pixels behandeld (zoals een gewone foto). Maar in de echte wereld zijn ze heel verschillend:

• Een actie is een beweging.
• Een beloning is een cijfer.
• Een staat is een beeld.

xTED behandelt ze als aparte ingrediënten.

• Het is alsof je een soep maakt. De oude methoden deden alle groenten, vlees en kruiden in één blender en hoopten dat het er goed uitzag.
• xTED heeft aparte kommen voor groenten, vlees en kruiden. Het mengt ze pas op het juiste moment. Hierdoor begrijpt de AI dat de beweging van de arm (actie) afhankelijk is van de positie van het kopje (staat), maar dat de beloning (het gevoel van succes) daar weer anders op reageert.

4. Het Resultaat: Van "Fout" naar "Perfect"

In de experimenten zagen ze iets wonderlijks:

• Als je de robot gewoon de data van de andere robot gaf, breekt hij (hij gooit het kopje kapot of mist de pan).
• Als je de data eerst door xTED laat "wassen" (editen), presteert de robot beter dan als hij alleen met de echte data had geoefend.

Het is alsof je een student die in een virtuele wereld heeft geoefend, eerst een korte "realiteitsschok" geeft die de virtuele gewoontes wegneemt, maar zijn vaardigheden intact laat. Dan is hij klaar voor de echte wereld.

Samenvattend

xTED is geen nieuwe manier om robots te programmeren. Het is een filter voor de data.
Het neemt data uit een andere wereld, wast de "vreemde" eigenschappen eruit met een slimme AI, en houdt de "slimme" eigenschappen (de taak) over. Hierdoor kunnen robots sneller leren, goedkoper worden en minder vaak dingen breken, omdat ze trainen op data die eruitziet alsof het uit de echte wereld komt, zelfs als het oorspronkelijk uit een simulatie kwam.

Het is de digitale versie van: "Niet de speler aanpassen aan het veld, maar het veld aanpassen aan de speler, zodat hij zich thuis voelt."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "xTED: Cross-Domain Adaptation via Diffusion-Based Trajectory Editing" in het Nederlands.

Titel: xTED: Cross-Domain Adaptatie via Diffusion-Based Trajectbewerking

1. Het Probleem

Reinforcement Learning (RL) en Imitatie Learning (IL) in de echte wereld kampen vaak met ernstige data-schaarste. Het verzamelen van data in de doelomgeving (target domain) is duur, tijdrovend en riskant. Een veelgebruikte aanpak is het hergebruiken van data uit andere domeinen (source domains), zoals simulaties of data verzameld door andere robots.

Echter, directe toepassing van deze brondata leidt vaak tot slechte prestaties vanwege domeinverschillen (domain gaps):

• Dynamische gaps: Verschillen in fysica (zwaartekracht, wrijving).
• Morfologische gaps: Verschillen in robotlichaam (lengte van ledematen, massa).
• Observatiegaps: Verschillen in camera-standpunten of visuele weergave.

Bestaande methoden voor cross-domein adaptatie proberen deze gaten te overbruggen door complexe domein-specifieke modellen te bouwen (bijv. discriminators, specifieke encoders of correcties binnen het beleidsleerproces). Deze benaderingen zijn vaak stijf, rekenintensief en moeilijk te hergebruiken voor meerdere bronnen. De kernvraag van dit paper is: Kunnen we de domeinverschillen direct op het dataniveau overbruggen, in plaats van het beleidsleerproces te compliceren?

2. Methodologie: xTED

De auteurs stellen xTED (Cross-Domain Trajectory EDiting) voor, een raamwerk dat brontrajecten (source trajectories) "bewerkt" om ze te laten lijken op de doelomgeving, terwijl de essentiële taaksemantiek behouden blijft. Dit wordt bereikt met een speciaal ontworpen Diffusiemodel.

Kernarchitectuur en Ontwerpprincipes:
In tegenstelling tot beeldbewerking (waar pixels homogeen zijn), bestaan beslissingstrajecten uit heterogene elementen met verschillende fysieke betekenissen: toestanden ($s$), acties ($a$) en beloningen ($r$). xTED lost dit op met de volgende architectuur:

1. Scheiding van Encoder/Decoder: Toestanden, acties en beloningen worden afzonderlijk gecodeerd en gedecodeerd. Dit behoudt hun unieke fysieke betekenis en voorkomt dat het model valse correlaties leert door ze als één grote matrix te behandelen.
2. Dependency Structure Modeling: Het model gebruikt cross-attention mechanismen om de complexe interne afhankelijkheden te modelleren:
   • Toestanden en acties wisselen informatie uit (mutuele afhankelijkheid).
   • Beloningen worden gekwiseerd op basis van de combinatie van staat en actie (causale afhankelijkheid: $r$ hangt af van $s, a$, maar niet andersom).
3. Conditionering: Het model kan worden gestuurd door externe condities, zoals de totale opbrengst (return) van een traject, om het genereren van hoogrenderende trajecten te bevorderen.

Het Bewerkingsproces (Editing Pipeline):
Het proces volgt drie stappen:

1. Training: Het diffusiemodel wordt getraind op de doeldata (target domain) om de verdeling van realistische trajecten in dat domein te leren.
2. Forward Process (Perturbatie): Brontrajecten worden verstoord met ruis. Een parameter $\kappa$ bepaalt hoeveel ruis wordt toegevoegd. Een lage $\kappa$ behoudt veel originele informatie, een hoge $\kappa$ verwijdert meer. De auteurs vinden dat $\kappa = 0.5$ ideaal is: het verwijdert fijne dynamische details (de domein-bias) maar behoudt mesoscopische informatie (vaardigheidsprimitieven).
3. Reverse Process (Denoising): Het verstoord brontraject wordt "ontruisd" met het getrainde doel-diffusiemodel. Hierdoor worden de trajecten herschreven om te voldoen aan de dynamica en observatiepatronen van de doelomgeving, terwijl de oorspronkelijke taakstructuur intact blijft.

3. Belangrijkste Bijdragen

• Data-niveau Adaptatie: xTED verschuift de focus van complexe beleidsaanpassingen naar data-preprocessing. Het maakt het mogelijk om elke downstream RL/IL-algoritme te gebruiken zonder aanpassingen voor cross-domein.
• Specifieke Diffusie-architectuur voor RL: Het introduceert een nieuwe diffusie-architectuur die rekening houdt met de heterogeniteit en causale afhankelijkheden van RL-data (s, a, r), in plaats van ze simpelweg als afbeeldingen te behandelen.
• Universaliteit: Het model is domein-agnostisch en kan worden toegepast op meerdere bronnen zonder hertraining, zolang de observatie- en actieruimtes structureel overeenkomen.
• Data Augmentatie: Het model kan ook fungeren als een data-generatiemodel voor single-domain augmentatie wanneer geen brondata beschikbaar is.

4. Resultaten

De auteurs evalueren xTED uitgebreid in zowel simulatie (MuJoCo) als op echte robots.

• Echte Robot Experimenten:

  • Setup: Data van een Airbot (bron) werd gebruikt om een beleid te trainen voor een WidowX-robot (doel) met verschillende taken (beker op schaal, eend op bord, pot verplaatsen). Er waren grote verschillen in robotlichaam en camera-standpunten.
  • Resultaat: Het gebruik van bewerkte brondata leidde tot enorme prestatieverbeteringen (bijv. van 43% naar 97% succes in de "Cup" taak).
  • Contrast: Het direct toevoegen van onbewerkte brondata leidde vaak tot een daling in prestaties (soms tot 0% succes), omdat de domeinverschillen het beleid verwarren.

• Simulatie Experimenten (D4RL benchmarks):

  • Getest op HalfCheetah en Walker2d met dynamische gaps (zwaartekracht, wrijving, dijgrootte).
  • xTED verbeterde consistent de prestaties van offline RL-algoritmen (zoals IQL en TD3+BC) in bijna alle scenario's.
  • Onbewerkte brondata resulteerde in 5 van de 18 taken in slechtere prestaties dan alleen doeldata.
  • Dynamische Nauwkeurigheid: De bewerking verlaagde de dynamische fout (MAE) van de brondata aanzienlijk, waardoor deze bijna gelijk werd aan die van de doeldata.

• Ablatie Studies:

  • Bewezen dat het scheiden van encoding/decoding en het modelleren van causale afhankelijkheden cruciaal zijn voor succes.
  • Toonde aan dat xTED beter presteert dan bestaande augmentatiemethoden (zoals S4RL) en dat het goed werkt in combinatie met andere cross-domein methoden (zoals DARA).

5. Significantie en Conclusie

xTED vertegenwoordigt een paradigmaverschuiving in cross-domein adaptatie voor robots. In plaats van te proberen beleidsmodellen te laten "leren" om domeinverschillen te negeren, corrigeert xTED de data zelf zodat deze compatibel is met de doelomgeving.

Belangrijkste implicaties:

• Efficiëntie: Het elimineert de noodzaak voor complexe, taak-specifieke domein-adaptatiemodules.
• Flexibiliteit: Het werkt met elke bestaande RL/IL-algoritme en kan worden gecombineerd met andere methoden.
• Robuustheid: Het maakt het hergebruiken van data uit diverse bronnen (simulaties, verschillende robots) veilig en effectief, zelfs bij grote dynamische verschillen.
• Toekomstperspectief: Het opent de deur voor grootschalig hergebruik van robotdata en versnelt de ontwikkeling van robuuste, generalistische robotsystemen.

Kortom, xTED bewijst dat "bewerken" van trajectdata met diffusiemodellen een krachtig, eenvoudig en universeel middel is om de kloof tussen simulatie en realiteit, of tussen verschillende robotlichamen, te overbruggen.