🤖 machine learning

BiTrajDiff: Bidirectional Trajectory Generation with Diffusion Models for Offline Reinforcement Learning

BiTrajDiff is een nieuw data-augmentatiekader voor offline versterkend leren dat bidirectionele diffusiemodellen inzet om zowel toekomstige als historische trajecten te genereren vanuit tussentijdse toestanden, waardoor datasetdistributievraagstukken worden overwonnen en de generaliseerbaarheid van het beleid wordt verbeterd door het verkennen van diverse gedragspatronen.

Oorspronkelijke auteurs: Yunpeng Qing, Yixiao Chi, Shuo Chen, Shunyu Liu, Kexuan Zhou, Sixu Lin, Litao Liu, Changqing Zou

Gepubliceerd 2026-05-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yunpeng Qing, Yixiao Chi, Shuo Chen, Shunyu Liu, Kexuan Zhou, Sixu Lin, Litao Liu, Changqing Zou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Eénrichtingsstraat" van Robotleren

Stel je voor dat je probeert een robot te leren hoe het een doolhof moet navigeren. Je hebt alleen een video-opname van een mens dat door het doolhof loopt. Maar hier zit de adder onder het gras: de mens in de video loopt alleen maar door de linker gang of de rechter gang. Ze lopen nooit door de verbindingsdeur in het midden.

In de wereld van Offline Versterkend Leren (RL) is dit een veelvoorkomend probleem. De robot leert van een statische dataset (de video) en durft niets nieuws te proberen omdat het misschien een fout maakt (een "out-of-distribution"-fout). Dus blijft het vastzitten in de linker- of rechtergang en ontdekt het nooit dat het de deur kan oversteken om een betere beloning te krijgen.

Bestaande methoden proberen te helpen door AI te gebruiken om nieuwe paden te "bedenken". Echter, de meeste van deze methoden zijn als éénrichtingsstraatgeneratoren.

Als ze beginnen aan de linkerkant, bedenken ze alleen meer paden die naar links lopen.
Als ze beginnen aan de rechterkant, bedenken ze alleen meer paden die naar rechts lopen.
Ze komen er zelden op hoe ze een pad moeten naaien dat van Links $\rightarrow$ Deur $\rightarrow$ Rechts gaat. Ze behouden de "connectiviteit" van de oorspronkelijke slechte data.

De Oplossing: BiTrajDiff (De "Tweewegnaaier")

De auteurs stellen een nieuwe methode voor genaamd BiTrajDiff. In plaats van alleen vooruit of achteruit te kijken, kijkt deze methode in beide richtingen tegelijkertijd om een brug te bouwen tussen losgekoppelde paden.

Denk eraan als een kleermaker die een nieuwe jurk naait met twee verschillende stukken stof:

Het Ankerpunt (De Naald): De AI kiest een specifieke plek in het midden van de kamer (een toestand) uit de originele video. Laten we dit het "Anker" noemen.
De Voorwaartse Draad (Toekomst): De AI vraagt: "Als ik op dit Anker sta, hoe ziet een goede toekomst eruit?" Het genereert een pad dat vooruit beweegt vanaf dat punt.
De Achterwaartse Draad (Geschiedenis): De AI vraagt: "Als ik op dit Anker sta, hoe ben ik hier gekomen?" Het genereert een pad dat achteruit beweegt vanaf dat punt.
De Steek: De magie gebeurt wanneer de AI deze twee draden naait bij het Anker. Plotseling heeft het een gloednieuw, compleet pad gecreëerd dat de "Linker Gang" met de "Rechter Gang" verbindt via de deur – een pad dat nooit bestond in de originele video.

Hoe Het Werkt (Stap voor Stap)

De Kleermakers Opleiden: Het systeem traint twee aparte "AI-kleermakers" (Diffusiemodellen). De ene is een expert in het voorspellen van de toekomst, en de andere is een expert in het reconstrueren van het verleden.
De Stukken Genereren: Het kiest een willekeurige plek uit de oude data. Het vraagt de "Toekomst-Kleermaker" om een pad vooruit te tekenen en de "Verleden-Kleermaker" om een pad achteruit te tekenen.
De Gaten Opvullen: De AI gebruikt vervolgens een "Reverse Dynamics"-tool om uit te zoeken welke acties (bewegingen) en beloningen (punten) nodig zouden zijn om die getekende paden echt te maken.
De Kwaliteitscontrole (De Portier): Niet elk genaaid pad is goed. Sommigen zien er raar uit of zijn onmogelijk. Het systeem heeft een "Portier" (een filter) die twee dingen controleert:
- Is het realistisch? (Ziet het eruit als iets dat echt kan gebeuren in het doolhof?)
- Is het goed? (Leidt het tot een hoge score?)
- Als het antwoord nee is, wordt het pad weggegooid. Als ja, wordt het toegevoegd aan de trainingsdataset.

Waarom Het Beter Is

Het paper testte dit op de D4RL-benchmark (een standaardset van robotbesturingstaken zoals lopen, rennen en doolhoven navigeren).

Het Resultaat: Door voorwaartse en achterwaartse paden aan elkaar te naaien, creëerde BiTrajDiff "bruggen" tussen gedragingen die eerder gescheiden waren.
De Analogie: Als de oude data een bibliotheek was met twee aparte kamers boeken die nooit met elkaar spraken, bouwde BiTrajDiff een gang die ze met elkaar verbond. Nu kan de robot een boek uit de linker kamer lezen, door de nieuwe gang lopen en een boek uit de rechter kamer lezen.
De Uitkomst: Robots die met deze nieuwe, "genaaide" data werden getraind, leerden sneller en presteerden beter dan robots die alleen met de oude data of data gegenereerd door éénrichtingsmethoden werden getraind. Ze konden taken oplossen (zoals het oversteken van een deur in een doolhof) die de originele data als onmogelijk aanwees.

Samenvatting

BiTrajDiff is een nieuwe manier om robots te leren door "nieuwe ervaringen" te bedenken. In plaats van alleen maar te gokken wat er als nächst gebeurt, gokt het wat er eerder gebeurde en wat er als nächst gebeurt, en naait ze vervolgens samen om een compleet, hoogwaardig verhaal te creëren. Dit stelt robots in staat te leren van "wat als"-scenario's die ontbraken in hun originele trainingsvideo's, waardoor ze de beperkingen van hun vorige ervaringen kunnen overwinnen.

Technische Samenvatting: BiTrajDiff

Probleemstelling

Offline Versterkend Leren (RL) streeft ernaar effectieve beleidsregels te leren uit statische, vooraf verzamelde datasets zonder verdere interactie met het omgeving. Een primaire uitdaging in dit domein is het Out-of-Distribution (OOD) probleem, waarbij de geleerde beleidsregel state-action paren tegenkomt die niet aanwezig zijn in de gelogde data, wat leidt tot extrapolatiefouten en overschatting van waarden. Om dit te mitigeren, dwingen bestaande methoden vaak conservatieve beperkingen af, wat onbedoeld het leren beperkt tot de structurele biases van de dataset, waardoor gedragsdiversiteit en generalisatie worden beperkt.

Recente Data Augmentatie (DA) benaderingen proberen dit aan te pakken door gebruik te maken van generatieve modellen (met name diffusiemodellen) om nieuwe transities te synthetiseren. Echter, huidige DA-methoden opereren voornamelijk binnen een single rollout paradigma (ofwel forward-future of backward-history) geconditioneerd op states binnen de dataset. Als gevolg daarvan hebben deze methoden de neiging om de oorspronkelijke connectiviteit op trajectniveau van de dataset te behouden. Ze genereren lokale variaties binnen bestaande gedragspatronen, maar falen in het herstellen van verbindingen tussen distincte, niet-verbonden gedragspatronen (bijvoorbeeld het overbruggen van twee aparte kamers in een navigatietaken waar geen cross-deur trajecten bestaan in de oorspronkelijke data).

Methodologie

De auteurs stellen BiTrajDiff (Bidirectional Trajectory Diffusion) voor, een nieuw DA-framework dat is ontworpen om expliciet globale connectiviteit op trajectniveau te herstellen door trajecten te synthetiseren die eerder niet-verbonden gedragspatronen overbruggen.

Kernframework

BiTrajDiff decomposeert trajectsynthese in twee onafhankelijke maar complementaire diffusieprocessen:

Forward-Future Diffusion: Modelleert de generatie van toekomstige state-sequenties beginnend bij een intermediaire state.
Backward-History Diffusion: Modelleert de reconstructie van verleden state-sequenties eindigend bij dezelfde intermediaire state.

Beide processen zijn geconditioneerd op dezelfde intermediaire ankerstates ( $s_t$ ) die zijn bemonsterd uit de offline dataset, samen met een signaal voor de doel-cumulatieve opbrengst.

Belangrijkste Componenten

Bidirectionele Diffusietraining:
- Twee aparte diffusiemodellen ( $\epsilon_{\theta_f}$ voor forward, $\epsilon_{\theta_b}$ voor backward) worden getraind op de offline dataset.
- Het forward-model genereert trajecten $\{s_t, \dots, s_{t+H-1}\}$ geconditioneerd op de initiële state $s_t$ en de doel-opbrengst $R_f$ .
- Het backward-model genereert trajecten $\{s_{t-H+1}, \dots, s_t\}$ geconditioneerd op de terminale state $s_t$ en de doel-opbrengst $R_b$ .
- Training maakt gebruik van Classifier-Free Guidance (CFG) om conditionele en unconditionele generatie te hanteren, waarbij de cumulatieve opbrengst dient als primaire conditie.
Bidirectionele Trajectgeneratie & Aaneenrijgen:
- Tijdens inferentie wordt een ankerstate $s_t$ bemonsterd uit de dataset.
- Het forward-model genereert een toekomstig segment, en het backward-model genereert een verleden segment.
- Deze segmenten worden aaneengeregen bij de gedeelde ankerstate $s_t$ om een volledig bidirectioneel traject te vormen: $\hat{\tau}_s(s_t) = \{ \hat{s}_{t-H+1}, \dots, \hat{s}_{t-1}, s_t, \hat{s}_{t+1}, \dots, \hat{s}_{t+H-1} \}$ .
- Dit aaneenrijgmechanisme maakt het synthetiseren van trajecten mogelijk die states verbinden die in de oorspronkelijke dataset eerder onbereikbaar of niet-verbonden waren.
Trajectvoltooiing:
- Aangezien de diffusiemodellen state-sequenties genereren, wordt een Inverse Dynamics Model (IDM) gebruikt om acties ( $a_t$ ) te voorspellen gegeven state-overgangen ( $s_t, s_{t+1}$ ).
- Een Reward Model (RM) voorspelt beloningen ( $r_t$ ) voor de state-action paren.
- Dit vervolledigt het traject met actie- en beloningssignalen, waardoor een volledige transitietafel wordt gevormd.
Bidirectionele Trajectfiltering:
Om de kwaliteit van de verrijkte data te waarborgen, wordt een tweestapsfiltermechanisme toegepast:
- OOD Filter: Gebruikt een Isolation Forest om trajecten te detecteren en te verwijderen die significant afwijken van de oorspronkelijke data-distributie (novelty detection).
- Greedy Filter: Selecteert de top-trajecten op basis van de hoogste cumulatieve beloning, zodat de verrijkte data het beleid richting hoogpresterend gedrag leidt.

Belangrijkste Bijdragen

Identificatie van Beperkingen: De auteurs identificeren dat single-rollout DA-methoden de oorspronkelijke connectiviteit op trajectniveau behouden, waardoor ze falen in het verkennen van verbindingen tussen distincte gedragspatronen.
Bidirectionele Synthese: Het voorstellen van BiTrajDiff, dat synthese expliciet decomposeert in forward- en backward-processen geconditioneerd op gedeelde ankers, waardoor synthese van trajecten mogelijk wordt die niet-verbonden gedragsmodi overbruggen.
Empirische Validatie: Uitgebreide experimenten op de D4RL-benchmark tonen aan dat BiTrajDiff consequent betere prestaties levert dan geavanceerde DA-baselines (waaronder Synther, DiffStitch en RTDiff) over verschillende offline RL-backbones (IQL, TD3BC, CQL, DT).

Experimentele Resultaten

Het paper evalueert BiTrajDiff op de D4RL-benchmark, met dekking van locomotie, navigatie (Maze2D, AntMaze) en manipulatie (Kitchen) taken.

Prestatiewinst: BiTrajDiff bereikt de hoogste gemiddelde opbrengsten over de meeste taken en algoritmen. Bijvoorbeeld, in locomotietaken presteert het consequent beter dan single-direction baselines. In omgevingen met schaarse beloningen zoals Maze en Kitchen, waar datakwaliteit kritiek is, toont BiTrajDiff significante verbeteringen in stabiliteit en prestaties.
Ablatie-studies:
- Directionaliteit: BiTrajDiff (bidirectioneel) presteert consequent beter dan zowel forward-only als backward-only varianten, wat de noodzaak valideert om zowel verleden als toekomstige segmenten aan te rijgen om globale connectiviteit te herstellen.
- Filtering: De combinatie van OOD- en Greedy-filters blijkt superieur aan het gebruik van een van beide alleen of geen filters, waarbij diversiteit wordt gebalanceerd met betrouwbaarheid.
- Augmentatieverhouding: Een verhouding van 30% verrijkte data tot oorspronkelijke data ( $\sigma=30\%$ ) levert optimale stabiliteit en prestaties op; overmatige augmentatie (100%) introduceert ruis die de prestaties verslechtert.
n-step TD Schatter: BiTrajDiff behoudt zijn prestatievoordeel ten opzichte van baselines zelfs naarmate de n-step horizon toeneemt, wat suggereert dat de gegenereerde trajecten van hogere kwaliteit zijn en consistenter met de onderliggende dynamica dan die van andere DA-methoden.
Diversiteit vs. Nauwkeurigheid: Visualisatiemetrics (Dynamic Error en L2-afstand) tonen aan dat BiTrajDiff trajecten genereert met significant hogere diversiteit (grotere L2-afstand van de oorspronkelijke data) terwijl het concurrerende dynamische nauwkeurigheid behoudt, in tegenstelling tot single-direction methoden die de neiging hebben om te overfitten op de oorspronkelijke distributie.

Betekenis en Claims

Het paper claimt dat BiTrajDiff een fundamentele beperking in offline RL-dataaugmentatie aanpakt: het onvermogen van single-process rollouts om niet-verbonden gedragspatronen te overbruggen. Door expliciet forward-future en backward-history trajecten rond gedeelde ankerstates te modelleren en aan te rijgen, herstelt BiTrajDiff globale connectiviteit op trajectniveau die ontbreekt in de oorspronkelijke dataset.

De auteurs stellen dat deze aanpak offline RL-algoritmen in staat stelt te leren van een diverser scala aan gedragspatronen zonder fysieke consistentie op te offeren, wat leidt tot aanzienlijke prestatieverbeteringen over een breed scala aan taken en algoritmen. Het werk wordt gepresenteerd als een stap voorwaarts in het overwinnen van de structurele biases van conservatief offline leren door middel van generatieve dataaugmentatie. Toekomstig werk wordt opgemerkt om bidirectionele generatie te verkennen in multi-task settings met bredere gedragspatronen.