🤖 AI

Goal-Conditioned Decision Transformer for Multi-Goal Offline Reinforcement Learning

Dit artikel introduceert een Goal-Conditioned Decision Transformer dat gebruikmaakt van vooraf verzamelde offline data om complexe, multi-doel robotica-taken met schaarse beloningen efficiënt op te lossen, en toont superieure prestaties aan ten opzichte van state-of-the-art online baselines op het Franka Emika Panda-platform.

Oorspronkelijke auteurs: Paweł Gajewski, Dominik Żurek, Marcin Pietroń, Kamil Faber

Gepubliceerd 2026-05-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Paweł Gajewski, Dominik Żurek, Marcin Pietroń, Kamil Faber

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotarm wilt leren complexe taken uit te voeren, zoals het oppakken van een blok en het plaatsen op een specifieke locatie. Meestal moet je de robot dan laten proberen, falen, tegen dingen aanrijden en uit zijn fouten leren in de echte wereld. Maar dat is gevaarlijk, duur en slijt de robot.

Dit artikel introduceert een slimmere, veiligere manier om robots te leren met offline learning. Denk hierbij aan het volgende: in plaats van de robot in real-time te laten oefenen, geven we hem een enorme bibliotheek met "thuisvideo's" van andere robots (of experts) die taken uitvoeren. De robot bestudeert vervolgens deze video's om te leren hoe hij moet bewegen, zonder ooit de echte wereld aan te raken tijdens de training.

Hier is de uiteenzetting van hun nieuwe methode, met eenvoudige analogieën:

1. Het Probleem: De "Eén-Taken" Robot

De meeste robots zijn als studenten die alleen studeren voor één specifiek examen. Als je een robot leert een rood blok te duwen, weet hij misschien niet hoe hij een blauw blok moet duwen of naar een kop moet grijpen. Hij mist generalisatie.

2. De Oplossing: De "Doel-Gecconditioneerde Beslissings-Transformer"

De auteurs hebben een nieuw AI-model ontwikkeld dat een Goal-Conditioned Decision Transformer (Doel-Gecconditioneerde Beslissings-Transformer) wordt genoemd. Zo werkt het:

Het "Transformer"-Deel (De Superlezer): Stel je een student voor die niet alleen stappen uit het hoofd leert, maar het verhaal van een beweging begrijpt. Dit model leest een reeks gebeurtenissen (waar de robot was, wat hij deed en wat er daarna gebeurde) als een boek. Het gebruikt een "Transformer"-architectuur (dezelfde technologie achter geavanceerde chatbots) om de context van het hele verhaal te begrijpen, niet alleen de laatste zin.
Het "Doel-Gecconditioneerde" Deel (De GPS): Standaard robots krijgen misschien alleen te horen: "Doe dit." Dit nieuwe model krijgt te horen: "Doe dit om op die specifieke plek te komen."
- De Analogie: Stel je voor dat je een bestuurder instructies geeft.
  - Oude manier: "Sla linksaf, dan rechtsaf." (De bestuurder weet niet wat de bestemming is).
  - Nieuwe manier: "Sla linksaf, dan rechtsaf om bij de Pizzeria te komen."
- Door het robot expliciet het "gewenste doel" (de Pizzeria) samen met de geschiedenis van bewegingen in het geheugen te voeden, leert de robot dat verschillende paden naar dezelfde bestemming kunnen leiden. Hij leert zijn bewegingen aan te passen op basis van waar hij wil eindigen.

3. De "Hindsight" Truc

Het artikel noemt een techniek die Hindsight Experience Replay (Herbeleven van Achteraf) heet.

De Analogie: Stel je voor dat een robot probeert een blok naar de keuken te duwen, maar per ongeluk het blok naar de woonkamer duwt. Een normale robot denkt: "Ik heb gefaald."
De Hindsight Truc: Deze methode zegt: "Nou, je bent niet bij de keuken gekomen, maar je hebt het blok wel succesvol naar de woonkamer geduwd! Laten we doen alsof dat het doel was." Dit zet "falen" om in "succesvolle lessen", waardoor de robot veel sneller leert uit schaarse data.

4. Het Experiment: De Franka Panda Robot

Het team testte dit op een echte robotarm (Franka Emika Panda) met drie taken:

Reach: Een specifieke plek aanraken.
Push: Een kubus naar een plek schuiven.
PickAndPlace: Een object optillen en verplaatsen.

Ze vergeleken hun nieuwe "Goal-Conditioned Transformer" met:

Behavioral Cloning: Gewoon de video's kopiëren zonder het "waarom" te begrijpen.
TQC+HER: Een zeer sterke, standaard online leermethode die leert door trial-and-error in real-time.

5. De Resultaten: De Underdog Wint

De resultaten waren verrassend en indrukwekkend:

Snelheid: Hun methode trainde in 80 minuten, terwijl de standaard online methode 240 minuten nodig had.
Prestatie: Bij complexe taken (zoals PickAndPlace) presteerde hun offline methode zelfs beter dan de online methode die urenlang in de echte wereld had geoefend.
Robuustheid: Zelfs toen de "video's" die ze bestudeerden grotendeels slecht waren (willekeurige fouten) met slechts een paar goede voorbeelden, wist het model nog steeds hoe het moest slagen. Het was als een student die het examen haalde, zelfs als het leerboek voor 75% verkeerd was, zolang de kernlogica maar aanwezig was.
Schaarse Beloningen: In situaties waarin de robot pas aan het einde een "goed gedaan!"-signaal krijgt (schaarse beloningen), bleef deze methode stabiel, terwijl anderen in de war raakten en faalden.

Samenvatting

Het artikel beweert dat door robotleren te behandelen als het lezen van een verhaal met een duidelijk doel voor ogen, ze robots complexe taken kunnen leren met alleen vooraf opgenomen data. Dit is sneller, veiliger en vaak effectiever dan traditionele methoden die vereisen dat de robot fysiek oefent in de echte wereld. Ze hebben ook de dataset die ze gebruikten vrijgegeven, zodat anderen het ook kunnen proberen.

Technische Samenvatting: Doel-geconditioneerde Decision Transformer voor Multi-Doel Offline Versterkende Leer

Probleemstelling

Versterkende leer (RL) in robotica staat voor kritieke uitdagingen op het gebied van steekproefefficiëntie en het vermogen om te generaliseren over variërende doelen. Standaard online algoritmen vereisen continue interactie met de omgeving, wat vaak onpraktisch is voor hardware uit de echte wereld vanwege veiligheidsrisico's, slijtage aan de hardware en tijdsbeperkingen. Hoewel simulaties een deels oplossing bieden, lijden ze vaak onder de "sim-to-real"-kloof.

Offline RL adresseert deze beperkingen door agenten in staat te stellen optimale beleidsregels volledig te leren uit vooraf verzamelde datasets, waardoor de noodzaak voor risicovolle online exploratie wordt geëlimineerd. Bestaande offline methoden richten zich echter vaak op enkele vaste taken, wat ontoereikend is voor robotica voor algemeen gebruik. Bovendien is de toepassing van de Decision Transformer (DT), die RL succesvol heeft herformuleerd als een conditioneel sequentiemodelleerprobleem, op multi-doel offline scenario's—specifiek die met spaarzame beloningen en robotische manipulatie—nog onderbelicht.

Methodologie

De auteurs stellen een Doel-geconditioneerde Decision Transformer (GC-DT) voor, aangepast voor offline multi-doel robotica. De kernmethodologie omvat het aanpassen van de standaard DT-architectuur om doelinformatie expliciet te verwerken binnen het sequentiemodelleerkader.

1. Architectuur Aanpassing

In tegenstelling tot standaard DT's die conditioneren op scalair rendement, integreert de GC-DT gestructureerde doelgegevens direct in de invoersequentie. In multi-doel omgevingen is de observatieruimte een woordenboek dat bevat:

$o_t$ : Huidige observatie.
$g_d$ : Gewenst doel.
$g_a$ : Bereikt doel.

De toestand op tijdstip $t$ wordt gedefinieerd als een tuple $s_t = (o_t, g_d, g_a)$ . Om de Transformer aan te passen, worden deze vectoren afgevlakt en geconcateneerd tot een enkele invoervector:
$s_t = [o_t^{(0)}, \dots, o_t^{(n)}, g_d^{(0)}, \dots, g_d^{(m)}, g_a^{(0)}, \dots, g_a^{(m)}]$

Door het bereikte doel ( $g_a$ ) naast het gewenste doel ( $g_d$ ) op te nemen, kan het model impliciet vooruitgang naar het doel afleiden zonder expliciete afstandsmaatstaven of beloningsvorming te vereisen. Dit stelt het autoregressieve model in staat om temporale credit toewijzing uit te voeren met betrekking tot doelbereiking over de gehele traject.

2. Dataset en Training

Het model wordt volledig offline getraind met data gegenereerd vanuit de Franka Emika Panda-omgeving via de Panda-Gym-suite. De dataset omvat:

Expert Data: Trajecten van geconvergeerde Truncated Quantile Critics (TQC)-agenten, geëvalueerd over 1 miljoen tijdstappen.
Random Data: Trajecten gegenereerd door agenten die uniform acties stochastisch selecteren.
Mengsels: Verschillende combinaties van expert- en random-data om steekproefefficiëntie en resistentie tegen ruis te testen.

De auteurs geven ook deze gespecialiseerde offline dataset vrij ter ondersteuning van reproduceerbaarheid.

3. Taken en Beloningsstructuren

De aanpak wordt geëvalueerd op drie robotische manipulatie-taken: Reach (positioneren van de eind-effector), Push (verplaatsen van een kubus) en PickAndPlace (optillen en verplaatsen van een object). Prestaties worden getest onder twee beloningsstructuren:

Spaarzame Beloningen: Binaire feedback (0 voor succes, -1 anders).
Dichte Beloningen: Negatieve Euclidische afstand tussen het bereikte en het gewenste doel.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Architecturale Uitbreiding: Uitbreiding van de Decision Transformer om multi-doel instellingen te hanteren door expliciete doel-conditionering (gewenste en bereikte doelen) op te nemen in de invoersequentie.
Dataset Publicatie: Vrijgave van een gespecialiseerde offline RL-dataset voor multi-doel robotische manipulatie op het Franka Emika Panda-platform.
Empirische Validatie: Aantonen dat de GC-DT-aanpak de state-of-the-art online baselines (TQC+HER) en Behaviorale Kloning (BC) in offline settings overtreft, met name onder spaarzame beloningssignalen.

Experimentele Resultaten

Experimenten werden uitgevoerd met drie willekeurige zaden, waarbij de GC-DT werd vergeleken met Behaviorale Kloning (BC) en TQC met Hindsight Experience Replay (TQC+HER).

Comparatieve Prestaties

Complexe Taken: In de complexere Push- en PickAndPlace-omgevingen met dichte beloningen overtrof GC-DT consistent zowel TQC+HER als BC in gemiddeld rendement en successpercentage.
Efficiëntie: De GC-DT behaalde deze resultaten met aanzienlijk minder trainingstijd (80 minuten) in vergelijking met de online TQC+HER-baseline (240 minuten).
Spaarzame Beloningen: De GC-DT toonde superieure robuustheid in settings met spaarzame beloningen. In de PickAndPlace-taak behaalde GC-DT een aanzienlijk hoger rendement (-7,63 versus -16,96 voor TQC+HER) en handhaafde een successpercentage van 97,8%, terwijl het successpercentage van TQC+HER daalde naar 77,0%.

Data-efficiëntie en Robuustheid

Datasetgrootte: De prestaties bleven invariant voor de datasetgrootte voor de Reach-taak. Voor complexe taken nam de prestatie alleen af wanneer de data onder de 250k steekproeven daalde; zelfs bij 100k steekproeven behield het model >96% succes in dichte settings.
Expert Data Ratio: Het model toonde verrassende robuustheid tegenover ruis. Zelfs wanneer de dataset slechts uit 25% expert-data bestond (gemengd met 75% willekeurige trajecten), behield de GC-DT >80% succes in complexe taken. De prestaties daalden pas scherp onder deze drempel.

Betekenis en Claims

De auteurs claimen dat de voorgestelde Doel-geconditioneerde Decision Transformer effectief de kloof overbrugt tussen offline RL en multi-doel robotische controle. Zij hypothetiseren dat de robuustheid van het model, met name in settings met spaarzame beloningen, voortkomt uit het vermogen van de Transformer om credit toewijzing over lange horizonnen uit te voeren via self-attention.

Het artikel stelt dat deze aanpak zelfs de expert-beleidsregel die werd gebruikt om de trainingsdata te genereren, kan overtreffen in complexe taken zoals PickAndPlace. Bovendien wordt vastgesteld dat doel-geconditioneerd sequentiemodelleer een levensvatbaar en robuust alternatief is voor traditionele online actor-critic methoden voor offline multi-doel robotica, capable om suboptimale demonstraties en spaarzame feedback te hanteren zonder online interactie te vereisen.

Toekomstig werk wordt geïdentificeerd als het uitbreiden van dit kader naar settings voor continu leren en training met heterogene expert-trajecten.