🤖 AI

Hybrid Diffusion for Simultaneous Symbolic and Continuous Planning

Dit artikel behandelt de beperkingen van standaard diffusiemodellen in robottaken op lange termijn door een nieuw hybride diffusiekader voor te stellen dat tegelijkertijd hoog-niveau symbolische plannen en continue trajecten genereert, waardoor de besluitvorming wordt verbeterd en flexibele, op voorwaarden gebaseerde actiesynthese mogelijk wordt gemaakt.

Oorspronkelijke auteurs: Sigmund Hennum Høeg, Aksel Vaaler, Chaoqi Liu, Olav Egeland, Yilun Du

Gepubliceerd 2026-04-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sigmund Hennum Høeg, Aksel Vaaler, Chaoqi Liu, Olav Egeland, Yilun Du

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren een rommelige kamer op te ruimen. Je wilt dat hij speelgoed oppakt, sorteert op kleur en in de juiste bakken legt. Dit lijkt simpel, maar voor een robot is het een enorm puzzel. Hij moet tegelijkertijd beslissen wat hij moet doen (de strategie) en hoe hij zijn arm moet bewegen om dat te doen (de fysieke beweging).

Al geruime tijd gebruiken wetenschappers een type AI genaamd een Diffusiemodel om robots te leren. Denk aan een diffusiemodel als een "ruisverwijderend" kunstenaar. Als je een duidelijke foto neemt en er langzaam ruis (statische storing) aan toevoegt totdat het slechts een wazige vlek is, leert een diffusiemodel hoe het dit proces om te keren. Het begint met de wazigheid en verwijdert langzaam de ruis om het duidelijke beeld te onthullen. In de robotica is het "beeld" een glad pad dat de arm van de robot moet volgen.

Het Probleem: Het "Wazige" Langetermijnplan
Het artikel legt uit dat hoewel deze modellen uitstekend zijn in korte, vloeiende bewegingen (zoals het oppakken van een kopje), ze in de war raken wanneer de taak lang en complex is (zoals het sorteren van tien blokken in een specifieke volgorde).

De auteurs vergelijken dit met een persoon die probeert een lang verhaal te onthouden. Als je je alleen richt op de gevoelens van het verhaal (de continue beweging) zonder de plotpunten (de beslissingen) te onthouden, kun je de toon wel goed hebben maar het einde vergeten. De robot beweegt dan wel vloeiend, maar doet de verkeerde dingen, of blijft vastlopen in lussen. Hij heeft moeite om de "grote plaatje"-beslissingen te verbinden met de "kleine plaatje"-bewegingen.

De Oplossing: De Hybride Diffusieplanner (HDP)
Om dit op te lossen, hebben de auteurs een nieuw systeem ontwikkeld genaamd Hybride Diffusieplanner (HDP). Ze realiseerden zich dat je, om een langdurig puzzel op te lossen, twee dingen nodig hebt die samenwerken:

Het Script (Symbolisch Plan): Een lijst met hoog-niveau stappen, zoals "Pak Blok A op", "Beweeg naar Bak 1", "Leg Blok A neer".
De Voorstelling (Continue Plan): De daadwerkelijke vloeiende bewegingen van de arm van de robot om die stappen uit te voeren.

In plaats van de robot alleen de bewegingen te leren, leert HDP hem om zowel het script als de voorstelling tegelijkertijd te genereren.

Hoe Het Werkt: De "Twee-Spoor" Ruisverwijdering
Het artikel gebruikt een slimme truc om de robot beide dingen tegelijk te leren. Stel je voor dat je twee aparte puzzels hebt:

Puzzel A (De Beweging): Een wazige foto van de beweging van de arm van de robot.
Puzzel B (Het Script): Een zin waarbij sommige woorden bedekt zijn met zwarte vakjes (gemaskerd).

Het HDP-systeem leert om beide puzzels tegelijkertijd op te lossen.

Het neemt de wazige beweging en het afgedekte script.
Het gebruikt de aanwijzingen uit het script om de beweging te helpen bepalen. (Bijvoorbeeld: "Als het script zegt 'Pak Blok A op', moet de arm in de buurt van Blok A zijn.")
Het gebruikt de aanwijzingen uit de beweging om het script te helpen bepalen. (Bijvoorbeeld: "Als de arm naar links beweegt, is de volgende stap waarschijnlijk 'Beweeg naar Links'.")

Door de twee puzzels met elkaar te laten praten terwijl ze worden opgelost, leert de robot een veel sterkere verbinding tussen wat er moet gebeuren en hoe het moet gebeuren.

Waarom Dit Belangrijk Is: De "Regisseur" en de "Acteur"
De auteurs tonen aan dat deze methode veel beter is dan de oude manieren.

Oude Manier: De robot probeert het hele pad in één keer te raden. Hij faalt vaak, net als een acteur die probeert een hele voorstelling te improviseren zonder script.
Nieuwe Manier (HDP): De robot werkt als een regisseur en een acteur die samenwerken. De "regisseur" (het symbolische plan) geeft duidelijke instructies, en de "acteur" (het bewegingsplan) volgt ze nauwkeurig.

Superkrachten: Instructies Opvolgen
Omdat de robot een "script" genereert naast de beweging, kun je hem op het laatste moment specifieke instructies geven.

Voorbeeld: Je kunt de robot vertellen: "Ongeacht wat er gebeurt, zorg ervoor dat het Rode Blok bovenop de toren komt."
De oude modellen zouden dit negeren of in de war raken.
HDP kan die instructie opnemen, vastzetten in het "script", en vervolgens de fysieke bewegingen genereren om het te laten gebeuren. Het is alsof je een chef vertelt: "Maak de pasta, maar doe de kaas erbovenop," en de chef doet het echt.

De Resultaten
Het team testte dit in computersimulaties en met een echte robotarm.

In Simulaties: Toen ze werden gevraagd om een toenemend aantal blokken te sorteren, faalden oude modellen snel. HDP bleef beter worden en kon veel complexere taken aan.
In de Wereld: Toen ze het op een echte robot probeerden, was HDP veel succesvoller in het voltooien van taken zonder te crashen of in de war te raken. De oude modellen maakten vaak plannen die er op papier goed uitzagen, maar fysiek onuitvoerbaar waren.

Samenvattend
Dit artikel introduceert een manier om robots te leren lange, complexe taken te plannen door ze tegelijkertijd een "te-doen-lijst" (symbolisch plan) te laten schrijven terwijl ze de "danspasjes" (continue beweging) leren. Door deze twee delen elkaar te laten helpen, wordt de robot veel slimmer, betrouwbaarder en makkelijker te controleren, zelfs voor moeilijke taken zoals het sorteren van veel objecten of het gebruik van gereedschap.

1. Probleemstelling

Het paper adresseert de uitdaging van robotplanning op lange termijn met behulp van imitatielearning. Hoewel Diffusiemodellen state-of-the-art zijn geworden voor het modelleren van continue robottrajecten (bijvoorbeeld Diffuser), staan ze voor aanzienlijke beperkingen wanneer ze worden toegepast op complexe taken op lange termijn:

Modale Verwarring: Pure diffusiemodellen worstelen met het handhaven van coherent besluitvorming over lange tijdsperiodes, waarbij ze vaak verschillende gedragsmodi verwarren (bijvoorbeeld het niet kunnen sorteren van blokken in een specifieke volgorde, ondanks het zien van succesvolle demonstraties).
Gebrek aan Transparantie: Continue planners werken als black boxes, waardoor het moeilijk is om het planningsproces op hoog niveau te sturen of te interveniëren.
Inefficiëntie: Bestaande Task-and-Motion Planning (TAMP) methoden zijn effectief, maar vereisen uitgebreide handmatige engineering (definieren van symbolische predicaten, actieschema's en transitiemodellen), wat hun aanpasbaarheid aan nieuwe taken via louter leren van demonstraties beperkt.

Het kernprobleem is hoe de flexibiliteit van op diffusie gebaseerde continue planning kan worden gecombineerd met de structurele striktheid van symbolische planning om robuust, interpreteerbaar en controleerbaar gedrag op lange termijn te bereiken zonder zware engineering- overhead.

2. Methodologie: Hybrid Diffusion Planner (HDP)

De auteurs stellen de Hybrid Diffusion Planner (HDP) voor, een kader dat gelijktijdig een continu actietraject ( $A_c$ ) en een discreet symbolisch plan ( $A_d$ ) genereert met behulp van een gekoppeld diffusieproces.

Kernarchitectuur

Dubbele Diffusieprocessen: HDP maakt gebruik van twee verschillende diffusieprocessen die parallel lopen maar gekoppeld zijn binnen één enkel neuronaal netwerk:
1. Continue Diffusie (DDPM): Modelleert het continue robottraject (posities, snelheden, grijperstatus) met behulp van standaard Denoising Diffusion Probabilistic Models.
2. Discrete Diffusie (Masked Diffusion - MD4): Modelleert het symbolische plan (bijvoorbeeld "Pak Blok A", "Plaats in Sleuf 1") met behulp van gemaskerde diffusie, waarbij tokens progressief worden ontmaskerd vanuit een volledig gemaskerde staat.
Gecombineerde Modellering: Een unificerend Transformer-gebaseerd denoising-netwerk ( $D_\theta$ ) neemt als input het verstoord continue traject, de gedeeltelijk gemaskerde symbolische sequentie en de omgevingsobservatie ( $O$ ). Het voorspelt tegelijkertijd de ruis voor het continue deel en de logits voor het discrete deel.
Trainingsdoel: Het model wordt getraind op een gewogen som van verliezen:
- Gemiddelde Kwikkwaarde (MSE) voor de continue denoising-taak.
- Cross-Entropy-verlies voor de discrete gemaskerde tokenvoorspelling.
- Onafhankelijke Corruptieniveaus: Cruciaal is dat tijdens het trainen de ruisniveaus ( $k_c$ voor continu, $k_d$ voor discreet) onafhankelijk worden bemonsterd. Dit dwingt het model om te leren één modaliteit te denoisen met informatie van de andere (bijvoorbeeld het gebruik van een schoon symbolisch plan om het denoisen van een verstoord traject te sturen, en vice versa).

Inferentie en Conditionering

Gecombineerde Bemonstering: Het model genereert beide plannen gelijktijdig door iteratief het continue traject te denoisen en de symbolische tokens te ontmaskeren.
Flexibele Conditionering (Inpainting): Omdat het symbolische plan wordt gemodelleerd via gemaskerde diffusie, ondersteunt HDP conditionele bemonstering. Gebruikers kunnen een gedeeltelijk of volledig symbolisch plan vastleggen (bijvoorbeeld "Blok A moet eerst worden geplaatst") en het model kan een continu traject genereren dat strikt adhereert aan deze beperkingen. Dit wordt bereikt door het ruisniveau van de geconditioneerde tokens op nul te zetten tijdens het omgekeerde diffusieproces.

3. Belangrijkste Bijdragen

Nieuw Imitatielearning-benchmark: De auteurs introduceren een nieuwe taakset gericht op besluitvorming op lange termijn en multimodaal (sorteren, rangschikken en gereedschapsgebruik) waarbij de agent zelf de volgorde van subtaken moet afleiden, in plaats van een vooraf gedefinieerde volgorde te krijgen.
Hybrid Diffusion Planner (HDP): Een nieuwe architectuur die discrete (gemaskerde) en continue (DDPM) diffusieprocessen koppelt. Dit stelt het model in staat de correspondentie tussen hoog-niveau symbolische logica en laag-niveau motorische controle direct uit data te leren.
Flexibele Controleerbaarheid: De methode maakt fijnkorrelige conditionele planning mogelijk. In tegenstelling tot traditionele taalconditionering die volledige zinnen vereist, stelt HDP gebruikers in staat om specifieke delen van het symbolische plan te "inpainten", waardoor wordt gegarandeerd dat het gegenereerde traject aan die beperkingen voldoet.

4. Experimentele Resultaten

De auteurs evalueerden HDP tegenover baselines, waaronder standaard Diffuser, Hierarchical Diffuser, en varianten die symbolische data simpelweg concateneren of gebruikmaken van aparte diffusiemodellen.

Prestaties in Simulatie:
- Succespercentage: HDP presteerde significant beter dan alle baselines. Op de taak "X-Arm Sorting" behaalde HDP 86% succes, vergeleken met 46% voor de standaard Diffuser.
- Schaalbaarheid: Naarmate de taakcomplexiteit toenam (bijvoorbeeld het sorteren van meer blokken), degradeerde de prestatie van de baselines monotoon. HDP bleef robuust, met slechts een marginale daling in prestatie.
- Trainings-efficiëntie: HDP convergeerde aanzienlijk sneller dan de standaard Diffuser.
Adherentie aan Conditionering:
- Wanneer geconditioneerd om een specifiek blok als laatste te plaatsen, adhereerde HDP 93% van de tijd aan de beperking. Baselines (Joint Diffuser, Separate Diffuser) adhereerden slechts ongeveer 32%, wat aantoont dat naïeve concatenatie faalt om symbolische beperkingen af te dwingen.
Implementatie in de Wereld:
- Getest op een Franka Emika-robot met op beelden gebaseerde observaties. HDP behield hoge succespercentages (70% voor sorteren, 60% voor gereedschapsgebruik), terwijl baselines aanzienlijk daalden (bijvoorbeeld Diffuser daalde naar 20% voor sorteren).
- Foutmodi: Baselines faalden vaak door "ongeldige plannen" (logische fouten in de volgorde), terwijl HDP-fouten voornamelijk te wijten waren aan "onprecieze beweging" (kinematische fouten), wat aangeeft dat de hoog-niveau logica correct was.

5. Betekenis en Impact

Overbrugging van de Kloof: HDP overbrugt succesvol de kloof tussen de flexibiliteit van op leren gebaseerde continue planners en de structurele garanties van symbolische planning, zonder de zware engineering van traditionele TAMP-systemen te vereisen.
Interpreteerbaarheid: Door het genereren van een symbolisch plan naast het traject, wordt de intentie van de robot transparant, wat eenvoudiger debugging en menselijk toezicht mogelijk maakt.
Controleerbaarheid: De mogelijkheid om te conditioneren op gedeeltelijke symbolische plannen opent nieuwe wegen voor mens-robotinteractie, waardoor operators complexe taken kunnen sturen door hoog-niveau beperkingen te specificeren in plaats van laag-niveau acties.
Schaalbaarheid: De methode toont aan dat leren van demonstraties kan worden geschaald naar complexe taken op lange termijn, mits de modelarchitectuur expliciet rekening houdt met de discrete besluitvormingsstructuur die inherent is aan dergelijke taken.

Concluderend stelt het paper vast dat gelijktijdige generatie van symbolische en continue plannen via hybride diffusie een superieure aanpak is voor robotplanning op lange termijn, die robuustheid, interpreteerbaarheid en controleerbaarheid biedt die pure continue diffusiemodellen missen.