🤖 machine learning

DiRecT: Safe Diffusion-Based Planning via Receding-Horizon Denoising

DiRect is een training-vrij algoritme dat veilige planning in diffusiemodellen waarborgt door restricties alleen op te leggen aan de uiteindelijke schone traject via receding-horizon denoising, waardoor het overmatige beperking van tussenstappen wordt vermeden die in bestaande benaderingen doorgaans de kwaliteit van samples verslechtert.

Oorspronkelijke auteurs: Paolo Giaretta, Zeyang Li, Navid Azizan

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Paolo Giaretta, Zeyang Li, Navid Azizan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert om door een drukke kamer te lopen om een kop koffie te halen. Je hebt een zeer slimme robot die duizenden video's heeft bekeken van mensen die dit doen. De robot weet hoe hij over het algemeen moet bewegen, maar hij weet niets over de specifieke stoelen of tafels in deze kamer op dit moment.

Als je de robot simpelweg vraagt om "koffie te gaan halen", kan hij recht tegen een tafel aanlopen omdat hij probeert creatief te zijn. Maar als je probeert hem bij elke stap van de weg te stoppen om te voorkomen dat hij een tafel raakt tijdens het plannen, eindig je misschien met een robot die bevriest, hapert of een vreemd, schokkerig pad neemt omdat je elke gedachte van hem hebt micromanaged.

Dit is het probleem dat het papier DiRecT oplost.

Het Probleem: De "Overcorrectie"-valstrik

De auteurs leggen uit dat bestaande methoden voor het veilig maken van AI-planners lijken op een zenuwachtige ouder die de hand van een kind te stevig vasthoudt.

De Oude Manier: Terwijl de robot zijn pad plant (stap voor stap), controleert de computer: "Is deze stap veilig?" Zo niet, dan dwingt hij de robot om die specifieke stap onmiddellijk te veranderen.
De Gebrekkigheid: Het planningsproces van de robot bevat veel "ruis" of ruwe concepten. Controleren op veiligheid tijdens deze ruwe concepten is als een schilder vertellen: "Maak geen enkele penseelstreek die op een boom lijkt," terwijl hij nog kleuren aan het mengen is op zijn palet. Dit beperkt de creativiteit van de robot en leidt vaak tot een eindresultaat dat lelijk, schokkerig is of niet het doel bereikt.

De Oplossing: DiRecT (De "Receding-Horizon" Coach)

De auteurs introduceren DiRecT, wat meer werkt als een wijze coach dan als een zenuwachtige ouder.

1. De Visie van de "Schone Traject"
In plaats van de veiligheid op elk ruw concept te controleren, wacht DiRecT tot de robot een definitief, schoon plan in gedachten heeft. Het vraagt: "Als je dit plan precies volgt, zul je dan een tafel raken?"

De Analogie: Stel je voor dat de robot een pad op een stuk papier tekent. De oude methoden probeerden een lijn te wissen zodra het potlood het papier raakte als de lijn er iets krom uitzag. DiRect laat het potlood vrij tekenen, en kijkt dan naar de voltooide tekening. Als de voltooide tekening een tafel raakt, dan duwt het de hele tekening voorzichtig weg om hem weg te bewegen.

2. De "Receding Horizon"-truc
Het papier gebruikt een concept genaamd "Receding-Horizon" (geïnspireerd door Model Predictive Control).

De Analogie: Denk aan het rijden in een auto in de nacht met mistige koplampen. Je kunt slechts een paar meter vooruit kijken.
- Oude Methode: Je probeert nu al perfect te sturen voor de hele rit van 100 mijl, ook al kun je de weg niet zien.
- DiRecT: Je kijkt naar de weg direct voor je, plant een veilig pad voor de komende paar seconden, rijdt dat, en plant vervolgens opnieuw voor de volgende paar seconden. Je werkt je plan constant bij op basis van wat je nu ziet, waardoor je nooit een muur raakt, maar je dwingt de auto niet om in een rechte lijn te rijden als de weg bochtigt.

3. De "Training-Free" Superkracht
Het beste deel? DiRecT hoeft de robot niet opnieuw te onderwijzen. Het werkt met de bestaande kennis van de robot (het "pre-trained model"). Het voegt alleen een veiligheidslaag toe bovenop het planningsproces.

De Analogie: Het is alsoals een ervaren bestuurder een GPS geven die hem waarschuwt voor obstakels. Je hoeft de bestuurder niet opnieuw te leren hoe hij moet rijden; je geeft hem alleen een hulpmiddel om de specifieke kuilen in deze stad te vermijden.

Hoe het in de praktijk werkt

Het papier heeft dit getest op verschillende robottaken:

Doolhof Navigatie: Een bal die door een doolhof rolt met nieuwe, onverwachte muren. DiRecT navigeerde het doolhof succesvol zonder muren te raken, terwijl andere methoden vastliepen of crashten.
Robotarmen: Een arm die beweegt om een object te pakken terwijl hij kolommen ontwijkt. DiRecT zorgde ervoor dat de arm de kolommen nooit aanraakte, zelfs niet toen de kolommen op lastige plekken waren geplaatst.
Multi-Robot Zwermen: Een groep robots die samen beweegt zonder tegen elkaar aan te botsen. DiRecT hield hen veilig en efficiënt, zelfs toen het aantal robots toenam.

De Kernboodschap

DiRecT is een nieuwe manier om AI-planners veilig te maken. In plaats van de AI-denkproces constant te onderbreken om de veiligheid te controleren (wat de AI onhandig maakt), laat het de AI vrij denken en corrigeert het vervolgens het definitieve plan om te zorgen dat het veilig is. Het is alsof je een student een conceptversie laat schrijven zonder angst, en hem dan helpt bij het bewerken van de definitieve versie om te zorgen dat deze perfect is, in plaats van hem na elke zin te stoppen.

Het resultaat is een robot die zowel veilig is (hij botst niet) als bekwaam (hij beweegt vloeiend en volbrengt de taak).

Technische Samenvatting: DiRecT – Veilige Planning op basis van Diffusie via Receding-Horizon Denoising

Probleemstelling

Diffusiemodellen zijn uitgegroeid tot krachtige kaders voor planning en controle door het leren van multimodale distributies over acties en trajecten. Echter, het inzetten van deze modellen voor veiligheidskritische taken stuit op een belangrijke barrière: betrouwbare handhaving van veiligheid tijdens de inferentie. Bestaande benaderingen voor geconstreindeerde diffusie-sampling dwingen haalbaarheid doorgaans af door elke ruisige tussenliggende denoising-iteratie te projecteren op de haalbare verzameling. Dit creëert een fundamentele mismatch: planning-constraints zijn gedefinieerd op het uiteindelijke schone traject, terwijl tussenliggende samples inherent ruisig zijn en niet noodzakelijkerwijs haalbaar hoeven te zijn. Het afdwingen van constraints gedurende het volledige samplingproces overbeperkt de geleerde reverse dynamics, wat het generatieve proces verstoort en de kwaliteit van de samples substantieel verslechtert. Bovensstaande projectiegebaseerde methoden missen bovendien vaak een verenigd mechanisme voor het afhandelen van harde constraints naast aanvullende zachte beloningen of kosten.

Methodologie: DiRecT

Om deze beperkingen aan te pakken, introduceren de auteurs DiRecT (Diffusion-based planning via Receding-horizon denoising with Terminal constraints), een training-vrij algoritme voor geconstreerde sampling.

Kernformulering

DiRecT herformuleert de handhaving van constraints tijdens de inferentie door de lens van Stochastische Optimale Controle (SOC). Het geleerde reverse diffusieproces dient als de nominale stochastische dynamica, terwijl controle-inputs de sampler sturen naar de haalbaarheid van het uiteindelijke schone traject. Cruciaal is dat constraints alleen op het finale schone sample worden opgelegd, waardoor onnodige beperkingen op ruisige tussenliggende iterates worden vermeden. Het doel is om een optimale controle-drift $u^*$ te vinden die een kostenfunctie minimaliseert (het balanceren van terminale kosten en controle-energie), onder de voorwaarde dat de finale staat $X_0$ binnen een haalbare verzameling $S$ ligt.

Algoritmische Afleiding

Het oplossen van het volledige terminaal geconstreerde SOC-probleem is computationeel onhandelbaar vanwege de hoogdimensionale, niet-convexe aard van de neurale dynamica en de verwachting over alle stochastische paden. DiRecT leidt een schaalbare, hanteerbare surrogaat af met behulp van twee belangrijke benaderingen geïnspireerd door Model Voorspellende Controle (MPC):

Receding-Horizon Surrogaat: In plaats van een volledige horizon-optimalisatie op te lossen, breekt DiRecT het probleem af in een reeks één-stap subproblemen. Bij elke denoising-stap $i$ voorspelt het het finale schone traject dat wordt geïmpliceerd door de huidige ruisige iterate met behulp van de Tweedie-formule ( $\hat{x}^\theta_0(X_i, t_i)$ ).
Data-Domain Optimalisatie: Om te voorkomen dat herhaaldelijk geconstreerde optimalisatieproblemen moeten worden opgelost via de neurale denoising-map, benadert het algoritme de inversie van de Tweedie-formule via een fixed-point argument. Dit maakt het mogelijk om de optimalisatie te verplaatsen van de latente ruimte naar de data-domein. Specifiek wordt de latente verplaatsing benaderd door een geschaald verschil tussen voorspelde schone samples.

Het resulterende algoritme (Algoritme 1) werkt als volgt:

Sample een prior noise vector.
Itereer achterwaarts van $t_N$ $t_{N}$ naar $t_0$ $t_{0}$ :
- Bereken een ongecontroleerde denoising-voorstel.
- Schat het bijbehorende schone sample met behulp van het score model.
- Los een geconstreerd optimalisatieprobleem op in het data-domein om een verfijnd schoon sample te vinden dat voldoet aan de harde constraints $S$ en de kosten $C$ minimaliseert, terwijl het dicht bij de ongecontroleerde voorspelling blijft.
- Vertaal deze verfijning terug naar een gecontroleerde update van de huidige ruisige iterate.
Retourneer het finale haalbare sample.

Dit ontwerp scheidt stochastische denoising helder van constraint-satisfactie, waarbij samples progressief naar haalbare finale trajecten worden gestuurd zonder de geleerde diffusie-dynamica te verstoren.

Belangrijkste Bijdragen

Identificatie van een cruciale beperking: Het artikel identificeert dat het afdwingen van haalbaarheid op ruisige tussenliggende denoising-iterates de sampling-dynamica overbeperkt en de kwaliteit van de samples verslechtert. Het stelt voor om geconstreerde diffusie-planning te formuleren als een terminaal geconstreerd SOC-probleem.
DiRecT Algoritme: Een training-vrije geconstreerde diffusie-sampler die het onhandelbare geconstreerde SOC-probleem reduceert tot een reeks hanteerbare optimalisatie-subproblemen voor schone trajecten. Het stuurt samples naar constraint-satisfactie zonder het geleerde denoising-proces te verstoren.
Flexibiliteit: De methode ondersteunt off-the-shelf en domeinspecifieke optimizers, handelt zowel gelijkheids- als ongelijkheidsconstraints af, incorporeert omgeving-specifieke dynamica-priors, en optimaliseert aanvullende zachte beloningen of kosten tijdens de inferentie.
Empirische Validatie: Uitgebreide experimenten tonen aan dat DiRecT de inzetbaarheid van veiligheid en taakprestaties aanzienlijk verbetert ten opzichte van bestaande diffusie-gebaseerde planning-baselines.

Experimentele Resultaten

De auteurs evalueerden DiRecT over vier diverse robotische planning-benchmarks:

Veilige Maze Navigatie (Maze2D): In zowel "brede" als "smalle" maze-varianten met test-time obstakels, bereikte DiRecT een Safety Rate (SR) van respectievelijk 0.970 en 0.940, met bijna nul schendingen (0.45 en 0.23). In contrast hiermee behaalden baselines zoals Diffuser, Gradient Guidance en Projected Diffusion SR's variërend van 0.00 tot 0.78, met aanzienlijk hogere aantallen schendingen. DiRecT behield sterke taakscores terwijl het veiligheid garandeerde.
Veilige Robotische Manipulatie (D3IL): In een taak waarbij een robotarm een doel moet bereiken terwijl pilaren en aanvullende constraints worden vermeden, behaalde DiRecT een 100% Safety Rate en 100% Task Success, waarmee het alle baselines versloeg die significante dalingen in veiligheid lieten zien (bijv. Gradient Guidance met 0.88 SR).
Multi-Robot Motion Planning (MRMP): Getest in omgevingen met tot 20 agenten, presteerde DiRecT consistent beter dan baselines (inclusclusief MMD-CBS en Projected Coupled Diffusion) op het gebied van Constraint Safety en Success Rate, vooral naarmate het aantal agenten toenam. Het behield een hoge mate van naleving van verwachte bewegingspatronen terwijl complexe botsings- en snelheid-constraints werden voldaan.
Contact-rijke Manipulatie (PushT): In een gekoppelde generatie-taak met diverse, niet-snijdende trajecten, behaalden DiRecT-varianten (DiRecT-LB en DiRect-DPP) 100% Constraint Satisfaction terwijl ze de diversiteit (gemeten door DTW en DFD) en taakvoltooiingsscores verbeterden vergeleken met andere geconstreerde samplers.

Betekenis en Claims

Het artikel claimt dat DiRecT een principiële benadering biedt voor veilige diffusie-gebaseerde planning door het stochastische denoising-proces te ontkoppelen van de constraint-satisfactie. Door constraints alleen op het finale schone sample af te dwingen, vermijdt het de overbeperking van tussenliggende dynamica die de huidige projectiegebaseerde methoden teistert.

De auteurs benadrukken dat DiRecT training-vrij is, wat het breed toepasbaar maakt op bestaande voorgetrainde diffusiemodellen zonder de noodzaak voor hertraining of fine-tuning. Hoewel deze flexibiliteit extra inferentie-tijd met zich meebrengt (het oplossen van optimalisatie-subproblemen), biedt de methode sterkere garanties voor veiligheidskritische planning door harde constraint-satisfactie te waarborgen, terwijl de flexibiliteit behouden blijft om zachte doelstellingen en domein-specifieke dynamica te incorporeren. Het werk onderstreept het potentieel voor betrouwbare inzet van diffusiemodellen in veiligheidskritische taken waarbij zelfs een enkele constraint-schending kan leiden tot catastrofale uitkomsten.