🤖 machine learning

Decoupled Guidance Diffusion for Adaptive Offline Safe Reinforcement Learning

Dit artikel introduceert Safe Decoupled Guidance Diffusion (SDGD), een nieuw offline veilig reinforcement learning-kader dat cost-geconditioneerde classifier-free guidance combineert met Feasible Trajectory Relabeling om veiligheidsbeperkingen effectief te ontkoppelen van beloningsoptimalisatie, waardoor superieure veiligheidsconformiteit en hoge opbrengsten worden bereikt in adaptieve budgetscenario's.

Oorspronkelijke auteurs: Rufeng Chen, Zhaofan Zhang, Zhejiang Yang, Hechang Chen, Sihong Xie

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rufeng Chen, Zhaofan Zhang, Zhejiang Yang, Hechang Chen, Sihong Xie

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert een auto te besturen, maar je hebt alleen een video-opname van hoe andere auto's in het verleden reden. Je kunt de robot niet laten rondrijden en crashen om te leren; hij moet strikt uit dat oude beeldmateriaal leren. Dit is Offline Versterkend Leren.

Voeg nu een draai toe: soms wil je dat de robot zeer voorzichtig is (zoals rijden in een schoolgebied), en andere keren wil je dat hij iets agressiever is (zoals rijden op een open snelweg). Het "veiligheidsbudget" verandert afhankelijk van de situatie. Dit is Adaptief Veilig Versterkend Leren.

Het probleem is dat de meeste bestaande methoden lijken op een student die probeert een specifieke route te memoriseren voor een specifiek snelheidslimiet. Als het snelheidslimiet verandert, raken ze in de war of crashen ze.

Hier is hoe de nieuwe methode uit het artikel, SDGD, dit oplost, uitgelegd via eenvoudige analogieën:

1. De Oude Manier: De "Stap-voor-stap" versus de "Vage Foto"

De Oude Manier (Autoregressieve Modellen): Stel je voor dat je probeert een lange, kronkelende weg te tekenen door eerst een klein segment te tekenen, dan het volgende, dan het volgende. Als je een klein foutje maakt in het eerste segment, moet het volgende segment dit compenseren, en tegen het einde ligt je weg volledig buiten de kaart. Zo werkten oudere AI-planners; ze maakten kleine fouten die opstapelden, waardoor de robot veiligheidsregels schond.
De Nieuwe Manier (Diffusiemodellen): Stel je voor dat je een vage, ruizige foto van de hele weg tegelijk neemt en deze langzaam scherper maakt totdat het hele pad duidelijk is. Dit is wat Diffusie doet. Het genereert de hele reis tegelijk, zodat kleine fouten niet opstapelen.

2. Het Kernprobleem: Het Maken van "Veiligheid" en "Snelheid"

In het verleden probeerde AI veiligheid en snelheid in evenwicht te brengen door ze te behandelen als twee tegenstrijdige krachten die de robot in verschillende richtingen trokken.

De Analogie: Stel je een bestuurder voor die wordt verteld: "Rijd zo snel mogelijk, maar raak de muur niet." De AI zou proberen de perfecte hoek te berekenen om snel te gaan en veilig te blijven. Maar als de "muur" (veiligheidslimiet) verschuift, raakt de AI in de war. Vaak probeert hij snel te gaan en raakt hij per ongeluk de muur, omdat hij dacht dat de muur ergens anders was.

3. De SDGD-oplossing: Het "Twee-trainers" Systeem

De auteurs realiseerden zich dat Veiligheid en Snelheid niet tegen elkaar moeten vechten; ze moeten verschillende taken hebben. Ze creëerden een systeem met twee onderscheiden "trainers":

Trainer 1: De Veiligheidshandhaver (Classifier-Free Guidance)
- Taak: Deze trainer kijkt naar het "Veiligheidsbudget" (bijv. "Je mag vandaag slechts 10 punten aan risico uitgeven").
- Actie: Hij probeert niet de perfecte hoek te berekenen. In plaats daarvan zegt hij simpelweg: "Als het pad dat je tekent het 'gevaarzone' binnengaat (boven het budget), wis het en teken het opnieuw." Hij fungeert als een filter dat alleen veilige paden toestaat. Het maakt niet uit hoe snel je gaat, alleen dat je binnen de lijnen blijft.
Trainer 2: De Snelheidstrainer (Reward-Gradient Guidance)
- Taak: Deze trainer kijkt naar de veilige paden en zegt: "Van alle veilige paden die we hebben, welke brengt je het snelst naar de finish?"
- Actie: Hij duwt de robot in de richting van de snelste veilige route.

De Magie: Door deze twee taken te scheiden, kan de robot direct overschakelen van "Schoolgebied-modus" (strak veiligheidsbudget) naar "Snelweg-modus" (los budget) door trainer 1 gewoon te vertellen de regels te wijzigen. Hij hoeft niet opnieuw te leren hoe hij moet rijden.

4. De Sluwe Valstrik: De "Haalbare Trajectherlabeling" (FTR)

Er was één addertje onder het gras. Zelfs met twee trainers kan de "Snelheidstrainer" hebzuchtig worden.

Het Probleem: Soms is de snelste manier om een hoge score te behalen het nemen van een enorm risico aan het begin van de reis. Als de robot dat risico neemt, kan hij direct crashen, maar de "Snelheidstrainer" ziet de hoge potentiële score en zegt: "Doe het!"
De Oplossing (FTR): De auteurs introduceerden een regel genaamd Haalbare Trajectherlabeling.
- De Analogie: Stel je een student voor die een 'A' haalt op een toets, maar op de eerste vraag heeft gestiek. De leraar (FTR) zegt: "Hoewel je een 'A' hebt gehaald, omdat je op het eerste deel hebt gestiek, gaan we je hele toets als 'F' beoordelen."
- Hoe het werkt: Het systeem kijkt naar de eerste paar stappen van het plan van de robot. Als die eerste stappen gevaarlijk zijn (zelfs als de rest van het plan er geweldig uitziet), vertelt het systeem de "Snelheidstrainer": "Geef geen krediet voor dit pad." Dit voorkomt dat de robot gevaarlijke shortcuts neemt om alleen maar een hoge score te krijgen.

5. De Resultaten: Het Perfecte Evenwicht

De onderzoekers testten dit op 38 verschillende rij- en robotica-taken (zoals een auto die probeert een knop in te drukken of een drone die door een parcours vliegt).

De Score: Hun methode (SDGD) was veilig genoeg om de regels te halen in 36 van de 38 taken.
De Prestatie: Onder alle methoden die veilig waren, was SDGD de snelste (hoogste beloning) in 21 van die taken.
De Flexibiliteit: Ze konden de veiligheidsregels veranderen terwijl de robot draaide, en de robot paste zich direct aan zonder opnieuw getraind te hoeven worden.

Samenvatting

Denk aan SDGD als een sluipend navigatiesysteem dat niet alleen de snelste route berekent.

Het tekent eerst een kaart die alleen wegen bevat die legaal zijn voor je huidige snelheidslimiet (Veiligheidstrainer).
Vervolgens kiest het de snelste route uit die legale kaart (Snelheidstrainer).
Het heeft een speciale regel die zegt: "Als de eerste bocht illegaal is, is de hele route illegaal", waardoor het systeem wordt voorkomen dat het probeert te valsspelen om een snellere tijd te halen.

Dit stelt robots in staat om veilig en efficiënt te zijn, zelfs wanneer de verkeersregels onderweg veranderen.

Technische Samenvatting: Veilige Gekoppelde Geleide Diffusie (SDGD)

Probleemdefinitie
Offline Veilig Versterkend Leren (RL) heeft tot doel beleidsplannen te leren uit vooraf verzamelde datasets die taakprestaties optimaliseren terwijl veiligheidsbeperkingen worden nageleefd. Een kritieke uitdaging doet zich voor tijdens de inzet, waarbij veiligheidsbudgetten (kostenlimieten) niet vaststaan; deze kunnen variëren per taak, gebruiker of bedrijfsomstandigheden, en kunnen zelfs dynamisch veranderen binnen één enkele episode. Bestaande methoden worstelen met deze aanpasbaarheid. Autoregressieve trajectmodellen lijden onder opgebouwde rollout-fouten, wat leidt tot aanzienlijke afwijkingen in cumulatieve kosten over lange horizonnen. Omgekeerd vertrouwen diffusiegebaseerde planners, hoewel ze in staat zijn tot gezamenlijke trajectgeneratie, vaak op classifier-geleiding of gradient-switching om veiligheid af te dwingen. Deze benaderingen vereisen dat kostenclassificatoren betrouwbare signalen leveren op ruwe tussenliggende trajecten, een voorwaarde die empirisch bewijs suggereert dat kwetsbaar is; kostenclassificatoren vertonen vaak een lage en onstabiele correlatie met werkelijke cumulatieve kosten, wat leidt tot onbetrouwbare naleving van beperkingen.

Methodologie
Het artikel stelt Safe Decoupled Guidance Diffusion (SDGD) voor, een diffusiegebaseerde planner die adaptieve veilige trajectgeneratie herinterpreteert als steekproeven uit een beperkte trajectverdeling. Het kerninzicht is een asymmetrie tussen veiligheid en beloning: veiligheid fungeert als een harde restrictie op de trajectondersteuning (bepalend waar er wordt gestreefd), terwijl beloning fungeert als een voorkeur die de verdeling binnen die ondersteuning vormgeeft (bepalend welke steekproeven de voorkeur hebben). SDGD ontkoppelt deze rollen in twee distincte geleidingsmechanismen:

Kostenlimiet-conditionering via Classifier-Free Guidance (CFG):
In plaats van een aparte kostenclassifier te gebruiken om het reverse diffusieproces te sturen, traint SDGD een diffusiemodel dat direct is geconditioneerd op de kostenlimiet $l$ . Tijdens het steekproeven wordt Classifier-Free Guidance toegepast om de generatie te bevoorraden naar trajecten die aan de gespecificeerde limiet voldoen. Deze benadering vermijdt de instabiliteit van het differentiëren van ruwe kostenvoorspellingen en stelt het model in staat zich aan te passen aan variërende of dynamische kostenlimieten zonder hertraining.
Beloningsgradiënt-verfijning:
Zodra het steekproeven is bevoorraden naar het veilige gebied, biedt een geleerde beloningspredictor gradiëntgeleiding om trajecten te verfijnen voor een hogere opbrengst. De auteurs merken echter op dat directe beloningsgeleiding onbedoeld cumulatieve kosten kan verhogen, aangezien trajecten met hoge opbrengst in offline data vaak correleren met hoge kosten.
Herlabelen van Feasible Trajecten (FTR):
Om de "door beloning veroorzaakte kostenafwijking" te mitigeren, introduceert SDGD FTR. Deze techniek herschikt de beloningsdoelen die worden gebruikt om de beloningspredictor te trainen. Specifiek worden trajecten die kosten veroorzaken in het uitvoerbare prefix (de initiële stappen van een traject die direct worden uitgevoerd voordat er opnieuw wordt gepland) bestraft. Door de beloningspredictor te trainen op deze hergelabelde doelen, ontmoedigt de methode de beloningsgradiënt om steekproeven te sturen naar gebieden waar hoge opbrengsten worden bereikt ten koste van directe veiligheidschendingen.

Theoretische Analyse
Het artikel biedt een analyse op het moment van steekproeven van de eerste orde die aantoont dat FTR door beloning veroorzaakte kostenafwijking onderdrukt. Onder een "prefix-restauratieve uitlijningsvoorwaarde", waarbij de gradiënt van prefix-onhaalbaarheid positief is uitgelijnd met de cumulatieve kostengradiënt, introduceert de FTR-correctie een negatieve term in de vergelijking voor kostenafwijking. Dit zorgt ervoor dat de door FTR-geleide steekproeven veroorzaakte kostenafwijking kleiner is dan die van ruwe door beloning geleide steekproeven, relatief tot de op kosten geconditioneerde baseline.

Belangrijkste Bijdragen

Gekoppelde Geleidingsarchitectuur: Een nieuw kader dat veiligheidsafdwinging (via CFG op kostenlimieten) scheidt van beloningsoptimalisatie (via beloningsgradiënten), en deze behandelt als niet-uitwisselbare doelen.
Herlabelen van Feasible Trajecten (FTR): Een mechanisme om beloningsdoelen te herschikken om te voorkomen dat beloningsgradiënten het beleid naar onveilige gebieden drijven, specifiek gericht op de correlatie tussen hoge beloning en hoge kosten in offline data.
Adaptief Steekproeven: Een methode die zich aanpast aan kostenlimieten tijdens de inzet (inclusief dynamische veranderingen binnen een episode) zonder dat hertraining van het beleid of nieuwe datacollectie vereist is.

Experimentele Resultaten
Uitgebreide evaluaties zijn uitgevoerd op de DSRL-benchmark, bestaande uit 38 taken uit Safety-Gymnasium, Bullet-Safety-Gym en MetaDrive.

Veiligheidsnaleving: SDGD voldoet aan de genormaliseerde kostenbeperking ( $\le 1$ ) op 36 van de 38 taken (94,7%), en presteert beter dan alle baselines (de volgende beste voldeed aan 21 taken).
Beloningsprestatie: Onder de methoden die voldeden aan de veiligheidsbeperkingen, behaalde SDGD de hoogste beloning op 21 taken.
Aanpasbaarheid: In experimenten met variërende kostenlimieten (10, 20, 30) en tijdvariërende limieten binnen een episode, behield SDGD de veiligheid terwijl het de beloningsprestatie aanpaste, terwijl baselines ofwel beperkingen schonden bij krappe budgetten ofwel te conservatief bleven bij ruime budgetten.
Efficiëntie: De methode behaalde een beslissingsefficiëntie van 2,1 Hz op een NVIDIA A6000 GPU, sneller dan eerdere diffusiegebaseerde methoden.

Betekenis en Beweringen
Het artikel beweert dat SDGD een significante stap voorwaarts vertegenwoordigt in adaptief offline veilig RL door de beperkingen van sequentiële foutopbouw en onbetrouwbare classifier-geleiding aan te pakken. Door veiligheid te herinterpreteren als een distributiebeperking in plaats van een concurrerend gradiëntdoel, bereikt SDGD robuuste veiligheidsnaleving over diverse en dynamische kostenbudgetten. De auteurs benadrukken dat hun benadering betrouwbare aanpassing aan veranderende veiligheidsbeperkingen mogelijk maakt zonder hertraining, een capaciteit die essentieel is voor veiligheidskritieke domeinen zoals robotica en autonoom rijden. Het werk concludeert dat het ontkoppelen van veiligheids- en beloningsgeleiding, gecombineerd met FTR, de afweging tussen beperkingsnaleving en prestatieoptimalisatie in offline settings effectief oplost.