🤖 machine learning

Noisy-Space Policy Gradient for Diffusion Policies in Offline Reinforcement Learning

Dit artikel introduceert Noisy-Space Policy Gradient (NSPG), een nieuw framework dat effectief offline reinforcement learning met diffusiebeleid mogelijk maakt door een KL-geregulariseerde doelstelling over diffusie-latenten af te leiden die optimaliseert met schone waarde-inschattingen in de actieruimte zonder backpropagation door het denoisingsproces te vereisen.

Oorspronkelijke auteurs: Mahmoud Selim, Cristina Cipriani, Karl H. Johansson

Gepubliceerd 2026-09-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mahmoud Selim, Cristina Cipriani, Karl H. Johansson

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie bestaat een hardnekkige uitdaging die bekend staat als offline reinforcement learning. Stel je een student voor die probeert een complexe videogame te leren spelen, maar die verboden is om de controller aan te raken. De student mag alleen uren aan opgenomen beelden bekijken van andere spelers, van wie sommigen experts waren en anderen veel fouten maakten. Het doel is om een strategie te leren die vaker wint dan de mensen in de video's, zonder ooit een nieuwe zet te riskeren die tot een crash zou kunnen leiden. Dit is moeilijk omdat de AI moet leren van een vaste set gegevens zonder het vangnet van vallen en opstaan. Als de AI een zet raadt die nooit in de opnames is gezien, kan het catastrofaal falen, omdat het geen manier heeft om te weten of die zet daadwerkelijk goed is of slechts een gevaarlijke hallucinatie.

Om dit op te lossen, hebben onderzoekers zich gericht op een type AI-model dat een diffusiebeleid (diffusion policy) wordt genoemd. Deze modellen zijn uitzonderlijk goed in het begrijpen van complexe patronen, zoals de vele verschillende manieren waarop een menselijke hand een gereedschap kan vastpakken of een robot door een doolhof kan navigeren. Ze werken door te beginnen met een chaotische, ruisachtige gok en deze stap voor stap te verfijnen totdat het een duidelijke, bruikbare actie wordt. Echter, een fundamenteel probleem doet zich voor bij het proberen te leren hoe dit model moet winnen: het model maakt zijn beslissingen in een verborgen, ruisachtige ruimte, maar de beloningen die het ontvangt, zijn gebaseerd op de uiteindelijke, schone acties die het daadwerkelijk uitvoert. Het is alsof je een essay van een student beoordeelt door naar de slordige, doorgestreepte concepten te kijken in plaats van naar de uiteindelijke, gepolijste pagina. De feedbackloop is onderbroken, en de AI worstelt ermee om te leren welke van zijn verborgen stappen tot succes leidden.

Een team van onderzoekers heeft deze kloof overbrugd met een nieuwe methode genaamd Noisy-Space Policy Gradient. In plaats van te proberen de ruisachtige, verborgen stappen direct te laten overeenkomen met de uiteindelijke beloningen, hebben ze een nieuwe manier ontwikkeld om waarde toe te kennen aan die verborgen stappen. Ze realiseerden zich dat een enkele ruisachtige gok niet slechts overeenkomt met één uiteindelijke actie, maar met een hele wolk van mogelijke acties die eruit zouden kunnen ontstaan. Door de gemiddelde beloning van alle mogelijke schone acties te berekenen die uit een specifieke ruisachtige gok kunnen voortkomen, creëerden ze een eerlijke en nauwkeurige score voor die gok. Deze score vertelt de AI precies hoe goed een bepaalde verborgen stap is, gebaseerd op de potentiële uitkomsten die het kan produceren, in plaats van te forceren dat het zich vastlegt op één enkel, mogelijk foutief eindantwoord.

De onderzoekers testten deze aanpak op een breed scala aan taken, variërend van eenvoudige robotbewegingen tot complexe visuele puzzels. In deze experimenten presteerde de nieuwe methode consequent beter dan eerdere technieken, vooral in moeilijke scenario's waar de data schaars was of de taken lange ketens van precieze acties vereisten. Bijvoorbeeld, in taken waarbij het navigeren door grote doolhoven of het manipuleren van delicate objecten centraal stond, behaalde de nieuwe methode aanzienlijk hogere succespercentages dan oudere modellen. Het bleek bijzonder effectief in situaties waarin de AI moest kiezen tussen een gebruikelijke, veilige actie en een zeldzame, hoog-belonende actie, een keuze die oudere modellen vaak in verwarring bracht. Door naar het volledige bereik van mogelijkheden te kijken in plaats van naar één enkel pad, leerde de AI om betrouwbaarder op de hoog-belonende uitkomsten te mikken.

Een van de meest significante aspecten van dit werk is hoe het de relatie tussen het interne denkproces van de AI en de echte wereld afhandelt. Eerdere methoden probeerden de verborgen stappen van de AI direct te evalueren, wat leidde tot verwarring en instabiliteit. Anderen probeerden het denkproces van de AI te vereenvoudigen om het gemakkelijker te kunnen evalueren, maar dit ontnam vaak juist de complexiteit die de AI zo krachtig maakte. De nieuwe aanpak vermijdt deze valkuilen door de evaluatie strikt in de wereld van echte acties te houden, terwijl de AI op zijn complexe, ruisachtige manier mag denken. Het fungeert als een vertaler, die ervoor zorgt dat de feedback die de AI ontvangt altijd geworteld is in de realiteit, ook al leert de AI in een verborgen ruimte.

De resultaten suggereren dat deze methode een solide fundament biedt voor het trainen van geavanceerde AI-systemen op historische data. De onderzoekers ontdekten dat de methode stabiel en efficiënt bleef, waarbij slechts een klein aantal berekeningen nodig was om de waarde van elke stap te schatten. Deze efficiëntie is cruciaal, aangezien het betekent dat de methode kan worden toegepast op grote, complexe problemen zonder te traag te worden om praktisch bruikbaar te zijn. Het team onderzocht ook hoe gevoelig het systeem was voor verschillende instellingen en stelde vast dat het goed functioneerde over een breed scala aan condities zonder dat er constante, delicate afstemming nodig was. Deze robuustheid maakt het een veelbelovende tool voor toekomstige toepassingen in robotica en automatisering, waar leren van historische data vaak de enige optie is.

Uiteindelijk lost dit werk een langdurige discontinuïteit op in de manier waarop AI van ervaring leert. Het demonstreert dat door het juiste begrip van de relatie tussen verborgen gedachten en zichtbare acties, we complexe systemen kunnen leren verbeteren zonder ooit buiten de grenzen van hun trainingsdata te treden. De methode vertrouwt niet op magie of gokwerk; het vertrouwt op een helder, wiskundig begrip van hoe ruis in actie verandert. Naarmate het veld van kunstmatige intelligentie zich blijft ontwikkelen, zullen benaderingen die veilig en effectief van het verleden kunnen leren, essentieel zijn voor het bouwen van systemen die zowel bekwaam als betrouwbaar zijn. Deze nieuwe techniek biedt een principiële weg voorwaarts, die het rommelige proces van leren van statische data transformeert naar een helder pad naar betere besluitvorming.

Technische Samenvatting: Noisy-Space Policy Gradient voor Diffusion Policies in Offline Reinforcement Learning

1. Probleemstelling

Offline Reinforcement Learning (RL) streeft ernaar effectieve policies te leren uit vaste datasets zonder verdere interactie met de omgeving. Een primaire uitdaging in deze setting is het probleem van de "distributional shift": policies die extrapoleren buiten de ondersteuning (support) van de dataset, lijden vaak aan vertekende waarde-inschattingen. Om deze complexe, multimodale actieverdelingen in offline data aan te pakken, zijn expressieve generatieve modellen zoals diffusion policies opgekomen. Deze policies genereren acties via een iteratief denoising-proces, waarbij een reeks ruisige latente variabelen wordt in kaart gebracht naar een uiteindelijke schone actie.

Het integreren van diffusion policies met value-based RL introduceert echter een fundamentele structurele mismatch:

Optimalisatieruimte: Policy-optimalisatie vindt plaats in een ruisige latente ruimte (de reeks variabelen $x^{(k)}$ tijdens het denoising-proces).
Definitie van Waarde: Reinforcement learning-doelstellingen (waarde-functies, advantages, gradiënten) zijn gedefinieerd over uitgevoerde, schone acties ( $a \in \mathcal{A}$ ) die met de omgeving interageren.

Bestaande benaderingen om deze kloof te overbruggen, lijden aan aanzienlijke nadelen:

Action-Space Sampling: Het behandelen van diffusion modellen louter als samplers en het herwegen van acties op basis van een action-space critic omzeilt guidance in de latente ruimte.
End-to-End Backpropagation: Het optimaliseren van policies door waarde-gradiënten terug te propageren door de volledige denoising-traject creëert lange stochastische computationele grafen, wat leidt tot computationele overhead en instabiliteit.
Directe Latente Evaluatie: Het direct injecteren van waarde-guidance in ruisige latents door waarde-functies te evalueren op tussenliggende variabelen, negeert het feit dat deze variabelen niet de acties zijn die de beloningen bepalen.

Het artikel identificeert een gat in het definiëren van een waardeformulering die de brug slaat tussen noisy-space optimalisatie en action-space returns op een principiële, semantisch coherente wijze.

2. Methodologie

De auteurs stellen een framework voor dat gecentreerd is rond een Noisy-Space Action-Value Function en een daaruit afgeleide Noisy-Space Policy Gradient (NSPG).

2.1 Noisy-Space Action-Value Function ( $Q_{noisy}$ )

De kern van de theoretische bijdrage is de definitie van een waarde-functie voor ruisige latente variabelen die geen intrinsieke waarde toekent aan de ruis zelf, maar aan de distributie van de schone acties die deze induceert.

Definitie: Voor een staat $s$ , een diffusiestap $k$ , en een ruisige latente $x^{(k)}$ , is de noisy-space action-value function gedefinieerd als de verwachte action-space return geïnduceerd door de diffusion policy geconditioneerd op $(s, x^{(k)}, k)$ :
$Q_{noisy}^\pi(s, x^{(k)}, k) \triangleq \mathbb{E}_{a \sim \pi(\cdot|s, x^{(k)}, k)} [Q^\pi(s, a)]$
Semantische Correctheid: De auteurs bewijzen dat $Q_{noisy}$ exact gelijk is aan de verwachte gedisconteerde return verkregen wanneer de policy wordt geïnitialiseerd bij $(s, x^{(k)}, k)$ en wordt uitgevoerd in de omgeving. Dit zorgt ervoor dat de waarde-functie consistent is met de interface van de omgeving, die alleen schone acties observeert.
Surrogaat Semantiek: Om conditionering op $x^{(k)}$ goed gedefinieerd te maken zonder de reverse-time dynamica van de policy te wijzigen, introduceren de auteurs een surrogaat gezamenlijke distributie. Deze modelleert de relatie tussen een schone actie $a$ en een ruisige latente $x^{(k)}$ via het forward diffusieproces (het corrumperen van een schone actie). Dit maakt de afleiding van gradiënten mogelijk zonder het generatieve mechanisme van de policy te veranderen.

2.2 Noisy-Space Policy Gradient (NSPG)

Gebruikmakend van de surrogaat semantiek, leiden de auteurs een gesloten vorm voor de gradiënt van $Q_{noisy}$ met betrekking tot de ruisige latente $x^{(k)}$ af.

Gradiënt Formulering:
$\nabla_{x^{(k)}} Q_{noisy}^\pi(s, x^{(k)}, k) = \mathbb{E}_{a \sim \pi} \left[ A_{noisy}^\pi(s, a, x^{(k)}, k) \nabla_{x^{(k)}} \log q_k(x^{(k)} | a) \right]$
Waar:
- $A_{noisy}^\pi = Q^\pi(s, a) - Q_{noisy}^\pi(s, x^{(k)}, k)$ de noisy-space advantage is.
- $\nabla_{x^{(k)}} \log q_k(x^{(k)} | a)$ de score-functie van de forward diffusie-kernel is.
Cruciaal Verschil: In tegenstelling tot benaderingen die een ruisige latente naar een enkele gedecodeerde actie $\hat{a}$ mappen en $Q(s, \hat{a})$ differentiëren, differentieert NSPG de verwachte waarde over de distributie van compatibele schone acties. Dit stelt de gradiënt in staat om richtingen in de noisy space te versterken die geassocieerd zijn met hoogwaardige compatibele acties, terwijl laagwaardige acties worden onderdrukt, zelfs als de meest waarschijnlijke actie niet de hoogste waarde heeft.
Geen Backpropagation: Cruciaal is dat deze gradiënt wordt berekend met behulp van enkel schone action-space waarde-inschattingen ( $Q^\pi$ ) en de forward diffusie-kernel. Dit vermijdt backpropagation door het volledige denoising-traject, wat de stabiliteit en efficiëntie aanzienlijk verbetert.

2.3 Noisy-Space Actor-Critic (NSAC)

De auteurs implementeren dit framework in NSAC, een praktisch offline RL-algoritme:

Critic: Leert een conservatieve action-space Q-functie ( $Q_\phi$ ) met behulp van offline data en een Lower-Confidence Bound (LCB) target om overschatting en distributional shift te beperken. De critic wordt nooit geëvalueerd op ruisige latents.
Actor: Update de diffusion policy met behulp van een regressie-doelstelling die de standaard denoising loss (behavior cloning) combineert met een waarde-guidance term afgeleid van de NSPG.
- De actor loss bevat een term: $\lambda \cdot \epsilon_\theta^\top \nabla_{x^{(k)}} Q_{noisy}$ .
- Dit stelt de policy in staat om te verbeteren in de latente ruimte terwijl deze verankerd blijft aan de datadistributie.

3. Belangrijkste Bijdragen

Identificatie van de Mismatch: Het artikel identificeert formeel de semantische kloof tussen noisy latent optimalisatie en action-space waarde-functies in diffusion-gebaseerde RL.
Theoretische Formulering: Introductie van $Q_{noisy}$ , een waarde-functie die waarde toekent aan ruisige latents strikt via de distributie van de schone acties die zij genereren, wat zorgt voor semantische consistentie met de MDP.
NSPG Afleiding: Afleiding van een policy gradient die ruisige latents optimaliseert met behulp van enkel schone action-space waarde-inschattingen, waardoor de noodzaak voor backpropagation door het denoising-proces wordt geëlimineerd.
NSAC Algoritme: Ontwikkeling van een stabiel actor-critic algoritme dat NSPG implementeert, waarmee wordt aangetoond dat expressieve diffusion policies effectief getraind kunnen worden in offline settings.

4. Experimentele Resultaten

De auteurs evalueren NSAC op state-based D4RL benchmarks (locomotion, AntMaze, Adroit) en vision-gebaseerde OGBench taken.

Prestaties: NSAC bereikt state-of-the-art of competitieve prestaties in diverse omgevingen.
- Locomotion: Presteert beter dan of gelijk aan eerdere methoden (bijv. CQL, IQL, Diffuser) op HalfCheetah, Hopper, en Walker2d. Opvallend genoeg behaalt het ~10% winst op HalfCheetah medium-replay.
- AntMaze: Toont substantiële verbeteringen ten opzichte van bestaande methoden, met name in grote maze-omgevingen waar het de dichtstbijzijnde baseline (DAC) met meer dan 50% relatieve prestatie verslaat.
- Adroit: Behaalt de sterkste prestatie op Pen-Cloned-v1 van de geëvalueerde methoden.
- Vision (OGBench): Behaalt de hoogste geaggregeerde score (271.5) op visuele taken, waarbij het flow-gebaseerde policies en DAC overtreft.
Ablatie-studies:
- Guidance Sterkte ( $\lambda$ ): De methode is robuust over een breed scala aan guidance sterktes, waarbij intermediaire waarden optimale prestaties opleveren. Te agressieve guidance verslechtert de prestaties door de policy buiten de datasupport te duwen.
- Monte Carlo Approximatie: De noisy-space verwachting kan efficiënt worden geschat met een klein aantal samples (bijv. 2-4), wat minimale computationele overhead met zich meebrengt vergeleken met DAC.
- Pessimisme: Het algoritme blijft robuust over een breed bereik van pessimisme-coëfficiënten.

5. Betekenis en Claims

Het artikel claimt dat NSPG een geprincieerde en effectieve basis biedt voor het trainen van diffusion policies in offline RL. Door de mismatch tussen latent-space optimalisatie en action-space waarde op te lossen, vermijdt de methode de instabiliteit van end-to-end backpropagation en de semantische incoherentie van het evalueren van critics op ruisige variabelen.

De auteurs benadrukken dat hun aanpak:

De expressiviteit van multi-step diffusion policies behoudt zonder de tractabiliteit op te offeren.
Een bescheiden maar significante verbetering biedt in stabiliteit en prestaties, met name in uitdagende, langdurige (long-horizon) en multimodale settings waar waarde-inschatting en policy-optimalisatie nauw aan elkaar gekoppeld zijn.
Suggereert dat het framework van nature kan worden uitgebreid naar online en offline-to-online leren, hoewel dit aan toekomstig onderzoek wordt overgelaten.

Het werk claimt niet alle offline RL-problemen op te lossen, maar richt zich specifiek op de integratie van diffusion policies met value-gebaseerde doelstellingen, waarbij een theoretisch gefundeerd alternatief wordt geboden voor heuristische sampling of onstabiele end-to-end training.