Adaptive Linear Path Model-Based Diffusion

Technische Samenvatting: Adaptive Linear Path Model-Based Diffusion

Probleemstelling
De integratie van diffusiemodellen met modelgebaseerde controle heeft veelbelovend gebleken voor het oplossen van complexe trajectoptimalisatieproblemen met niet-lineaire dynamica en niet-convexe restricties. De prestaties van bestaande Model-Based Diffusion (MBD) benaderingen zijn echter sterk gevoelig voor het ontwerp van de ruis-scheduling parameters. In standaard variance-preserving (VP) schedules zijn parameters zoals de ruis-endpoints en het totaal aantal diffusiestappen nauw met elkaar verbonden. Deze koppeling maakt het moeilijk om het effect van individuele parameters op de exploratie–verfijnings-trade-off te isoleren, wat vaak leidt tot overdreven conservatieve keuzes of een uitgebreide trial-and-error afstemming. Bovendien variëren optimale parameters frequent afhankelijk van de systeemtoestand en taakcomplexiteit, terwijl traditionele MBD-frameworks gebruikmaken van vaste schedules die niet kunnen adapteren aan deze veranderende omstandigheden.

Methodologie
De auteurs stellen een tweestaps-framework voor om deze beperkingen aan te pakken: Linear Path Model-Based Diffusion (LP-MBD) en Adaptive LP-MBD (ALP-MBD).

1. Linear Path Model-Based Diffusion (LP-MBD):
   LP-MBD vervangt de standaard variance-preserving ruis-schedule door een lineair probabilistisch pad geïnspireerd door Flow Matching. In plaats van de complexe interpolatie die wordt gebruikt in VP-MBD, definieert LP-MBD een lineaire interpolatie tussen een schone traject $Y^{(0)}$ en standaard Gaussische ruis $\epsilon$:
   $$Y_t = (1 - t)Y^{(0)} + t\epsilon, \quad t \in [0, 1]$$
   Deze formulering biedt een geometrisch interpreteerbare en ontkoppelde parametrisatie. In tegenstelling tot VP-MBD, dat drie gekoppelde parameters vereist ($\beta_0, \beta_1, T$), vertrouwt LP-MBD op slechts twee onafhankelijke parameters: de maximale ruisschaal ($\sigma_{max}$) en het aantal diffusiestappen ($T$). De maximale ruisschaal wordt bepaald door het toegestane bereik van de besturingsinputs, wat een directe en interpreteerbare manier biedt om exploratielimieten in te stellen. Om efficiëntie te waarborgen, wordt de schedule afgekapt bij een maximale waarde $t_{max} < 1$ om te voorkomen dat de variantie van de Gaussische propositie divergeert.

2. Adaptive LP-MBD (ALP-MBD):
   Voortbouwend op de ontkoppelde aard van LP-MBD, introduceren de auteurs een adaptieve scheduler die Reinforcement Learning (RL) gebruikt om de diffusiestappen ($T$) en ruisniveaus ($\sigma_{max}$) dynamisch aan te passen op basis van de omgevingstoestand.

• Formulering: De adaptieve scheduler wordt behandeld als een beleid $\pi_\phi$ binnen een Markov Decision Process (MDP). De toestandsruimte omvat omgevingsvariabelen (bijv. afstand tot obstakels, trajectfouten), en de actieruimte bestaat uit de scheduling parameters $(T, \sigma_{max})$.
• Training: Het systeem wordt getraind met behulp van Proximal Policy Optimization (PPO). De beloningsfunctie combineert de taakprestaties met een straf voor grote aantal diffusiestappen om computationele efficiëntie te stimuleren.
• Mechanisme: In complexe scenario's (bijv. het vermijden van obstakels) leert de agent om $T$ en $\sigma_{max}$ te verhogen om de exploratie te verbreden en oplossingen te verfijnen. In eenvoudige of goed gestructureerde condities vermindert het deze parameters om de sampling te versnellen zonder de kwaliteit van de oplossing op te offeren.

Belangrijkste Bijdragen

1. LP-MBD: De introductie van een door flow-matching geïnspireerde lineaire pad-scheduler die een geometrisch interpreteerbare en ontkoppelde parametrisatie biedt. Dit vermindert de last van hyperparameter-afstemming aanzienlijk vergeleken met variance-preserving schedules.
2. ALP-MBD: De ontwikkeling van een adaptieve extensie die reinforcement learning gebruikt om scheduling parameters online te optimaliseren. Dit stelt het systeem in staat om de balans tussen robuustheid en efficiëntie te vinden door zich aan te passen aan taakcomplexiteit en omgevingscondities.
3. Uitgebreide Evaluatie: Een rigoureuze validatie van beide methoden via numerieke studies, Brax benchmarks (inclus inclusief locomotie-taken zoals Hopper en HalfCheetah) en een mobiele robot traject-tracking taak.

Resultaten

• Numerieke Studies: In 1D en 2D optimalisatietaken demonstreerde LP-MBD een superieure convergentiestabiliteit vergeleken met VP-MBD, met name wanneer de diffusiestappen varieerden. Terwijl VP-MBD vaak niet convergeerde of uitgebreide her-afstemming van $\beta$ parameters vereiste wanneer $T$ veranderde, behield LP-MBD een consistente prestatie dankzij de ontkoppelde parameters. In adaptieve experimenten convergeerde ALP-MBD sneller en vond het kwalitatief betere oplossingen dan een adaptieve VP-MBD baseline (AVP-MBD), die worstelde met de gekoppelde parameterruimte.
• Brax Benchmarks: LP-MBD behaalde competitieve of superieure per-stap beloningen over de meeste continue control-taken (Ant, Hopper, HalfCheetah, Walker2D, Reacher) vergeleken met CEM, MPPI en VP-MBD. In de Pusher-taak presteerde VP-MBD licht beter dan LP-MBD, wat de auteurs toeschrijven aan de hogere dimensionaliteit die mogelijk de expressieve capaciteit van variance-preserving schedules bevoordeelt.
• Mobiele Robot Traject-tracking: In een aangepaste omgeving met obstakels en S-vormige/ovale paden behaalde ALP-MBD de hoogste gemiddelde beloning van alle varianten. Het systeem slaagde erin de parameters in realtime aan te passen: het verhoogde de diffusiestappen en de ruisvariantie bij het navigeren nabij obstakels of scherpe bochten, en verminderde deze tijdens rechtuitgaande, obstakelvrije kruisvluchten. Ondanks de overhead van de RL-policy forward pass, behield ALP-MBD de real-time efficiëntie die geschikt is voor control-applicaties.

Betekenis
Het artikel stelt dat LP-MBD een stabiele, geometrisch interpreteerbare fundering biedt voor diffusion-gebaseerde controle die het beruchte proces van het afstemmen van ruis-schedules vereenvoudigt. Door de ruisschaal te ontkoppelen van de discretisatiehorizon, maakt LP-MBD de effectieve toepassing van reinforcement learning voor adaptatie mogelijk. Het voorgestelde ALP-MBD-framework laat zien dat dynamische aanpassing van diffusieparameters zowel de robuustheid in complexe omgevingen als de computationele efficiëntie in eenvoudigere omgevingen kan verbeteren, wat een praktische oplossing biedt voor real-time robotica-controle waarbij de taakcondities aanzienlijk variëren.