Technische Samenvatting: Mollified Value Learning

Probleemstelling

Offline Goal-Conditioned Reinforcement Learning (GCRL) beoogt beleid te leren dat specifieke doeltoestanden bereikt vanuit statische, vooraf verzamelde datasets zonder verdere interactie met de omgeving. Een centrale uitdaging in deze setting is de nauwkeurige schatting van de Goal-Conditioned Value Function (GCVF). Hoewel standaard waarde-parametrisaties vertrouwen op temporal-difference (TD) recursie, missen ze vaak de structurele inductieve biases die nodig zijn om de onderliggende doelbereikende geometrie te vatten. Deze tekortkoming leidt tot oninformatieve of slecht gestructureerde waardeschattingen, met name in omgevingen met een ijle beloning (sparse reward) en in hoogdimensionale omgevingen.

Recente natuurkundig geïnspireerde benaderingen proberen dit aan te pakken door puntgewijze geometrische beperkingen op te leggen die afgeleid zijn van de Hamilton–Jacobi–Bellman (HJB) optimaliteitsprincipes, waarbij vaak de Eikonal-vergelijking wordt gebruikt om de kortste-pad-geometrie te modelleren. Het afdwingen van lokale consistentie via expliciete differentiële operatoren (bijv. eerste-orde partiële differentiaalvergelijkingen) wordt echter instabiel in complexe, hoogdimensionale omgevingen. Deze methoden lijden onder numerieke instabiliteit door een ijle dekking van toestanden-acties (state-action coverage), complexe kinematica en de praktische moeilijkheden geassocieerd met Physics-Informed Neural Networks (PINNs).

Methodologie: Mollified Value Learning (MVL)

De auteurs stellen Mollified Value Learning (MVL) voor, een framework dat de afstand-achtige geometrische beperkingen herinterpreteert als een verwachting over een lokale ruimtelijke maat, in plaats van ze puntgewijs af te dwingen.

Kerninzicht

In plaats van te eisen dat de waardefunctie strikte differentiaalvergelijkingen voldoet (die gevoelig zijn voor ruis en hoge dimensionaliteit), herformuleert MVL de kortste-pad consistentie als een ruimtelijke verwachting. De methode stelt dat de kosten-naar-doel relatie in verwachting moet gelden over een lokale buurt van toestanden. Deze aanpak fungeert als een "ruimtelijke mollifier", die afstand-achtige waarde-geometrie induceert zonder dat dure of instabiele differentiële operatoren nodig zijn.

Theoretische Formulering

1. Geometrische Consistentie: De optimale waardefunctie $V^*(s, g)$ komt overeen met het kortst mogelijke haalbare pad (geodeet) van toestand $s$ naar doel $g$. Dit voldoet aan de driehoeksongelijkheid: $V(s, g) \geq V(s, s') + V(s', g)$.
2. Lokale Relaxatie: Voor een transitie van $s$ naar een buur $s'$ binnen een kleine tijdstap $\Delta t$, wordt de kosten benaderd als $c(s, g)\Delta t \approx c(s, g)\|s' - s\|$. De lokale consistentievoorwaarde wordt gedefinieerd als:
   $$V(s', g) - V(s, g) - c(s, g)\|s' - s\| \leq 0$$
3. Mollified Objectief: In plaats van deze ongelijkheid voor elke specifieke transitie af te dwingen, definieert MVL een residu-operator $\Phi(V, s, s', g) = V(s', g) - V(s, g) - c(s, g)\|s' - s\|$ en dwingt de verwachting ervan af over een lokale ruimtelijke maat $\rho_\delta(s'|s)$:
   $$\mathcal{R}_\delta[V](s, g) := \int \Phi(V, s, s', g) \rho_\delta(s'|s) ds'$$
   Hierbij is $\rho_\delta$ een gelokaliseerde transitie-kernel (bijv. een Gaussische distributie gecentreerd rond $s$ met straal $\delta$).
4. Verliesfunctie: Het geometrische regularisatieverlies is de empirische verwachting van het kwadraat van het positieve deel van dit residu (met behulp van ReLU om schendingen te bestraffen):
   $$L_{MVL}(\theta) = \mathbb{E}_{s,g} \left[ \text{ReLU}(\mathcal{R}_\delta[V_\theta](s, g))^2 \right]$$

Praktische Implementatie

In model-vrije offline settings wordt de integraal benaderd door een eindige verzameling buren $\{s'_1, \dots, s'_N\}$ te samplen uit een Gaussische distributie $\mathcal{N}(s, \delta^2 I)$. De methode is compatibel met bestaande methoden voor het leren van impliciete waarderepresentaties (zoals GCIVL) en vereist geen expliciete hogere-orde differentiële operatoren, wat het computationeel hanteerbaar en robuust maakt tegen de stochasticiteit van de dataset.

Belangrijkste Bijdragen

1. Nieuwe Formulering: Het artikel introduceert MVL, een waardeleer-framework dat een kortste-pad-achtige geometrische inductieve bias injecteert in offline GCRL door te zoeken naar de verwachte kosten-naar-doel beperkingen over lokale toestandsdistributies.
2. Stabiliteit en Hanteerbaarheid: Door expliciete differentiële operatoren te vervangen door een hanteerbare integraal over een lokale ruimtelijke maat, vermijdt MVL de numerieke instabiliteit die geassocieerd wordt met hoogdimensionale Eikonal en HJB formuleringen.
3. Robuustheid tegen Ruis: De methode fungeert als een geometrische laagdoorlaatfilter, die de ruimtelijke routing-geometrie ontkoppelt van laag-niveau datasetruis en ongemodelleerde dynamica. Dit is bijzonder effectief in stochastische omgevingen waar puntgewijze beperkingen vaak falen.
4. Empirische Validatie: De aanpak wordt gevalideerd over 13 toestand-gebaseerde taken (navigatie en manipulatie) en real-world robotexperimenten, waarbij verbeterde doelbereikingsprestaties en gestructureerde waarderepresentaties worden aangetoond.

Experimentele Resultaten

De auteurs evalueerden MVL op de OGBench benchmark (bevat navigatietaken zoals PointMaze, AntMaze, en HumanoidMaze, en manipulatietaken zoals Cube, Scene, en Puzzle) en de D4RL Franka Kitchen suite.

• Prestatiewinst: MVL verbetert de succesratio's bij het bereiken van doelen aanzienlijk wanneer het wordt gecombineerd met impliciete waardeleer-baselines. Zo verhoogde het toevoegen van MVL aan de Dual-goal representatie op de cube-single-play taak het succes van 89% naar 91%. In de scene-play taak verbeterde het de prestaties van 72% naar 84%.
• Vergelijking met Baselines: MVL presteert beter dan standaard baselines (GCIVL, VIB, VIP, TRA, BYOL) en natuurkundig geïnspireerde baselines met expliciete Eikonal-beperkingen (DUAL+EIK). Met name in complexe manipulatietaken waar Eikonal-gebaseerde methoden moeite hebben of falen (bijv. cube-single-play waar Eikonal slechts 1% succes behaalde versus MVL's 91%), biedt MVL robuuste prestaties.
• Robuustheid tegen Stochasticiteit: In ruizige omgevingen (bijv. cube-single-noisy), waar baseline methoden vaak instortten tot bijna nul succes, behield MVL een hoge prestatie (99% succes), wat de capaciteit aantoont om transitieruis te filteren.
• Real-World Deployment: De methode werd succesvol ingezet op een Franka Emika Panda robot voor "Reach and Grasp" en "Pick and Place" taken. Regularisatie verbeterde de succesratio's van 20% naar 80% in Reach and Grasp en van 0% naar 100% in Pick and Place, wat het nut benadrukt bij het omgaan met real-world sensorvariantie en wrijving.

Betekenis en Claims

Het artikel claimt dat MVL een eenvoudige en hanteerbare inductieve bias biedt die het leren van waarden in hoogdimensionale manipulatie- en navigatietaken verbetert. De primaire betekenis ligt in het aantonen dat de geometrie van GCRL waardefuncties kan worden gedefinieerd zonder te vertrouwen op dure en instabiele differentiële formuleringen.

De auteurs benadrukken dat hun aanpak een "zwakke" geometrische consistentie biedt die grootschalige routing-structuren behoudt terwijl het kleine-schaal onregelmatigheden veroorzaakt door ijle data of ruis dempt. Ze erkennen beperkingen, waarbij zij opmerken dat de formulering steunt op Euclidische afstand en isotrope kernels, wat mogelijk niet perfect de niet-holonome beperkingen of complexe contactdynamica modelleert. Ze argumenteren echter dat deze vereenvoudiging effectief leren mogelijk maakt in hoogdimensionale toestandsruimten waar de exacte dynamica onbekend is, wat een praktisch alternatief biedt voor exacte HJB-oplossingen.

Het werk suggereert een bredere richting voor toekomstig onderzoek: het uitbreiden van deze geometrische regularisatie-ideeën naar geleerde of manifold-bewuste representatieruimten, met name in visuele domeinen waar de aannames van de Euclidische ruimte in latente ruimtes mogelijk niet standhouden.