Preserve Support, Not Correspondence: Dynamic Routing for Offline Reinforcement Learning

Technische Samenvatting: DROL (Dynamic Routing for Offline RL)

1. Het Probleem: De beperking van "Pointwise Correspondence"

In Offline Reinforcement Learning (RL) is het doel om een beleid (policy) te verbeteren op basis van een vaste dataset, zonder dat de agent acties uitvoert die buiten de ondersteunde regio's van die dataset vallen.

De huidige staat van de techniek maakt veel gebruik van one-step actors (generatieve modellen die in één stap een actie genereren). Deze zijn aantrekkelijk omdat ze efficiënt zijn tijdens de uitvoering (inference). Een gangbare methode om deze te trainen is door een sterker, iteratief model (de "teacher") te distilleren naar een eenvoudiger model (de "student").

Het fundamentele probleem dat de auteurs identificeren, is de pointwise correspondence (puntgewijze correspondentie):

• Bij huidige methoden (zoals FQL) wordt voor elke latente variabele $z$ een specifieke actie van de teacher $\tilde{a}$ als doel gesteld.
• De student moet tegelijkertijd de Q-waarde maximaliseren (richting een betere actie) én dicht bij die specifieke $\tilde{a}$ blijven.
• Als de Q-waarde suggereert dat een nabijgelegen actie veel beter is, ontstaat er een conflict. De loss-functie dwingt de student tot een compromis op die specifieke sample, waardoor de mogelijkheid om lokaal te verbeteren wordt beperkt. De student is "vastgeketend" aan de specifieke teacher-output, zelfs als er betere, ondersteunde acties in de buurt zijn.

2. Methodologie: DROL (Dynamic Routing)

De auteurs stellen DROL voor, een methode die de focus verlegt van het behouden van de correspondentie met een specifieke teacher naar het behouden van de lokale ondersteuning (support) van de data.

Kernconcepten:

• Candidate Set: In plaats van één actie te genereren tijdens de training, samplet de actor $K$ verschillende kandidaat-acties ($\hat{a}_1, \dots, \hat{a}_K$) vanuit een begrensde latente ruimte.
• Top-1 Dynamic Routing: Voor elke actie $a$ uit de dataset wordt bepaald welke van de $K$ kandidaten de dichtstbijzijnde is:
  $$k^*(s, a) = \arg \min_{k \in [K]} \|\hat{a}_k - a\|^2_2$$
• Winner-only Update: Alleen de "winnaar" (de kandidaat die het dichtst bij de dataset-actie ligt) wordt geüpdatet met een combinatie van Behavior Cloning (BC) en Q-improvement.
• Responsibility Transfer (Verantwoordelijkheidsoverdracht): Omdat de routing bij elke trainingsstap opnieuw wordt berekend op basis van de huidige positie van de kandidaten, kan de "eigenaarschap" van een regio in de actieruimte verschuiven. Als één kandidaat beweegt naar een actie met een hogere Q-waarde, kan een andere kandidaat de verantwoordelijkheid overnemen voor de oorspronkelijke regio om de ondersteuning van de data te waarborgen.

Dit creëert een dynamisch Voronoi-diagram in de actieruimte dat zich aanpast tijdens het leerproces.

3. Belangrijkste Bijdragen

1. Nieuw Inzicht: De identificatie dat het behouden van een vaste koppeling tussen latente variabelen en teacher-acties een onnodige beperking is die lokale verbetering in multimodale omgevingen belemmert.
2. DROL Algoritme: Een efficiënt trainingsmechanisme dat gebruikmaakt van een kandidaatenset en dynamische routing om lokale ondersteuning te behouden terwijl de agent de Q-waarde optimaliseert.
3. Theoretische Onderbouwing: Bewijs (via proposities) dat:
   • De kandidaten niet naar één punt zullen convergeren (geen collapse).
   • De verantwoordelijkheid voor data-ondersteuning kan worden overgedragen tussen kandidaten.
   • Een groter aantal kandidaten ($K$) de dekking van de actieruimte verbetert.

4. Resultaten

De methode is getest op de complexe OGBench en D4RL benchmarks:

• Prestaties: DROL presteert competitief met veel zwaardere, iteratieve methoden, maar behoudt de snelheid van een one-step actor. Op OGBench verbeterde DROL de prestaties op de meeste taakgroepen aanzienlijk ten opzichte van de FQL-baseline.
• Efficiëntie: Tijdens de uitvoering (inference) gebruikt DROL slechts één latente sample, waardoor de rekenkracht die nodig is extreem laag blijft (vergelijkbaar met standaard one-step methoden).
• Schaalbaarheid: De resultaten laten zien dat een groter aantal kandidaten ($K$) helpt bij complexe navigatietaken (zoals antmaze-giant), omdat het de kans vergroot dat er een kandidaat beschikbaar is om een specifieke mode in de data over te nemen.

5. Betekenis en Conclusie

De significantie van dit werk ligt in het feit dat het aantoont dat one-step generatieve policies veel krachtiger kunnen zijn dan voorheen gedacht. Door de training te herstructureren van "volg deze specifieke punt" naar "dek deze lokale regio af", kan een eenvoudige actor de complexe, multimodale verdeling van een dataset leren en tegelijkertijd effectief optimaliseren voor de hoogste beloning. Dit biedt een weg naar snelle, efficiënte en krachtige robotica-controlesystemen die de nauwkeurigheid van complexe diffusie-modellen benaderen zonder de rekenkundige overhead.