ResWM: Residual-Action World Model for Visual RL

Het artikel introduceert ResWM, een wereldmodel dat in plaats van absolute acties gebruikmaakt van residuale acties (incrementele aanpassingen) om de stabiliteit en sample-efficiëntie van visuele versterkingsleer voor robotica aanzienlijk te verbeteren.

De kern

Stel je voor dat je een robot wilt leren lopen, zoals een kind dat zijn eerste stappen zet. De meeste robot-leraren (de huidige kunstmatige intelligentie) proberen de robot te vertellen: "Ga precies 10 centimeter naar voren, til je been 5 centimeter op." Dit is als proberen een auto te besturen door elke seconde de exacte positie van het stuur en het gaspedaal te bepalen. Het resultaat? De robot wordt onrustig, trilt, maakt schokkerige bewegingen en leert heel langzaam omdat hij constant probeert de perfecte beweging te raden.

Dit artikel introduceert een slimme nieuwe manier om robots te leren, genaamd ResWM. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Niet van Nul Af" Regel (Residuele Acties)

In plaats van de robot elke keer te vertellen waar hij precies moet zijn, leert ResWM de robot om te denken in aanpassingen.

• De oude manier: "Zet je voet op positie X." (Dit is zwaar en onstabiel).
• De ResWM-methode: "Je voet zit nu hier. Zet hem een klein beetje verder."

De Analogie:
Stel je voor dat je een auto bestuurt op een gladde weg.

• De oude methode is alsof je elke seconde de hele auto moet herpositioneren: "Ga naar links, ga naar rechts, stop, start." Dat is chaotisch.
• ResWM is als het sturen met kleine, soepele draaiingen. Als je al naar rechts rijdt, hoef je niet plotseling naar links te slaan; je draait het stuur gewoon een heel klein beetje verder naar rechts.

Dit zorgt ervoor dat de robot niet meer schokkerig beweegt, maar soepel en energiezuinig. Het is alsof je van een huppelend konijn verandert in een glijdende pinguïn.

2. De "Bewegingsdetector" (Observatie Verschil Encoder)

Robot-robots kijken vaak naar elke foto die ze maken alsof het een nieuwe, complete wereld is. Maar in de echte wereld verandert er niet alles tegelijk. De muur blijft staan, alleen de robot of een bal beweegt.

ResWM heeft een speciale bril opgezet, de Observatie Verschil Encoder.

• De oude manier: De robot kijkt naar een foto van een kamer en probeert te onthouden waar de tafel, de stoel en de lamp staan, plus waar de bal is.
• De ResWM-methode: De robot kijkt naar de verschillen tussen de vorige foto en de huidige foto. "Ah, de bal is een stukje naar rechts bewogen. De rest is hetzelfde."

De Analogie:
Stel je voor dat je door een raam kijkt terwijl er een trein voorbijrijdt.

• De oude robot probeert de trein, de bomen, de wolken en de grond allemaal tegelijk te analyseren.
• De ResWM-robot kijkt alleen naar wat beweegt. Hij negeert de statische achtergrond (de bomen) en focust puur op de trein. Hierdoor ziet hij de wereld veel duidelijker en sneller, omdat hij zich niet laat afleiden door dingen die niet veranderen.

3. De Droomwereld (Imaginaire Planning)

Net als mensen die in hun hoofd een situatie doordenken voordat ze iets doen, heeft ResWM een "droomwereld". Omdat de robot nu soepel beweegt (punt 1) en alleen kijkt naar wat echt verandert (punt 2), kan hij in zijn hoofd duizenden scenario's bedenken zonder dat hij fysiek hoeft te bewegen.

• Hij droomt: "Als ik mijn been nog een klein beetje meer buig, val ik niet om."
• Omdat zijn "dromen" gebaseerd zijn op soepele aanpassingen en echte bewegingen, zijn deze dromen veel betrouwbaarder. Hij maakt minder fouten en leert sneller.

Waarom is dit belangrijk?

Vroeger waren robots vaak onhandig: ze trilden, gebruikten veel energie en vielen snel om. Met ResWM worden robots:

1. Soepeler: Ze bewegen als een danser, niet als een robot met een batterij die leegloopt.
2. Efficiënter: Ze hebben minder "probeer-en-fout" momenten nodig om iets te leren.
3. Veiliger: Omdat ze niet schokkerig bewegen, is het veiliger om ze in de echte wereld (bijvoorbeeld in een fabriek of ziekenhuis) te gebruiken.

Kort samengevat:
ResWM is als het geven van een nieuwe, slimme bril aan een robot. In plaats van te proberen de hele wereld perfect te kopiëren, leert hij alleen te kijken naar wat er verandert en te bewegen door kleine aanpassingen te maken. Het resultaat is een robot die niet meer hapt en stopt, maar soepel, snel en slim leert bewegen.

Technische samenvatting

Probleemstelling

Het leren van voorspellende wereldmodellen (world models) vanuit ruwe visuele waarnemingen is een centrale uitdaging in versterkingsleren (RL), met name voor robotica en continue controle. Bestaande modelgebaseerde RL-frames werken doorgaans door toekomstige voorspellingen direct te conditioneren op absolute acties. Deze aanpak introduceert een aantal fundamentele problemen:

• Instabiliteit: De optimale verdeling van absolute acties is taakafhankelijk en a priori onbekend, wat leidt tot een instabiele optimalisatie.
• Oscillaties: Dit resulteert vaak in trillende of chaotische controletrajecten, wat de planningsefficiëntie ondermijnt en veiligheidsrisico's oplevert voor fysieke systemen.
• Zoekruimte: Het leren van absolute acties vereist een zoekruimte die te groot en ongestructureerd is voor complexe, langdurige taken.

Methodologie: ResWM

De auteurs introduceren ResWM (Residual-Action World Model), een raamwerk dat de controlevariabele herformuleert van absolute acties naar residuale acties (incrementele aanpassingen ten opzichte van de vorige stap). De methode bestaat uit drie kerncomponenten:

1. Residuale Actie Policy (Smoothness Prior):
   In plaats van een absolute actie $a_t$ te voorspellen, voorspelt het beleid een incrementele aanpassing $\delta a_t$ ten opzichte van de vorige actie $a_{t-1}$. De uiteindelijke actie wordt berekend als:
   $$a_t = \tanh(a_{t-1} + \delta a_t)$$
   Dit introduceert een sterke prior voor temporale gladheid. Het beperkt de zoekruimte tot lokale refinements rond de huidige actie, wat de sample-efficiëntie verhoogt en mechanische slijtage en energieverbruik vermindert.

2. Observation Difference Encoder (ODL):
   Om de residuale actie te ondersteunen, wordt een nieuwe encoder voorgesteld die niet statische frames encodeert, maar expliciet de verschillen tussen opeenvolgende frames ($o_t$ en $o_{t-1}$) modelleert.

   • Dit filtert statische achtergrondinformatie en concentreert zich op dynamische elementen (bijv. bewegende objecten).
   • Het creëert een compacte, dynamische bewuste latente representatie $z_t$ die naadloos gekoppeld is aan de voorspelling van residuale acties.

3. Latente Dynamica en Planning:
   ResWM wordt geïntegreerd in een Recurrent State-Space Model (RSSM), vergelijkbaar met Dreamer. De overgangsfunctie is echter geconditioneerd op de residuale actie $\delta a_t$ in plaats van de absolute actie:
   $$s_{t+1} \sim g_\phi(s_{t+1} | s_t, \delta a_t)$$
   Zowel het "imagination rollouts" (plannen in de latente ruimte) als de policy-optimalisatie vinden plaats in de residuale actie-ruimte. Dit voorkomt cumulatieve fouten en distributieshifts tussen het wereldmodel en het beleid.

Belangrijkste Bijdragen

• ResWM Framework: Een nieuw MBRL-framework dat de actie-ruimte herparametriseert om een krachtige gladheids-prior in te bouwen, wat de leercorrectie drastisch vermindert.
• Observation Difference Encoder (ODL): Een architectuur die dynamische veranderingen in visuele input expliciet vastlegt, wat leidt tot een efficiëntere en causaal gerichte representatie.
• Plug-and-Play Integratie: Het framework vereist minimale wijzigingen in bestaande Dreamer-achtige architecturen en introduceert geen extra hyperparameters.
• Empirische Validatie: Uitgebreide tests tonen aan dat ResWM superieur is in sample-efficiëntie, asymptotische prestaties en controle-gladheid.

Resultaten

De prestaties van ResWM zijn geëvalueerd op twee belangrijke benchmarks: DeepMind Control Suite (DMControl) en Atari.

• DMControl (Continue Controle):

  • ResWM behaalde een gemiddelde score van 925.0 op standaard taken bij 500K stappen, wat een verbetering is ten opzichte van sterke baselines zoals Dreamer en TD-MPC.
  • Op "harde taken" (bijv. Quadruped Walk) behaalde ResWM 715 punten bij 1M stappen, vergeleken met 690 voor de tweede beste methode (ResAct).
  • Het model toont aanzienlijk minder "chattering" (trillen) en produceert energie-efficiëntere trajecten.

• Atari (Discrete Controle):

  • ResWM behaalde een genormaliseerde gemiddelde score van 0.96 ten opzichte van menselijke prestaties, wat significant hoger is dan concurrenten zoals ResAct (0.86) en TACO (0.76).
  • Dit bewijst dat de residuale benadering ook effectief is in discrete, hoge-dimensie omgevingen.

• Ablatie-studies:

  • De Residuale Policy bleek de belangrijkste component; zonder deze faalt het model op complexe taken (bijv. Hopper Hop).
  • De ODL droeg aanzienlijk bij aan de prestaties door de focus te verleggen naar beweging in plaats van statische beelden.

Significantie

ResWM biedt een principieel antwoord op het probleem van instabiliteit en inefficiëntie in visuele RL voor robotica. Door de koppeling tussen visuele waarneming (via ODL) en fysieke controle (via residuale acties) te optimaliseren, overbrugt het de kloof tussen geavanceerde algoritmen en de praktische eisen van fysieke systemen (zoals energie-efficiëntie en veiligheid). De methode bewijst dat het modelleren van veranderingen in plaats van absolute waarden een krachtig principe is voor het leren van wereldmodellen, wat leidt tot robuustere en sneller lerende agenten in complexe omgevingen.