Dreaming Smoothly and Sample Efficiently with Gradient Penalized Latent Dynamics

Technische Samenvatting: Dromen met Soepelheid en Steekproefefficiëntie met Gradient-Gestraafde Latente Dynamica (GPLD)

Probleemstelling
Modelgebaseerde versterkende leer (MBRL) verbetert de steekproefefficiëntie door een voorspellend wereldmodel te leren voor planning. Hoewel latente wereldmodellen zoals DreamerV3 succes hebben bewezen bij het schalen naar diverse taken met continue besturing, slagen ze er vaak niet in om lokale soepelheid expliciet af te dwingen in hun geleerde overgangsdynamica. Veel systemen met continue besturing bezitten een structurele prior waarbij nabijgelegen toestanden vergelijkbaar gedrag van overgangen op korte termijn veroorzaken. Bestaande latente modellen maken geen expliciet gebruik van deze inductieve bias, wat mogelijk meer interactiegegevens vereist om nuttige overgangsstructuren te leren. Bovendien kunnen onbeperkte neurale netwerken hoge-frequentie oscillaties produceren die stabiliteit en generalisatie verslechteren; fouten die zich vermenigvuldigen bij meerstapsvoorspellingen.

Methodologie: Gradient-Gestraafde Latente Dynamica (GPLD)
De auteurs stellen GPLD voor, een differentieerbare regularisator voor de dynamica van latente wereldmodellen die lokale soepelheid expliciet stimuleert. De methodologie is gebaseerd op een theoretische brug van discrete naar continue toestandsruimten:

1. Discrete-naar-Continue Rechtvaardiging:

   • In een MDP met een eindige ingebedde toestand wordt lokale soepelheid opgelegd door het straffen van de eindige verschillen van overgangswetten tussen naburige toestanden.
   • Naarmate de toestandsrepresentatie continu wordt en het overgangsmodel differentieerbaar, convergeren deze genormaliseerde eindige verschillen naar directionele afgeleiden van de geleerde dynamica.
   • Het middelen over lokale richtingen resulteert in een kwadratische Frobenius-Jacobiaanstraf. Dit biedt een principiële route van tabulaire buurvereffening naar de gradientstraf die in GPLD wordt gebruikt.

2. Implementatie in DreamerV3:

   • GPLD past een rijgewijze Jacobiaanstraf specifiek toe op de posteriore latente waarschijnlijkheidskaart ($q_\phi(z_t | h_t, e_t)$), in plaats van de prior of ruwe omgevingsovergangen. Dit richt zich op de verdeling die wordt gebruikt voor het afleiden van latente toestanden uit echte trajecten.
   • De objectief functie voegt een regularisatieterm $\mathcal{L}_{GPLD}$ toe aan de standaard DreamerV3-verliesfunctie, waarbij de gemiddelde rijgewijze Frobenius-Jacobiaan-norm van de posteriore kaart wordt gestraft met betrekking tot de invoer $u_t = [h_t, e_t]$.
   • Efficiënte Schatting: Het berekenen van de volledige Jacobiaan is computergewijs duur. De auteurs maken gebruik van een Hutchinson-achtige stochastische schatter met Rademacher-ruis ($\epsilon$) om de Frobenius-norm te schatten via vector-Jacobiaan-producten, waardoor de straf schaalbaar wordt.
   • Tijdsgedecaydeerde Coëfficiënt: Om vroege trainingsstabiliteit in evenwicht te brengen met latere modelaanpassing, volgt de straffcoëfficiënt $\lambda_{post}$ een wortel-afname-schema, beginnend hoog wanneer de gegevens beperkt zijn en afnemend naarmate het model convergeert.

Belangrijkste Bijdragen

1. Theoretische Rechtvaardiging: Een afleiding die aantoont hoe eindige-differentievereffening van tabulaire overgangswetten op natuurlijke wijze leidt tot Frobenius-Jacobiaan-regularisatie in differentieerbare latente modellen.
2. Algoritme (GPLD): Een posterior-Jacobiaan-regularisator voor DreamerV3 die expliciet lokale soepelheid in latente waarschijnlijkheidskaarten stimuleert.
3. Empirische Evaluatie: Uitgebreide evaluatie op DeepMind Control (DMC)-taken, die verbeterde steekproefefficiëntie en consistentie op lange horizon aantoont.

Experimentele Resultaten
De auteurs hebben GPLD geëvalueerd op DMC-taken met behulp van zowel proprioceptieve (laagdimensionale fysieke toestand) als pixel (beeldframe) waarnemingen.

• Proprioceptieve Taken: GPLD-DreamerV3 toonde significante verbeteringen in de geaggregeerde steekproefefficiëntie.
  • Over de volledige proprioceptieve benchmark behaalde GPLD een geaggregeerde winst van 17,7% genormaliseerd.
  • Bij complexere locomotie-taken (zoals hopper-hop, walker-run) waren de winsten duidelijker, met een geaggregeerde winst van 34,6% genormaliseerd bij 1 miljoen omgevingstappen. Opmerkelijk is dat hopper-hop een relatieve winst van 141,3% zag.
  • Bij moeilijke viervoeters-taken bereikte GPLD eerder gedrag met een hoge opbrengst en vertoonde het een consistentere leerfase in de latere stadia over langere horizons (tot 4 miljoen stappen) in vergelijking met de baseline.
• Pixel Taken: Hoewel GPLD concurrerend bleef, waren de geaggregeerde winsten milder. De auteurs suggereren dat dit komt doordat het effect van regularisatie van latente soepelheid zwakker is wanneer het leren van dynamica gekoppeld is aan het gelijktijdige leren van hoogdimensionale visuele coderingen.
• Ablaties: Experimenten bevestigden dat het regulariseren van alleen de posterior (in plaats van zowel prior als posterior) de beste afweging tussen prestaties en kosten biedt. Bovendien presteerden tijdsgedecaydeerde strafschema's beter dan vaste coëfficiënten.
• Sensitiviteitsanalyse: Diagnostiek toonde aan dat GPLD de lokale sensitiviteit van de geleerde posteriorverdeling voor invoerverstoringen vermindert, wat het beoogde effectoring bevestigt.

Betekenis en Claims
Het artikel stelt dat expliciete regularisatie van lokale soepelheid een eenvoudige en effectieve mechanisme is om latente wereldmodellen te verbeteren, met name voor omgevingen met continue besturing die soepel zijn. De primaire betekenis ligt in:

• Steekproefefficiëntie: Het verminderen van de hoeveelheid interactiegegevens die nodig is om overgangsstructuren te leren door gebruik te maken van de inductieve bias dat nabijgelegen toestanden vergelijkbare dynamica hebben.
• Stabiliteit op Lange Horizon: Het verbeteren van de consistentie en kwaliteit van het leren op complexe, hoogdimensionale taken (zoals locomotie van viervoeters) over uitgebreide trainingsperiodes.
• Theoretische Grondslag: Het bieden van een duidelijke wiskundige afleiding die discrete vereffeningspriors verbindt met continue Jacobiaanstraffen.

De auteurs erkennen beperkingen, waarbij zij opmerken dat GPLD niet uniform voordelig is voor alle omgevingen en minder effectief is in omgevingen met pixelwaarnemingen, waar het leren van visuele representaties het dynamisch proces bemoeilijkt. Zij waarschuwen ook dat de methode een prior van lokale soepelheid encodeert, wat ongepast kan zijn voor omgevingen die worden gedomineerd door discontinu dynamisch gedrag. Het werk wordt gepresenteerd als een stap naar meer praktische, steekproefefficiënte modelgebaseerde RL, met code beschikbaar voor reproduceerbaarheid.