Technische Samenvatting: Representatie-leren maakt schaalbare multitask deep reinforcement learning mogelijk

Probleemstelling

Het schalen van deep reinforcement learning (RL) naar diverse multitask-omgevingen blijft een centrale uitdaging. Hoewel recente model-gebaseerde RL-benaderingen sterke prestaties leveren, vertrouwen ze op complexe trainingspipelines die planning en latente wereldmodellen omvatten, wat het moeilijk maakt om te isoleren welke componenten essentieel zijn voor schaalbaarheid. Bovendien brengen deze methoden vaak aanzienlijke computationele overhead en hyperparametergevoeligheid met zich mee.

Tegelijkertijd is het opschalen van de modelgrootte alleen in multitask RL (MTRL) niet voldoende gebleken; zonder passende trainingsdoelstellingen en mechanismen voor representatie-leren vereisen grotere modellen vaak meer data om te stabiliseren in plaats van dat ze de prestaties verbeteren. De auteurs hypothetiseren dat de primaire drijfveer van schaalbare multitask RL niet de model-gebaseerde controle (planning) zelf is, maar de kwaliteit van de representatie-leren. Specifiek stellen zij dat voorspellende, model-gebaseerde representaties gecombineerd met hoogwaardige waarde-functie benadering voldoende zijn om sterke prestaties te behalen, zelfs in de afwezigheid van expliciete planning.

Methodologie

Het paper evalueert MR.Q, een puur model-vrije actor-critic algoritme dat voorspellende hulpdoelstellingen integreert in temporal-difference (TD) leren.

• Architectuur: De agent gebruikt een off-policy actor-critic framework waarbij observaties en taakinformatie worden gecodeerd in een latente representatie $z_t = \phi_\xi(s_t, \tau)$. De policy ($\pi_\psi$) en de tweeling-critics ($Q_{\theta_1}, Q_{\theta_2}$) opereren in deze latente ruimte.
• Voorspellende doelstellingen: Om de representaties vorm te geven, vult het systeem standaard TD-leren aan met hulp-voorspellende modellering in de latente ruimte. Modellen voorspellen de volgende latente staat ($z_{t+1}$), beloning ($r_t$) en terminatiesignaal ($d_t$) vanuit de huidige latente staat en actie ($z_t, a_t$). De gradiënten van deze voorspellende verliezen worden via de encoder $\phi_\xi$ teruggekoppeld (backpropagated).
• Cruciaal onderscheid: Belangrijk is dat MR.Q geen planning uitvoert. De geleerde voorspellende modellen worden uitsluitend gebruikt om dens toezicht te bieden voor representatie-leren, waardoor de voordelen van voorspellende doelstellingen worden geïsoleerd van de computationele kosten en instabiliteit van expliciete model-gebaseerde controle (bijv. latente rollouts).
• Evaluatieprotocol: De auteurs evalueren MR.Q tegenover Newt, een recente grootschalige world-model-gebaseerde methode, over een diverse reeks continue controle-taken (inclusief DMControl, MetaWorld, ManiSkill en RoboDesk).
  • Primaire regime: Evaluaties worden uitgevoerd bij 10M omgevingsstappen, een regime met weinig data waarin de efficiëntie van steekproeven (sample efficiency) cruciaal is, in contrast met eerder werk dat vaak evalueert bij 100M+ stappen.
  • Schaalassen: De studie analyseert prestaties over taakdiversiteit (200 taken), modelcapaciteit (Small tot X-Large), beschikbaarheid van data, update-to-data (UTD) ratio's en wandkloktijd (wall-clock time).
  • Ablaties: De auteurs vergelijken MR.Q met een encoder-vrije baseline (standaard TD3) om de impact van representatie-leren te isoleren, en met Newt om de noodzaak van planning te beoordelen.

Belangrijkste Bijdragen en Resultaten

1. Representatie-leren drijft schaalbaarheid aan

Het paper demonstreert dat voorspellend representatie-leren de kritieke factor is voor schaalbaarheid, in plaats van de planning-component van model-gebaseerde RL.

• Single-task bewijs: In gecontroleerde single-task settings (HalfCheetah, Humanoid) stelt het toevoegen van voorspellende representaties aan een standaard PPO-agent de agent in staat om effectief gebruik te maken van verhoogde modelcapaciteit. Zonder deze representaties levert het schalen van de modelgrootte weinig tot geen voordeel op en kan het de prestaties zelfs verslechteren.
• Multitask prestaties: In het 10M-stappen multitask regime, evenaart of overtreft MR.Q consistent de model-gebaseerde Newt baseline over diverse domeinen (DMControl, MuJoCo, MetaWorld, etc.). MR.Q bereikt een hogere sample efficiency en een hogere finale genormaliseerde score zonder de computationele overhead van world-model planning.

2. Superieur Schaalgedrag

MR.Q vertoont meer stabiele en effectieve schaaleigenschappen vergeleken met model-gebaseerde baselines:

• Data Schaling: MR.Q behoudt sterke prestaties, zelfs met verminderde data, terwijl Newt een significante degradatie laat zien in settings met weinig data.
• Model Schaling: MR.Q vertoont een vloeiende, voorspelbare verbetering van de prestaties naarmate de modelcapaciteit toeneemt. Newt vertoont zwakkere schaling en een hogere gevoeligheid voor modelgrootte.
• Update-to-Data (UTD) Ratio: MR.Q profiteert consistent van verhoogde UTD-ratio's, terwijl Newt een afnemend rendement vertoont bij hogere update-frequenties.

3. Transfer en Adaptatie

• Zero-Shot Initialisatie: MR.Q demonstreert aanzienlijk betere transfer naar onbekende taken. Bij few-shot finetuning op 28 uitgesloten taken, bereikt MR.Q een 50% hogere zero-shot prestatie dan Newt voordat er enige finetuning plaatsvindt.
• Finetuning Efficiëntie: Het prestatievoordeel van MR.Q blijft behouden tijdens adaptatie, waarbij het Newt overtreft op 61% van de uitgesloten taken na 200k finetuning-stappen.

4. Computationele Efficiëntie

Door het elimineren van expliciete planning en latente rollouts, bereikt MR.Q een superieure wandklok-efficiëntie. Het bereikt hogere returns aanzienlijk eerder in de trainingstijd vergeleken met Newt, ondanks de sterke sample efficiency van Newt. Dit benadrukt dat de winsten van world-model benaderingen vaak ten koste gaan van verhoogde computationele overhead.

5. Mechanische Analyse

Ablatie-studies onthullen waarom MR.Q slaagt:

• Representatie Geometrie: Het verwijderen van de voorspellende encoder (gebruik van ruwe staten) leidt tot een instorting van de representatie-rang (SRank) en effectieve dimensionaliteit (95%-d). MR.Q leert gestructureerde, hoog-rangige manifolds die de taakdiversiteit beter vastleggen.
• Optimalisatie Stabiliteit: MR.Q behoudt een lager aandeel "dormante neuronen" vergeleken met de encoder-vrije baseline, met name in het critic-netwerk. Dit geeft aan dat voorspellende doelstellingen representatie-instorting voorkomen en netwerkplasticiteit behouden, waardoor de critic de modelcapaciteit effectief kan benutten.

Betekenis en Claims

Het paper pleit voor een representatie-gecentreerd standpunt van deep RL schaling. De auteurs beweren dat:

1. Voorspellende doelstellingen alleen voldoende zijn om competitieve sample efficiency en generalisatie op schaal te bereiken, wat de noodzaak van expliciete planning voor multitask RL uitdaagt.
2. De kwaliteit van de representatie de centrale bottleneck is bij het schalen van RL-systemen. Betere representaties verminderen de TD-variantie, versnellen het leren en stabiliseren de training over taken heen.
3. Model-vrije benaderingen de prestaties van world-modellen kunnen evenaren als ze gestructureerd voorspellend representatie-leren integreren, wat een computationeel efficiënter en schaalbaarder alternatief biedt.

De auteurs concluderen dat hoewel model-gebaseerde methoden meerdere componenten bundelen (dynamiek, planning, waarde), de winsten die aan hen worden toegeschreven grotendeels voortkomen uit de representaties die via voorspellende doelstellingen worden geleerd. Door deze representaties te isoleren in een model-vrij framework, bereikt MR.Q sterke multitask prestaties met verminderde complexiteit en computationele kosten.

Het paper erkent beperkingen en merkt op dat de bevindingen voornamelijk betrekking hebben op continue-controle benchmarks en dat de theoretische mechanismen achter deze verbeteringen verdere principiële analyse vereisen. De resultaten suggereren echter dat toekomstige schaalbare multitask agents prioriteit moeten geven aan effectief representatie-leren naast, of potentieel boven, expliciete planning-mechanismen.