🤖 machine learning

Efficient Reinforcement Learning by Guiding World Models with Non-Curated Data

Dit artikel stelt een methode voor om de sample-efficiëntie van online reinforcement learning te verbeteren door world models te sturen met overvloedige, niet-gecureerde offline data via experience rehearsal en execution guidance, waardoor distributieve verschuivingsproblemen worden overwonnen en de baselines over diverse visuomotorische taken heen aanzienlijk worden overtroffen.

Oorspronkelijke auteurs: Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen

Gepubliceerd 2026-06-16

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yi Zhao, Aidan Scannell, Wenshuai Zhao, Yuxin Hou, Tianyu Cui, Le Chen, Dieter Büchler, Arno Solin, Juho Kannala, Joni Pajarinen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot wilt leren lopen, rennen of een kopje koffie op te pakken. Traditioneel zou je erbij moeten zitten en de robot elke keer moeten vertellen wanneer hij iets goed of fout doet. Dit is traag, duur en vereist veel menselijke inspanning om de data te labelen.

Dit artikel introduceert een nieuwe methode genaamd NCRL (Non-curated offline data for efficient Reinforcement Learning), die robots veel sneller leert door een "van afval naar schat"-aanpak te gebruiken. Zo werkt het, onderverdeeld in eenvoudige concepten:

1. Het Probleem: Het "Afval" Data-dilemma

Normaal gesproken hebere je voor het trainen van een robot een schone, georganiseerde dataset waarbij elke actie is gelabeld met een score (bijv. "Goed gedaan!" of "Slecht gedaan!"). Maar in de echte wereld hebben we bergen rommelige, ongeorganiseerde data.

Het heeft geen scores (beloningsvrij).
Het is een mix van geweldige bewegingen en verschrikkelijke fouten (gemengde kwaliteit).
Het komt van verschillende soorten robots (multi-embodiment).

Denk hierbij aan een bibliotheek vol met miljoenen boeken, maar zonder titels, samenvattingen of beoordelingen. De meeste mensen zouden deze bibliotheek negeren omdat het te moeilijk te gebruiken is. Eerdere methoden probeerden deze data wel te gebruiken, maar faalden vaak omdat ze ervan uitgingen dat de data netjes en gelabeld was.

2. De Oplossing: Eerst een "Mentale Kaart" Bouwen

In plaats van direct te proberen een specifieke taak te leren, bouwt de NCRL-methode eerst een World Model (wereldmodel).

De Analogie: Stel je een student voor die wil leren autorijden. In plaats van direct in een auto te stappen en naar de supermarkt te rijden, kijkt deze student eerst maandenlang naar alle soorten autorij-video's — sommige van racewagens, sommige van vrachtwagens, sommige van mensen die slecht rijden, en sommige van experts. De student weet nog niet de bestemming, maar leert simpelweg hoe een auto beweegt, hoe de weg eruitziet en hoe sturen werkt.
De Claim van het Papier: De auteurs trainden één enkele "hersenen" (het World Model) op deze rommelige, ongelabelde data van 6 verschillende soorten robots. Deze hersenen leerden de algemene fysica van beweging zonder dat ze hoefden te weten wat het uiteindelijke doel was.

3. De Valstrik: Waarom "Gewoon Fine-Tunen" Faalt

De onderzoekers ontdekten dat als je deze voorgetrainde hersenen neemt en direct probeert een specifieke nieuwe taak te leren (zoals "Loop naar de deur"), het vaak misgaat.

De Analogie: Het is alsof je een student die algemene autorij-video's heeft bestudeerd, direct in een racewagen zet op een circuit dat hij nog nooit heeft gezien. De student raakt in paniek omdat het specifieke circuit er anders uitziet dan de video's die hij heeft bekeken. De "mentale kaart" die hij bouwde, komt niet overeen met de realiteit van de nieuwe taak.
De Bevinding van het Papier: Ze ontdekten dat dit gebeurt vanwege een distributional shift (verdelingverschuiving). De rommelige data die gebruikt is voor de training ziet er heel anders uit dan de specifieke data die de robot tegenkomt wanneer hij begint te proberen de nieuwe taak op te lossen.

4. De Oplossing: Twee Speciale Technieken

Om deze mismatch op te lossen, voegden de auteurs twee "steunwieltjes" toe om de robot te helpen de kloof tussen het rommelige verleden en het specifieke heden te overbruggen.

Techniek A: Experience Rehearsal (De "Flashcard"-methode)

Hoe het werkt: Wanneer de robot begint met het leren van de nieuwe taak, kijkt hij niet alleen naar zijn nieuwe, kleine set ervaringen. Hij gaat terug naar zijn enorme bibliotheek met rommelige data en zoekt naar de specifieke fragmenten die lijken op de huidige situatie.
De Analogie: Stel je voor dat de robot vastloopt bij een specifieke bocht. In plaats van te gokken, roept hij een "flashcard" op uit zijn bibliotheek met oude video's die een soortgelijke bocht laten zien, zelfs als die oude video van een andere robot of een andere dag was. Hij "reheertert" deze relevante herinneringen om zichzelf eraan te herinneren hoe dingen werken, wat voorkomt dat hij vergeet wat hij eerder heeft geleerd.

Techniek B: Execution Guidance (De "Co-Pilot"-methode)

Hoe het werkt: De robot heeft een "Co-Pilot" (een beleid getraind op de rommelige data) die weet hoe hij veilig moet bewegen, ook al is het niet perfect. Tijdens de beginfase van het leren wisselt de robot af tussen het proberen van zijn eigen nieuwe ideeën en het de controle voor een paar seconden laten overnemen door de Co-Pilot.
De Analogie: Denk aan een nieuwe bestuurder met een instructeur in de passagiersstoel. De nieuwe bestuurder probeert te sturen, maar als hij begint af te wijken, neemt de instructeur het even over om de auto op de weg te houden, om vervolgens de controle weer terug te geven. Dit voorkomt dat de robot in "doodlopende wegen" terechtkomt waar hij niets kan leren, en begeleidt hem naar gebieden waar de kans op succes groter is.

5. De Resultaten: Twee Keer Zo Snel

Het papier testte dit op 72 verschillende taken, variërend van een rennende cheeta tot een robotarm die blokken stapelt.

De Claim: Met deze methode leerden de robots twee keer zo snel als robots die vanaf nul beginnen (leren zonder enige voorafgaande data).
De Vergelijking: Zelfs in vergelijking met andere methoden die probeerden offline data te gebruiken, won NCRL met een aanzienlijke marge, vooral op moeilijke taken waarbij de robot moet exploreren en zelf dingen moet uitzoeken.

Samenvatting

Het papier betoogt dat we geen perfecte, gelabelde data nodig hebben om robots te leren. We kunnen de "rommelige" data die we al hebben gebruiken (video's van bewegende robots zonder scores) als we:

Eerst een algemeen begrip van de wereld opbouwen.
Een "zoeksysteem" gebruiken om relevante oude herinneringen te vinden bij het leren van nieuwe taken (Experience Rehearsal).
Een "Co-Pilot" gebruiken om de robot te begeleiden zodat hij zich in het begin niet verloren voelt (Execution Guidance).

Dit stelt robots in staat om complexe vaardigheden met veel minder pogingen te leren, waardoor het trainen van AI veel efficiënter wordt.

Technische Samenvatting: Efficiënt Reinforcement Learning door World Models te Sturen met Niet-Gecureerde Data

Probleemstelling
Het benutten van offline data is een veelbelovende weg om de sample-efficiëntie van online Reinforcement Learning (RL) te verbeteren. Bestaande benaderingen leunen echter voornamelijk op gecureerde offline datasets die gelabeld zijn met beloningen en vaak beperkt zijn tot specifieke taken of belichamingen (embodiments). Het verwerven van dergelijke data is duur en arbeidsintensief, vooral bij robotische manipulatie waar retrospectieve beloningsannotatie vereist is. Recente werken hebben onderzocht hoe men overvloedige "niet-gecureerde" data kan gebruiken—gekenmerkt door het ontbreken van beloningen, een gemengde kwaliteit en verzameld over meerdere belichamingen heen—maar de naïeve toepassing van dergelde datasets blijkt onvoldoende. Specifiek blijkt het voorpresteren (pre-training) van een world model op dergelijke data en het vervolgens naïef fine-tunen ervan voor online RL vaak niet de training te versnellen. De auteurs identificeren de oorzaak van dit falen als een distributionele verschuiving tussen de offline data gebruikt voor pre-training en de online data die verzameld wordt tijdens de fine-tuning fase. Wanneer de offline distributie de downstream-taakdistributie niet voldoende dekt, heeft het voorgetrainde world model moeite om het beleidsleren (policy learning) te ondersteunen, wat leidt tot catastrofale vergetelheid of een verslechterde modelnauwkeurigheid.

Methodologie: NCRL
Het artikel stelt NCRL (Non-curated offline data for efficient RL) voor, een tweestaps pijplijn die ontworpen is om effectief gebruik te maken van niet-gecureerde, beloningsvrije, multi-embodiment data.

Multi-Embodiment World Model Pre-training:
In plaats van aparte modellen per taak te trainen, pre-traint NCRL één enkele, taak-agnostische world model op een grootschalige niet-gecureerde dataset. De architectuur is gebaseerd op het Recurrent State Space Model (RSSM) met specifieke aanpassingen om diverse inputs te verwerken:
- Verwijdering van taakspecifieke verliezen (losses).
- Zero-padding van acties om dimensies over verschillende belichamingen heen te verenigen.
- Opschaling naar 280 miljoen parameters.
  Het model wordt geoptimaliseerd met standaard voorspellings-, dynamica- en representatieverliezen op de ruwe offline trajecten, zonder beloningslabels.
RL-gebaseerde Fine-tuning met Rehearsal en Guidance:
Om de distributionele verschuiving aan te pakken en de voorgetrainde kennis effectief over te dragen, introduceert NCRL twee belangrijke technieken tijdens de online fine-tuning fase:
- Experience Rehearsal: In plaats van de offline data te verwerpen na de pre-training, haalt NCRL taakrelevante trajecten op uit de niet-gecureerde dataset tijdens de online training. Dit gebeurt door de neurale feature-afstand te berekenen tussen initiële observaties in de online buffer en offline trajecten met behulp van de voorgetrainde encoder. Deze opgehaalde trajecten worden afgespeeld om:
  - Catastrofale vergetelheid te voorkomen door de wereldmodellen te blijven trainen op relevante pre-training data.
  - De initiële staatdistributie ( $p_0(s)$ ) te augmenteren voor model-rollouts, wat het genereren van veelbelovende trajecten voor policy-updates mogelijk maakt.
  - Te dienen als een regularisator tegen de distributionele verschuiving.
- Execution Guidance: Om exploratie te sturen naar regio's waar het wereldmodel een hoge mate van vertrouwen heeft (en waar offline data aanwezig is), traint NCRL een prior-policy ( $\pi_{bc}$ ) via behavioral cloning op de opgehaalde offline data. Tijdens de online dataverzameling wisselt de agent probabilistisch tussen de RL-policy ( $\pi_\phi$ ) en de prior-policy ( $\pi_{bc}$ ). Deze mixed-policy aanpak stuurt de agent vroeg in de training naar hoogwaardige regio's van de state space, wat de risico's van harde exploratie vermindert.

Belangrijkste Bijdragen
Het artikel schetst vier primaire bijdragen:

C1: Het stelt een realistischere setting voor het benutten van offline data voor, waarbij gebruik wordt gemaakt van beloningsvrije, gemengde kwaliteit en multi-embodiment datasets, waarmee de beperkingen van gecureerde, met beloningen gelabelde data worden overstegen.
C2: Het toont aan dat naïeve world model fine-tuning op veel taken faalt vanwege de distributionele verschuiving tussen pre-training en fine-tuning data.
C3: Het introduceert experience rehearsal en execution guidance als specifieke technieken om deze distributionele kloof te verkleinen en exploratie te stimuleren.
C4: Het presenteert het NCRL-framework, dat niet-gecureerde data integreert in zowel de pre-training als de fine-tuning fase, en superieure prestaties demonstreert over een diverse set taken vergeleken met bestaande benaderingen.

Experimentele Resultaten
De auteurs evalueren NCRL op 72 visuomotorische controle-taken die voortvloeien uit locomotie en robotische manipulatie over 6 belichamingen (gebruikmakend van DMControl en Meta-World benchmarks). De offline dataset bestaat uit 60k trajecten (10M state-action paren) verzameld van ongesuperviseerde agenten en ruisige demonstraties.

Sample Efficiency: Onder een beperkt sample-budget van 150k online samples bereikt NCRL bijna twee keer de geaggregeerde score van learning-from-scratch baselines (DrQ-v2 en DreamerV3). Het evenaart de prestaties van deze baselines die getraind zijn met 3,3x tot 6,7x meer samples.
Vergelijking met Offline Methoden: NCRL presteert significant beter dan state-of-the-art methoden die offline data benutten, waaronder R3M (visuele pre-training), UDS-RLPD, ExPLORe en JSRL-BC. Opvallend genoeg, terwijl methoden zoals JSRL-BC moeite hebben met niet-expert trajecten, gebruikt NCRL effectief exploratieve en gemengde kwaliteit data.
Vergelijking met Model-Based Methoden: NCRL presteert beter dan andere world model pre-training benaderingen (bijv. iVideoGPT, pre-trained DreamerV3) die vertrouwen op nieuwe architecturen maar geen mechanismen missen om offline data te hergebruiken tijdens fine-tuning. Cruciaal is dat NCRL dit bereikt zonder terug te vallen op trucs zoals reward shaping of expert replay buffer initialisatie die door sommige baselines worden gebruikt.
Taakanpassing: In een continual learning setting stelt NCRL agenten in staat om zich aanzienlijk sneller aan te passen aan nieuwe taken (bijv. Ant robot taken) dan de PackNet baseline, waarbij adaptatie wordt bereikt binnen 100 trials per taak.

Betekenis en Claims
Het artikel claimt dat de primaire betekenis van NCRL ligt in het vermogen om het potentieel van overvloedige, ongecureerde data te ontsluiten voor RL. Door de distributionele verschuiving te identificeren als de bottleneck voor naïeve fine-tuning en dit aan te pakken via experience rehearsal en execution guidance, laten de auteurs zien dat world models die zijn voorgetraind op niet-gecureerde data de sample-efficiëntie substantieel kunnen verhogen. Het werk suggereert dat de rijke informatie die aanwezig is in niet-gecureerde datasets (dynamica, informatieve staten, actie-priors) niet volledig wordt benut door huidige methoden die deze data na pre-training weggooien of er niet mee in lijn worden gebracht met online doelstellingen. NCRL biedt een praktische pijplijn om deze kloof te overbruggen, waardoor efficiënte RL mogelijk wordt over een breder scala aan taken en belichamingen zonder de prohibitieve kosten van beloningsannotatie.