🤖 machine learning

Rethinking the Suitability of Reinforcement Learning Algorithms Under Practical Transfer Constraints

Dit artikel betoogt dat het evalueren van reinforcement learning-algoritmen voor transfertaken vereist dat men verder kijkt dan alleen steekproefefficiëntie om ook praktische wandklok-trainingstijd en robuustheid onder domeinrandomisatie te betrekken, waarbij wordt aangetoond dat de steekproef-inefficiënte PPO de meer steekproef-efficiënte algoritmen zoals SAC en TD-MPC2 kan overtreffen in snelheid, terwijl alle drie de paradigma's vergelijkbaar profiteren van domeinrandomisatie.

Oorspronkelijke auteurs: Hany Hamed, Abhishek Naik, Colin Bellinger, A. Rupam Mahmood

Gepubliceerd 2026-07-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hany Hamed, Abhishek Naik, Colin Bellinger, A. Rupam Mahmood

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin robots leren lopen, dansen of ballen vangen, niet door geprogrammeerd te worden met rigide regels, maar door een spel van vallen en opstaan te spelen, net zoals een peuter die leert lopen. Dit vakgebied wordt Reinforcement Learning (RL) genoemd. In deze digitale speeltuin probeert een AI-agent verschillende bewegingen uit, krijgt punten voor goed presteren en verliest punten als hij valt. Na verloop van tijd ontdekt het de beste manier om te bewegen. Maar hier zit de crux: het grootste deel van dit leren vindt plaats in een perfecte, neppe computere wereld (een simulator). Het werkelijke doel is om die geleerde vaardigheid te nemen en te gebruiken in de rommelige, onvoorspelbare echte wereld. Dit wordt "transfer" genoemd.

Om deze transfer te laten werken, meten wetenschappers meestal hoe "sample efficient" een algoritme is. Denk hierbij aan het tellen van hoe vaak een student een pagina moet omslaan in een tekstboek om een concept te leren. Als Algoritme A 1.000 pagina-omslagen nodig heeft en Algoritme B heeft er 10.000 nodig, zeggen we meestal dat Algoritme A de winnaar is. Maar dit artikel stelt een andere, zeer praktische vraag: wat als de student een tikkende klok heeft? Wat als de werkelijke beperking niet het aantal pagina's is dat ze kunnen omslaan, maar hoe snel ze ze kunnen lezen? In de moderne computerwereld kunnen we duizenden simulaties tegelijkertijd draaien, alsof we duizend studenten tegelijkertijd hetzelfde boek laten lezen. Dit betekent dat een algoritme dat meer "omslagen" nodig heeft, misschien toch sneller het boek uit is als het een groter team heeft. Dit artikel onderzoekt of onze gebruikelijke manier om deze leeralgoritmen te rangschikken, niet een groter beeld mist van wat er in de echte wereld daadwerkelijk werkt.

De onderzoekers, een team van universiteiten en onderzoeksinstituten, besloten de drie populaire leeralgoritmen op de proef te stellen: PPO (een methode die bekend staat om zijn stabiliteit en goed in staat is om veel computers tegelijk te gebruiken), SAC (een methode die beroemd is omdat het minder oefenpogingen nodig heeft) en TD-MPC2 (een slimme methode die probeert de toekomst te voorspellen om sneller te leren). Ze wilden zien of de "winnaar" veranderde afhankelijk van hoe ze werden gemeten.

Eerst keken ze naar de "wall-clock time" (werkelijke tijd) versus het "aantal pogingen". In hun simulaties zetten ze een race op. Wanneer ze alleen het aantal oefenpogingen (interacties) telden, waren SAC en TD-MPC2 de duidelijke kampioenen; zij leerden de taken met minder pogingen dan PPO. Het was alsof je een student zag die het boek in de helft van de tijd uit zijn hoofd leerde. Echter, toen ze de stopwatch omdraaiden om de werkelijke tijd te meten, draaide het verhaal om. Omdat PPO was ingesteld om op 2.048 parallelle omgevingen te draaien (stel je 2.048 studenten voor die op exact hetzelfde moment hetzelfde boek lezen), verzamelde het zijn enorme hoeveelheid oefendata zo snel dat het een werkende robotpolicy veel sneller produceerde in realtime dan de andere twee. Het artikel suggereert dat als je een robotingenieur bent met een deadline, de "tragere" leerling (PPO) je misschien sneller bij de finishlijn brengt omdat het beter schaalt met krachtige computers.

Vervolgens pakte het team het probleem van "domain randomization" aan. Dit is een techniek waarbij je de robot traint in een simulator die elke keer een klein beetje verandert – misschien is de vloer de ene keer glad, of de benen van de robot de volgende keer zwaarder. Het doel is om de robot robuust genoeg te maken om de echte wereld te kunnen hanteren, waar de dingen nooit perfect zijn. Er bestond een algemeen geloof dat sommige leerstijlen (zoals de complexe, voorspellende TD-MPC2) verward zouden raken of zouden falen wanneer de trainingsomgeving zo chaotisch is, terwijl anderen (zoals PPO) ervan werden gedacht de enigen te zijn die dit zouden kunnen aan.

De onderzoekers testten dit door alle drie de algoritmen te trainen met vijf verschillende niveaus van chaos, van "smal" (kleine veranderingen) tot "extensief" (wild uiteenlopende fysica). Ze ontdekten dat het idee dat één algoritme inherent beter is in het omgaan met chaos een mythe is. In hun simulaties profiteerden PPO, SAC en TD-MPC2 allemaal van domain randomization, maar de resultaten waren een gemengd geheel. Soms hielp een beetje chaos SAC het meest; andere keren hielp veel chaos TD-MPC2 het meest. Er was geen enkel "beste" algoritme voor alle situaties. Het artikel concludeert dat het succes van het gebruik van willekeurige training sterk afhangt van de specifieke taak, het specifieke algoritme en hoeveel chaos je introduceert. Het gaat niet om het kiezen van de "sterkste" robot; het gaat om het afstemmen van de trainingsomgeving op de specifieke klus.

Uiteindelijk betoogt het artikel dat we moeten stoppen met het kijken naar sample efficiency als de enige scorekaart. Alleen omdat een algoritme leert met minder interacties, betekent niet dat het de beste keuze is voor een echt project. Als je een tijdslimiet hebt en toegang hebt tot krachtige computers, kan een "minder efficiënt" algoritme de praktische winnaar zijn. En wanneer het gaat om het robuust maken van robots tegen verrassingen in de echte wereld, is er geen oplossing die voor iedereen werkt; de beste aanpak hangt af van de specifieke puzzel die je probeert op te lossen. De auteurs suggereren dat toekomstige ingenieurs de tijd die het kost om een robot te trainen net zo zwaar moeten meewegen als het aantal keren dat hij moet oefenen.

Technische Samenvatting: Het heroverwegen van de geschiktheid van Reinforcement Learning-algoritmen onder praktische transferbeperkingen

Probleemstelling

Transfer-georiënteerde reinforcement learning (RL) toepassingen, met name in sim-to-real of sim-to-sim pipelines, vereisen een evaluatie van algoritmen langs dimensies die verder gaan dan standaard steekproefefficiëntie (sample efficiency). Conventionele evaluatieprotocollen geven prioriteit aan het aantal interacties tussen de agent en de omgeving die nodig zijn om een bepaald prestatieniveau te bereiken. Echter, in praktische transfer-workflows zijn interacties met de omgeving vaak goedkoop en schaalbaar via parallel simulatie, terwijl werkelijke tijd (wall-clock time) een primaire operationele beperking blijft.

Bovendien hangt de geschiktheid van een algoritme voor transfer af van de robuustheid onder dynamische mismatch. Hoewel domeinrandomisatie (DR) een standaardtechniek is om robuustheid te verbeteren door het beleid (policy) bloot te stellen aan variabiliteit in fysieke parameters (bijv. massa, wrijving, demping) tijdens de training, blijft het onduidelijk of verschillende RL-paradigma's (on-policy, off-policy en model-based) verschillend reageren op toenemende variabiliteit in de trainingsdistributie. Dit artikel adresseert twee kernvragen:

Veranderen conclusies over de geschiktheid van algoritmen wanneer de training wordt geëvalueerd onder budgetten van werkelijke tijd in plaats van budgetten van interacties?
Reageren verschillende leerparadigma's verschillend op toenemende variabiliteit in de trainingsdistributie veroorzaakt door domeinrandomisatie?

Methodologie

De auteurs voerden een systematische, gecontroleerde vergelijking uit van drie verschillende RL-algoritmen over 18 continu-controle taken uit de DeepMind Control Suite (geïmplementeerd via MuJoCo XLA). De algoritmen vertegenwoordigen drie belangrijke paradigma's:

PPO (Proximal Policy Optimization): Een on-policy methode, geconfigureerd met massaal parallelle omgevingen (2.048) om de moderne schaalbaarheid van simulatie te benutten.
SAC (Soft Actor-Critic): Een off-policy, entropie-geregulariseerde actor-critic methode, getraind met standaard single-environment configuraties (CleanRL implementatie).
TD-MPC2: Een model-based methode die geleerde dynamica combineert met online planning, getraind met standaard configuraties (officiële codebase).

Evaluatieassen

De studie evalueert deze algoritmen langs twee complementaire assen:

Praktische Efficiëntie (Werkelijke Tijd): Prestaties worden gemeten tegen de werkelijke tijd die nodig is om te trainen, wat de operationele beperkingen weerspiegelt waar iteratiesnelheid en inzetbaarheid cruciaal zijn.
Interactie-gebaseerde Efficiëntie: Prestaties worden gemeten tegen het aantal interacties met de omgeving, wat conventionele steekproefefficiëntie-benchmarks weerspiegelt.

Transfer en Domeinrandomisatie Setup

Transfer wordt gemodelleerd als generalisatie over context-distributies binnen een Contextual Markov Decision Process (CMDP). De studie onderzoekt zero-shot sim-to-sim transfer onder dynamische mismatch.

Trainingsdistributies: De auteurs varieerden de breedte van de trainingsdistributie ( $p_{train}$ ) met vijf niveaus van domeinrandomisatie: Nominaal (geen randomisatie), Smal, Gemiddeld, Breed, en Extreem. Randomisatie werd multiplicatief toegepast op fysieke parameters zoals massa, demping, actuatorsterkte, wrijving en verbindingslengte.
Evaluatieregimes: Er werden twee vaste evaluatieregimes gebruikt om generalisatie te testen:
- Nominaal-gecentreerd: Contexten die dicht bij de nominale dynamica liggen (in-support voor alle trainingsregimes).
- Verschoven (Shifted): Contexten met gestructureerde afwijkingen van nominale parameters (variërend van out-of-support tot in-support, afhankelijk van de dekking van de training).

Belangrijkste Resultaten

1. Werkelijke Tijd vs. Interactie-gebaseerde Efficiëntie

De studie onthult een significante divergentie tussen de rangschikking op basis van interacties en de rangschikking op basis van werkelijke tijd:

Interactie-gebaseerd: Consistent met conventionele benchmarks, vertonen SAC en TD-MPC2 over het algemeen een hogere steekproefefficiëntie, waarbij ze een sterke prestatie bereiken met minder interacties met de omgeving dan PPO.
Werkelijke Tijd: Onder een evaluatie op basis van tijd bereikt PPO vaak sneller een concurrerende of superieure prestatie dan SAC en TD-MPC2. Dit wordt toegeschreven aan het vermogen van PPO om massaal parallelle simulatie (2.048 omgevingen) te exploiteren, waardoor het de benodigde interacties binnen een kortere werkelijke duur kan accumuleren, ondanks de lagere steekproefefficiëntie per interactie.
Implicatie: De rangschikking van algoritmen verandert op basis van de evaluatiemetriek. Een algoritme dat als "steekproef-inefficiënt" wordt beschouwd (PPO), kan in parallel geconfigureerde settings "tijd-efficiënt" zijn.

2. Impact van Domeinrandomisatie op Robuustheid

De analyse van de effecten van domeinrandomisatie op de drie algoritmen levert verschillende genuanceerde bevindingen op:

Geen Algoritme-specifiek Voordeel: Er is geen consistent bewijs dat een enkel paradigma (on-policy, off-policy of model-based) systematisch meer of minder compatibel is met domeinrandomisatie. PPO, SAC en TD-MPC2 profiteren allemaal van DR, maar de omvang en richting van het effect hangen af van de specifieke taak, het niveau van dekking en het evaluatieregime.
Niet-monotone Winsten: Het vergroten van de breedte van de domeinrandomisatie garandeert geen verbeterde transferprestaties.
- Onder Nominaal-gecentreerde evaluatie presteert Smal (Narrow) randomisatie vaak beter dan Extreem (Extensive) randomisatie.
- Onder Verschoven (Shifted) evaluatie presteren bredere distributies (Breed/Extreem) niet consistent beter dan smallere distributies, zelfs wanneer de evaluatiecontexten binnen de ondersteuning van de training vallen.
Trade-offs: Bredere randomisatie vergroot de blootstelling aan diverse dynamica, maar verhoogt ook de moeilijkheidsgraad van het leerprobleem en vermindert de concentratie van ervaring in specifieke regio's, wat een afweging creëert tussen distributieve dekking en effectief leren.

Betekenis en Claims

Het artikel betoogt dat steekproefefficiëntie alleen een onvoldoende criterium is voor het beoordelen van RL-algoritmen in transfer-georiënteerde toepassingen. De auteurs claimen twee primaire inzichten voor praktijkgebruikers:

Heroverweging van Efficiëntie: Praktische beperkingen, specif gezien de werkelijke tijd, moeten een primaire overweging zijn. De algemene kennis dat PPO "steekproef-inefficiënt" is, sluit niet uit dat het de meest praktische keuze kan zijn in pipelines waar massale parallelisatie beschikbaar is. De "tijd-tot-prestatie" metriek kan de standaard algoritmische rangschikkingen afgeleid van interactie-gebaseerde benchmarks inverteren.
Context-afhankelijke Robuustheid: De effectiviteit van domeinrandomisatie is geen inherente eigenschap van een specifieke algoritmische familie (bijv. on-policy vs. off-policy). In plaats daarvan wordt robuustheid beheerst door de interactie tussen de taak, het algoritme, de specifieke dekking van de trainingsdistributie en de aard van de mismatch bij de inzet (deployment). Daarom moeten praktijkgebruikers er niet vanuit gaan dat één paradigma universeel superieur is voor DR; in plaats daarvan moeten zij de combinatie van algoritme en randomisatie-dekking empirisch evalueren voor hun specifieke transfer-beperkingen.

De studie concludeert dat de geschiktheid van een algoritme voor transfer een multidimensionaal probleem is dat vereist dat er wordt geëvalueerd op zowel praktische efficiëntie (tijd) als robuustheid (dynamische mismatch), in plaats van enkel te vertrouren op interactie-gebaseerde steekproefefficiëntie.