🤖 machine learning

SEAR: Sample Efficient Action Chunking Reinforcement Learning

Het artikel introduceert SEAR, een efficiënt sample-efficiënt off-policy reinforcement learning-algoritme dat een causale transformer-critic met multi-horizon targets en een receding horizon replanning-strategie benut om effectief online leren met actiechunks mogelijk te maken, waarmee het state-of-the-art methoden op uitdagende manipulatietaken overtreft.

Oorspronkelijke auteurs: C. F. Maximilian Nagy, Onur Celik, Emiliyan Gospodinov, Florian Seligmann, Weiran Liao, Aryan Kaushik, Gerhard Neumann

Gepubliceerd 2026-08-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: C. F. Maximilian Nagy, Onur Celik, Emiliyan Gospodinov, Florian Seligmann, Weiran Liao, Aryan Kaushik, Gerhard Neumann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert een complex computerspel te spelen, zoals een doolhof waarin hij sleutels moet oppakken, deuren moet openen en puzzels moet oplossen. In de wereld van kunstmatige intelligentie wordt dit Reinforcement Learning genoemd. Denk aan het trainen van een hond: je geeft het een traktatie (een beloning) wanneer het iets goed doet, en het leert dat gedrag te herhalen. Maar hier komt het lastige deel bij: als het spel erg lang is, kan de hond vergeten dat de traktatie aan het einde kwam door de allereerste actie die hij uitvoerde. Hij moet de verbanden leggen tussen het begin en het einde.

Om de robot sneller te laten leren, gebruiken wetenschappers een truc genaamd Action Chunking. In plaats van tegen de robot te zeggen: "Beweeg je arm naar links," dan "Beweeg je arm omhoog," en dan "Pak de beker," één kleine stap tegelijk, zeggen ze: "Hier is een hele reeks: Beweeg links, omhoog, en pak." Het is alsof je een pianist een hele maat muziek tegelijk leert, in plaats van één noot per keer. Dit helpt de robot om het grotere plaatje te zien en beter te plannen. Er is echter een addertje onder het gras. Als je de robot alleen maar een hele reeks muziek laat spelen zonder hem tussendoor te laten luisteren, kan hij de draad kwijtraken als hij een verkeerde noot raakt. Hij moet in staat zijn om te stoppen, te luisteren en zijn plan constant aan te passen. Dit artikel behandelt het probleem van hoe je robots deze grote "chunks" van acties kunt leren zonder dat ze te traag of onhandig worden om te reageren wanneer er iets misgaat.

Maak kennis met SEAR (Sample Efficient Action Chunking Reinforcement Learning), een nieuwe methode ontworpen om robots te leren vooruit te plannen zonder hun kalmte te verliezen. De onderzoekers ontdekten dat hoewel het aansturen van een robot om een hele reeks bewegingen tegelijk uit te voeren (een "chunk") geweldig is voor het leerproces, het op de ouderwetse manier doen vaak tot een ramp leidt. Als je de robot simpelweg een lijst van 10 bewegingen geeft en zegt "gaan", en hij maakt een fout bij beweging 3, dan gaat hij blindelings door tot de lijst af is. Tegen de tijd dat hij beseft dat hij van het pad af is, is het te laat.

De auteurs ontdekten dat de belangrijkste reden waarom eerdere methoden faalden, was dat ze de robot niet genoeg "oefening" gaven op de kleine stukjes van het plan. Stel je voor dat je een dansroutine probeert te leren door slechts één keer per dag de volledige 2 minuten durende song te oefenen. Je zou de individuele stappen nooit goed krijgen. SEAR lost dit op door een speciaal soort leraar te gebruiken, een Causal Transformer Critic. In plaats van de robot alleen te beoordelen op het eindresultaat van de hele dans, beoordeelt deze leraar de robot op elke afzonderlijke stap van de reeks terwijl deze plaatsvindt. Het is als een dansinstructeur die de muziek na elke beweging stopt om te zeggen: "Goede voetbeweging!" of "Let op je elleboog!" Dit geeft de robot een enorme hoeveelheid feedback bij elke poging, waardoor hij veel sneller en efficiënter leert.

Maar het leren van de grote chunks is slechts de helft van de strijd. De robot moet ook snel kunnen reageren. Om dit op te lossen, gebruikt SEAR een slimme strategie genaamd Random Replanning. In plaats van de robot te dwingen de hele lijst met bewegingen uit te voeren die hij heeft gepland, vertelt SEAR hem om slechts een willekeurig deel van de lijst uit te voeren—misschien alleen de eerste drie bewegingen—voordat hij stopt en vraagt: "Oké, wat is nu het plan?" gebaseerd op waar hij zich daadwerkelijk bevindt. Dit is als een GPS die niet alleen een route voor de hele reis geeft en zegt "rij maar", maar ook elke paar blokken de route herberekenen om files te vermijden. Dit houdt de "state-action coverage" van de robot hoog, wat betekent dat hij leert om met allerlei situaties om te gaan, niet alleen met de situaties waar hij perfect voor heeft gepland.

De resultaten zijn indrukwekkend. Bij het testen op de Metaworld benchmark, een verzameling van 20 zeer moeilijke robotmanipulatietaken (zoals het oppakken van objecten of het indrukken van knoppen), behaalde SEAR een succespercentage van meer dan 80%. Dit is een enorme sprong vergeleken met eerdere methoden, die slechts rond de 60% haalden. Nog interessanter is dat de onderzoekers ontdekten dat SEAR deze grote chunks kan gebruiken tijdens de training, maar vervolgens kan overschakelen naar beslissingen met één enkele stap tijdens de eigenlijke test, waardoor het effectief een supersnelle, single-step leerder wordt die getraind is door in grote chunks te denken.

Het onderzoek heeft SEAR ook getest in een "offline-to-online" setting, waarbij de robot eerst leert van een enorme dataset van eerdere video's (offline) en vervolgens probeert te verbeteren door de taak daadwerkelijk uit te voeren (online). Door SEAR's technieken toe te passen op een bestaande methode genaamd QC, zagen de onderzoekers een aanzienlijke prestatieverbetering op de OGBench cube-triple taken, wat bewijst dat deze ideeën werken zelfs wanneer de robot een voorsprong heeft door eerdere data.

De auteurs merken echter voorzichtig op dat dit geen wondermiddel is voor elke robot. Ze wijzen erop dat SEAR het beste werkt voor taken die enige tijd in beslag nemen en geen razendsnelle reacties vereisen, zoals het assembleren van meubels of het verplaatsen van objecten. Het zou niet goed werken voor zaken die directe reflexen vereisen, zoals een robot hond die door een bos rent, omdat de "chunking"-aanpak de kwaliteit van de data kan doen dalen als de robot te snel moet reageren. Maar voor de trage, doelgerichte en complexe taken van robotmanipulatie, suggereert SEAR een krachtige nieuwe manier om machines te leren vooruit te denken, sneller te leren en alert te blijven.

Technische Samenvatting: SEAR (Sample Efficient Action Chunking Reinforcement Learning)

Probleemstelling

Action chunking, een techniek waarbij een beleid (policy) een sequentie van toekomstige acties voorspelt in plaats van een enkele stap, heeft opmerkelijk succes getoond in imitation learning en offline reinforcement learning (RL). In RL faciliteert het snellere waarde-propagatie en gestructureerde exploratie, wat bijzonder gunstig is voor taken met een lange horizon en schaarse beloningen. Echter, het toepassen van action chunking op standaard off-policy online RL-algoritmen zonder specifieke ontwerpoverwegingen leidt tot een slechte sample-efficiëntie en prestatievermindering.

Het artikel identificeert twee primaire faalmodi bij het uitbreiden van action chunking naar online RL:

Critic-benaderingsfouten: De vergrote actieruimte (een sequentie van $N$ acties) maakt Q-functie benadering moeilijk. Bestaande methoden trainen de critic vaak om een enkele Q-waarde te voorspellen voor de volledige chunk. Dit resulteert in een mismatch waarbij de dimensie van de actieruimte toeneemt met de chunkgrootte $N$ , terwijl het aantal trainingsdoelen (targets) constant blijft, wat leidt tot slechte actor-updates.
Verminderde State-Action Coverage: Het uitvoeren van actie-chunks op een open-loop manier vermindert de beslissingsfrequentie van het beleid. Als een beleid $N$ acties voorspelt maar de omgeving slechts elke $N$ stappen bevraagt, wordt de actor zelden geëvalueerd op tussenliggende staten. Dit creëert "gaten" in de state coverage, vooral in omgevingen met smalle initiële staatverdelingen. Wanneer een dergelijk beleid wordt ingezet met een receding horizon (het uitvoeren van slechts een prefix van de chunk), komt het out-of-distribution staten tegen, wat leidt tot prestatiedaling en de voordelen van chunking tenietdoet.

Methodologie: SEAR

De auteurs introduceren SEAR (Sample Efficient Action Chunking Reinforcement Learning), een off-policy algoritme dat is ontworpen om deze beperkingen te overwinnen binnen het Maximum Entropy RL (MaxEnt-RL) framework. SEAR integreert drie kerncomponenten:

1. Multi-Horizon Q-Function Targets

Om het probleem van de critic-benadering aan te pakken, gebruikt SEAR een multi-horizon target strategie. In plaats van de critic te trainen op een enkele target voor de volledige $N$ -staps return, genereert het targets voor elke prefix van de actie-chunk ( $k=1$ tot $N$ ).

Mechanisme: Voor een actie-chunk $a_{t:t+N}$ wordt de critic getraind om Q-waarden $Q^{(k)}(s_t, a_{t:t+k})$ te voorspellen voor alle prefixes.
Voordeel: Dit vergroot effectief het aantal trainingsdoelen per sample, waardoor de ratio tussen de dimensie van de actieruimte en de trainingsdoelen onafhankelijk wordt van de chunkgrootte $N$ . Dit zorgt voor een dichter trainingssignaal, wat het leren stabiliseert, zelfs voor grote chunkgroottes.

2. Causal Transformer Critic

Om de temporele afhankelijkheden die inherent zijn aan actiesequenties en de multi-horizon targets te verwerken, gebruikt SEAR een causale transformer als de critic-backbone.

Architectuur: De transformer verwerkt de staat en de actiesequentie en voorspelt gelijktijdig Q-waarden voor alle prefixes.
Rechtvaardiging: De causale structuur zorgt ervoor dat de $k$ -staps target $G^{(k)}$ alleen afhankelijk is van de eerste $k$ acties, wat perfect aansluit bij de multi-horizon trainingsdoelstelling. Deze architectuur presteert beter dan standaard MLP-critics in deze setting.

3. Random Replanning voor State Coverage

Om de state-action coverage te herstellen en effectieve receding horizon control mogelijk te maken, introduceert SEAR random replanning tijdens de dataverzameling.

Mechanisme: In plaats van een vaste prefixlengte $k$ of de volledige chunk uit te voeren, voert de agent een willekeurige prefix uit van lengte $k \sim \text{Uniform}(1, N)$ voordat er opnieuw wordt gepland (re-planning).
Voordeel: Dit doorbreekt het rigide patroon waarbij de actor alleen elke $N$ stappen wordt bevraagd. Het zorgt ervoor dat de actor op diverse tussenliggende staten wordt bevraagd, wat een uniforme distributie van de state coverage creëert. Dit stelt het beleid in staat om robuust geëvalueerd te worden met kortere receding horizons tijdens de testfase zonder te lijden onder distributieverschuiving.

Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen:

SEAR Algoritme: Een off-policy RL-methode voor action chunking, geworteld in het MaxEnt-RL framework, specifiek ontworpen voor online settings.
Multi-Horizon Targets & Causal Critic: De integratie van een causale transformer critic met multi-horizon N-staps returns, wat de sample-efficiëntie aanzienlijk verbetert door per-actie trainingsdoelen binnen een chunk te bieden.
Random Replanning: Een nieuwe dataverzamelingstrategie die willekeurige prefixes van actie-chunks uitvoert om de state-action coverage te herstellen, wat het effectieve gebruik van receding horizon control mogelijk maakt.
Empirische Validatie: Uitgebreide experimenten die aantonen dat SEAR consequent beter presteert dan state-of-the-art online en offline-to-online RL-methoden.

Experimentele Resultaten

De auteurs evalueerden SEAR op twee benchmarks: de Metaworld online RL-benchmark en de OGBench offline-to-online benchmark.

Metaworld (Online RL):
- SEAR werd getest op de 20 moeilijkste omgevingen in Metaworld.
- Het behaalde een Interquartile Mean (IQM) succesratio van meer dan 80%, waarmee het SimbaV2 (een state-of-the-art niet-gechunkte methode) en CQN-AS (een state-of-the-art gechunkte methode) aanzienlijk versloeg, die beide rond de 60% plateauerden.
- Een uitbreiding van SimbaV2 met action chunking behaalde slechts ~20% succes, wat de moeilijkheid benadrukt van het overdragen van offline chunking-technieken naar online settings zonder de specifieke ontwerpkeuzes van SEAR.
- Ablatie-studies bevestigden dat het verwijderen van multi-horizon targets of random replanning de prestaties deed dalen naar het baseliniveau (~20%).
OGBench (Offline-to-Online RL):
- Het toepassen van de componenten van SEAR (multi-horizon targets en random replanning) op het QC-framework verbeterde de prestaties op de veeleisende cube-triple taken vergeleken met standaard QC en QC-FQL.
- De verbeteringen waren het meest uitgesproken in de vroege fase van de online training.
Receding Horizon Analyse:
- SEAR-beleidsregels getraind met grote chunks (bijv. $N=10$ of $20$), maar ingezet met een korte receding horizon (bijv. 3–5 stappen), behaalden de beste prestaties.
- Opvallend genoeg presteerde SEAR getraind met chunking en ingezet met een receding horizon van 1 (effectief een single-step beleid) beter dan zowel de niet-gechunkte SEAR-1 als SimbaV2, wat suggereert dat chunking kan worden gebruikt als een puur trainingsmechanisme om betere single-step beleidsregels te leren.

Betekenis en Claims

Het artikel positioneert SEAR als een oplossing voor de specifieke uitdagingen van het toepassen van action chunking in online reinforcement learning. De auteurs stellen dat eerdere methoden faalden in online settings omdat ze de dubbele uitdagingen van critic-benadering in hoog-dimensionale actieruimtes en het gebrek aan state coverage door open-loop executie niet aanpakten.

De betekenis van SEAR ligt in het vermogen om:

Training en Evaluatie te Ontkoppelen: Het staat het gebruik van grote actie-chunks toe tijdens de training om waarde-propagatie en gestructureerde exploratie te versnellen, terwijl een hoge reactiviteit behouden blijft tijdens de evaluatie via receding horizon control.
Online Chunking Mogelijk te Maken: Het demonstreert dat action chunking levensvatbaar is in puur online settings zonder voorafgaande offline data, mits de critic wordt getraind met multi-horizon targets en de state coverage van de actor wordt behouden via random replanning.
Algemene Toepasbaarheid: De kernideeën (multi-horizon targets en random replanning) blijken effectief te worden overgedragen op offline-to-online settings, wat suggereert dat dit fundamentele verbeteringen zijn voor action chunking-methoden in bredere zin.

De auteurs blijven bescheiden over de beperkingen en merken op dat action chunking het best geschikt is voor taken met een lange horizon (zoals robotica-manipulatie) en mogelijk niet geschikt is voor domeinen met een hoge reactiviteit (zoals lokomotie) waar de degradatie van de datakwaliteit door open-loop executie te ernstig is. Ze erkennen ook de verhoogde computationele kosten van de transformer-critic in vergelijking met single-step methoden.