🤖 machine learning

From Pretraining to Proficiency: Real-World Subtask RL for Long-Horizon Manipulation with Minimal Human Intervention

Het artikel introduceert PARTS, een real-world reinforcement learning-framework dat voorgetrainde robotbeleid verfijnt door menselijke interventie uitsluitend te richten op kritieke subtaak-bottlenecks, waardoor de succespercentages bij langdurige manipulatie aanzienlijk worden verbeterd met minimale menselijke inspanning vergeleken met bestaande methoden.

Oorspronkelijke auteurs: Sichang Su, Benjamin Yang, Zhiyun Deng, Boyuan Liang, Yip Fun Yeung, Zelin Wang, Lingfeng Sun

Gepubliceerd 2026-09-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sichang Su, Benjamin Yang, Zhiyun Deng, Boyuan Liang, Yip Fun Yeung, Zelin Wang, Lingfeng Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Robots worstelen al lang met taken die een reeks nauwkeurige stappen vereisen, zoals het openen van een doos, het oppakken van een object en het erin plaatsen. Jarenlang probeerden ingenieurs robots te onderwijzen door ze duizenden voorbeelden te laten zien van hoe een hele taak wordt uitgevoerd, in de hoop dat de machine de hele routine in één keer zou leren. Recentelijk is er een nieuwe generatie robot-"hersenen" opgekomen. Deze zijn getraind op enorme collecties video's en gegevens, waardoor ze taal kunnen begrijpen en veel verschillende acties kunnen uitvoeren zonder specifieke training voor elk onderdeel. Ze zijn verrassend goed in de basis: ze kunnen een kopje oppakken, het over een tafel verplaatsen of een deur openen. Echter, wanneer ze worden geconfronteerd met een lange, ingewikkelde taak die een hoge precisie vereist, struikelen deze algemene robots vaak over een paar specifieke, moeilijke momenten. Ze kunnen bijvoorbeeld succesvol een object pakken, maar het op de verkeerde manier vasthouden, waardoor de volgende stap mislukt. De uitdaging voor wetenschappers is hoe ze deze specifieke zwakke punten kunnen oplossen zonder tijd te verspillen aan het opnieuw aanleren van alles wat de robot al goed kan doen.

Een team van onderzoekers heeft een nieuwe methode ontwikkeld genaamd PARTS om dit probleem op te lossen. In plaats van te proberen de robot de hele taak van begin tot eind opnieuw te trainen, richt hun aanpak zich uitsluitend op de momenten waarop de robot faalt. Stel je een robot voor die een oplaadcase kan openen en stabiel kan vasthouden, maar herhaaldelijk faalt in het glijden van een oordopje in de kleine opening. De onderzoekers identificeerden dit specifieke foutpunt als een "bottleneck" (flessenhals). In plaats van de robot de hele routine telkens opnieuw te laten oefenen, bevroren ze de algemene kennis van de robot en trainden ze een kleine, gespecialiseerde toevoeging alleen voor die ene moeilijke stap. Deze toevoeging leert om minuscule, precieze correcties aan te brengen in de bewegingen van de robot precies wanneer dat nodig is. Het systeem gebruikt een computerprogramma om de robot te observeren, te beslissen wanneer hij een moeilijke fase ingaat, en de gespecialiseerde helper in te schakelen. Zodra de moeilijke stap voltooid is, keert de controle terug naar de oorspronkelijke, betrouwbare hersenen van de robot. Deze cyclus stelt de robot in staat om het moeilijke deel herhaaldelijk te oefenen zonder dat er een mens nodig is om de scène te resetten of zijn fouten te corrigeren.

De onderzoekers testten deze methode op echte robots die complexe taken uitvoerden, zoals het in een kistje plaatsen van oordopjes, het sorteren van kleine LEGO-steentjes en het inpluggen van een kabel in een router. In één experiment met een twee-armige robot kon de originele versie de volledige taak van het oordopje slechts ongeveer 32% van de tijd voltooien. Na het gebruik van hun gerichte trainingsmethode sprong het succespercentage naar 61%. In een andere test met een een-armige robot die een kabel inplugde, schoot het succespercentage omhoog van 50% naar 95%. Deze verbeteringen werden bereikt in slechts tientallen minuten aan praktijkervaring in de echte wereld per taak. Het team vergeleek hun methode met andere manieren van het trainen van robots, waarbij de hele taak vanaf het begin wordt geoefend. Die andere methoden vereisten evenveel robot-tijd, maar resulteerden in veel lagere succespercentages, waarbij ze vaak er zelfs niet in slaagden de prestaties van de robot te verbeteren. De onderzoekers ontdekten dat door de training te concentreren op de specifieke stappen waar de robot moeite mee had, ze met minder inspanning en minder menselijk toezicht veel betere resultaten konden behalen.

De sleutel tot dit succes ligt in de manier waarop het systeem met falen omgaat. Bij traditionele training krijgt een robot, als hij faalt bij de allerlaatste stap van een lange taak, geen erkenning voor de vele stappen die hij wel goed heeft uitgevoerd, wat het leren moeilijk maakt. Het nieuwe systeem breekt de taak af en beloont de robot onmiddellijk nadat hij net die moeilijke substap succesvol heeft voltooid. Als de robot erin slaagt het oordopje in te plaatsen, krijgt hij direct een positief signaal, zelfs als de case nog niet perfect gesloten is. Deze frequente feedback helpt de robot sneller te leren. Bovendien bevat het systeem een slimme manier om de praktijkgegevens te organiseren. Wanneer de robot eindelijk een moeilijke stap succesvol voltooit, wordt die succesvolle poging opgeslagen en gebruikt om de gespecialiseerde helper grondiger te hertrainen, om ervoor te zorgen dat hij niet vergeet wat wel werkte. Dit proces gebeurt automatisch, waarbij de robot zichzelf reset of om een menselijke reset vraagt wanneer dat absoluut noodzakelijk is, zoals wanneer een object op de grond valt.

De studie toont aan dat robots niet vanaf nul getraind hoeven te worden om beter te worden in complexe taken. Door de enkele specifieke momenten te identificeren waarop ze moeite hebben en gerichte, doelgerichte oefening toe te passen op die momenten, kunnen ingenieurs het vermogen van een robot om lange, moeilijke taken te voltooien aanzienlijk verbeteren. Deze aanpak respecteert de bestaande capaciteiten van de robot, waarbij de onderdelen die goed werken exact zo blijven als ze zijn, terwijl de zwakke schakels worden versterkt. De resultaten suggereren een praktisch pad vooruit voor het inzetten van robots in echte omgevingen, waar taken vaak lang zijn en een mix vereisen van algemene vaardigheid en precieze uitvoering. De onderzoekers concluderen dat deze methode van het concentreren van inspanning op bottlenecks ervoor zorgt dat robots efficiënter leren, minder menselijke tussenkomst vereisen en een hogere betrouwbaarheid bereiken dan eerdere methoden.

Technisch Overzicht: PARTS (Policy Adaptation with RL on Targeted Subtasks)

Probleemstelling

Pre-trained robot fundamentele beleid (policies), met name Vision-Language-Action (VLA) modellen, vertonen vaak sterke zero-shot capaciteiten over diverse manipulatietaken heen. Echter, wanneer deze worden toegepast op taken met een lange horizon (long-horizon tasks), falen deze beleid vaak bij specifieke "bottleneck" subtaken (bijv. precisie-insertie of het hanteren van out-of-distribution objecten), terwijl ze de rest van de sequentie wel succesvol uitvoeren.

Bestaande benaderingen om deze kloof te overbruggen kampen met aanzienlijke beperkingen:

Supervised Fine-Tuning (SFT): Het verzamelen van volledige taaldemonstraties voor SFT is inefficiënt omdat het vereist dat mensen gedragingen herhalen die het beleid al goed uitvoert, waardoor de inspanning alleen gericht wordt op de weinige foutpunten.
Full-Task Reinforcement Learning (RL): Het toepassen van RL op de gehele lange-horizon taak met behulp van ijle (sparse) terminale beloningen (succes alleen als de gehele taak slaagt) is data-inefficiënt. Vroege fouten in de sequentie voorkomen dat de agent latere subtaken bereikt om te leren, en het ijle beloningssignaal biedt geen feedback voor tussenliggende verbeteringen.
3.Menselijke Interventie: Veel real-world RL-methoden vereisen continue menselijke monitoring, corrigerende teleoperatie of handmatige wisseling van beleid tijdens rollouts, wat de schaalbaarheid beperkt.

De kernuitdaging is om een pre-trained beleid aan te passen aan een specifieke lange-horizon taak door alleen de kritieke bottlenecks te corrigeren, terwijl de betrouwbaarheid van het pre-trained model voor de rest van de taak behouden blijft, en dit met minimale menselijke interventie tijdens de trainingsfase.

Methodologie: PARTS-framework

De auteurs stellen PARTS voor (Policy Adaptation with RL on Targeted Subtasks), een framework dat bottleneck-subtaken isoleert voor gerichte RL-training, terwijl het basisbeleid bevroren blijft.

1. Architectuur en Beleidsstructuur

Frozen Base Policy: Een pre-trained VLA (specifiek $\pi_{0.5}$ in dit werk) wordt via SFT gefinetuned op een kleine offline dataset om een taakspecifiek basisbeleid ( $\pi_0$ ) te creëren. Dit beleid voert de gehele taaksequentie nominaal uit.
Residual Policies: Voor elke geïdentificeerde bottleneck $k$ wordt een lichtgewicht residual actor-critic netwerk getraind. Dit netwerk geeft een correctievector $U_{k,t}$ terug die wordt opgeteld bij de nominale actie-chunk $\bar{A}_t$ van het basisbeleid.
Actiecompositie: Het definitieve commando is een gemaskeerde som van de nominale actie en de residual correctie, beperkt tot specifieke actiedimensies (bijv. de opening van de grijper of de translatie van de end-effector) die relevant zijn voor de bottleneck.

2. Agentic Scaffolding (Automatisering)

Om autonome trainingsrollouts mogelijk te maken, maakt PARTS gebruik van "coding agents" (LLM's) om uitvoerbare programma's te genereren op basis van door mensen gedefinieerde contracten. Deze programma's beheren de executielus zonder menselijke interventie:

Policy Selector: Monitort de staat (via VLMs en geometrische predicaten) om te bepalen wanneer aan de binnenkomstvoorwaarden van een specifieke bottleneck is voldaan, waardoor het bijbehorende residual beleid wordt geactiveerd.
Success Verifier: Evalueert de uitkomst van een subtaakpoging. Het gebruikt visueel bewijs (bijv. objectmaskers, state queries) om onmiddellijk na voltooiing van de subtaak een ijle lokale beloning ( $r_k \in \{0, 1\}$ ) te verstrekken, in plaats van te wachten op het succes van de volledige taak.
Auto-Reset Policy: Besluit of een subtaak opnieuw moet worden geprobeerd vanaf de huidige staat of dat de scène moet worden gereset. Als de robot de scène autonoom kan herstellen (bijv. een object laten vallen), doet hij dat; anders vraagt hij om een menselijke reset.

3. Leeralgoritme

Online RL: Het systeem gebruikt TD3+BC (Twin Delayed DDPG met Behavior Cloning) voor elke bottleneck. De critic schat de waarde van de residual correcties in, terwijl de actor wordt geregulariseerd om dicht bij succesvolle correcties (imitatie) te blijven en verankerd te blijven aan het nominale beleid bij mislukte pogingen.
Success-Reweighted Retraining: Om de ijle aard van beloningen en overfitting op specifieke reset-configuraties aan te pakken, traint het systeem periodiek het residual beleid opnieuw op een gecureerde dataset. Deze dataset bevat alle succesvolle episodes en een gesamplede fractie ( $\rho$ ) van de mislukte episodes. Dit proces legt de nadruk op succesvolle lokale ervaringen en zet het bijgewerkte beleid opnieuw in om nieuwe data te verzamelen, wat een feedbackloop creëert tussen beleidsverbetering en datacolectie.

Belangrijkste Bijdragen

Formulering van Targeted Subtask RL: Een nieuwe benadering voor het aanpassen van pre-trained beleid door alleen te trainen op bottleneck-subtaken met lokale uitkomstsupervisie, terwijl de betrouwbaarheid over de volledige lange-horizon uitvoering wordt geëvalueerd.
Het PARTS-framework: Een systeem dat uitvoerbare subtaaksupervisie (selectors/verifiers), residual RL en success-reweighted retraining integreert. Dit maakt trainingsrollouts mogelijk die geen menselijke correcties, beslissingen over beleidswisselingen of handmatige beloningslabeling tijdens de uitvoering vereisen.
Empirische Validatie: Experimenten tonen aan dat PARTS het succespercentage van volledige taken op bimanuele en single-arm platforms aanzienlijk verhoogt onder beperkte real-world rollout-budgetten, waarbij het bestaande full-task RL fine-tuning baselines verslaat.

Experimentele Resultaten

Het framework werd geëvalueerd op drie lange-horizon taken op twee real-robot platforms:

Earbud Insertion (Bimanual YAM): Een afhankelijke keten die hoge precisie vereist.
- Resultaat: Het succes van de volledige taak steeg van 32% naar 61%.
LEGO Sorting (Bimanual YAM): Het sorteren van 10 LEGO-blokjes (out-of-distribution voor het basisbeleid) in bakken.
- Resultaat: De progress score (fractie van de gesorteerde blokjes) steeg van 54% naar 82%.
Cable Unplug & Plug (Single-arm Franka FR3): Vereist nauwkeurige uitlijning.
- Resultaat: Het succes van de volledige taak steeg van 50% naar 95%.

Vergelijking met Baselines:
Onder een gelijkwaardig robot-rollout budget presteerde PARTS beter dan:

Frozen Base Policy: Significante winst over alle taken.
DSRL: Een methode die leert in de latente ruisruimte van de VLA.
EXPO-FT: Een methode die VLA actie-chunks bewerkt terwijl de backbone wordt bijgewerkt.
RLT: Een methode die een enkele VLA-naar-RL handoff gebruikt voor een kritieke fase.

PARTS behaalde hogere succespercentages (vaak >25% verbetering) omdat het de focus van het leren legde op bottlenecks en frequente lokale beloningen bood, terwijl baselines tijd verspilden aan betrouwbare subtaken of worstelden met ijle terminale beloningen.

Ablatieonderzoek:
Het verwijderen van success-reweighted retraining resulteerde in lagere prestaties, wat bevestigt dat het periodiek opnieuw trainen van verse netwerken op gecureerde succesvolle data helpt om lokale optima te vermijden en de generalisatie naar de evaluatiedistributie te verbeteren.

Betekenis en Claims

Het artikel claimt dat PARTS een verschuiving vertegenwoordigt van het leren van gedrag vanaf nul naar de gerichte verfijning van capabele pre-trained beleid. Door de real-world interactie alleen te concentreren waar het beleid faalt, maakt het framework:

Vermindert Menselijke Betrokkenheid: Elimineert de noodzaak voor corrigerende teleoperatie of handmatige wisseling tijdens de training, waarbij menselijke input alleen nodig is voor de initiële bottleneck-identificatie en fysieke resets wanneer de robot niet zelf kan corrigeren.
Verbetert Data-efficiëntie: Bereikt een hoog succespercentage voor volledige taken met slechts tientallen minuten aan real-world RL rollouts per taak.
Behoudt Betrouwbaarheid: Handhaaft de robuuste gedragingen van het pre-trained model voor niet-bottleneck subtaken, waardoor de degradatie van betrouwbare gedragingen die vaak voorkomt bij full-task fine-tuning wordt voorkomen.

De auteurs concluderen dat deze benadering een schaalbaar pad biedt voor het aanpassen van generalistische robot-beleid aan specifieke, complexe lange-horizon taken in de echte wereld. Toekomstig werk ziet er verdere automatisering in waarbij agents bottlenecks identificeren en dense rewards autonoom genereren.