🤖 machine learning

HOIST: Humanoid Optimization with Imitation and Sample-efficient Tuning for Manipulating Suspended Loads

Het artikel presenteert HOIST, een framework dat imitatie leren uit VR-teleoperatie combineert met voorbeeld-efficiënt reinforcement learning om humanoïde robots in staat te stellen om nauwkeurig gesuspendeerde, onderbediende lasten te manipuleren en te plaatsen.

Oorspronkelijke auteurs: Songyang Liu, Shunyu Yao, Dingyuan Huang, Shuai Li

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Songyang Liu, Shunyu Yao, Dingyuan Huang, Shuai Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zware, zwaaiende kroonluchter probeert te verplaatsen die aan het plafond hangt aan een lang touw. Je kunt de kroonluchter niet direct vastpakken; je kunt er alleen tegenaan duwen met je handen of lichaam. Als je te hard duwt, zwaait hij wild heen en weer. Als je te vroeg stopt, blijft hij doorrollen. Als je te laat stopt, schiet hij voorbij de plek waar je hem wilt laten landen. Dit is het lastige probleem dat het papier HOIST probeert op te lossen met behulp van een humanoïde robot.

Hier is een eenvoudige uitleg van wat de onderzoekers hebben gedaan en hoe ze het hebben gedaan:

Het Probleem: Het "Zwaaiende Kroonluchter"-dilemma

In de bouw en in magazijnen moeten arbeiders vaak zware lasten begeleiden die aan kranen hangen. Dat is gevaarlijk omdat als de last gaat zwaaien, deze mensen kan raken. Robots hebben hier meestal moeite mee omdat:

Ze kunnen de last niet vastpakken: De robot moet de last duwen terwijl deze nog steeds hangt.
Het is onvoorspelbaar: De last gedraagt zich als een pendel. Het blijft bewegen, zelfs nadat de robot is gestopt met duwen.
Leren is moeilijk: Als je een robot door vallen en opstaan laat leren (Reinforcement Learning) op een echte robot, kan hij crashen, dingen breken of zichzelf beschadigen. Als je hem alleen leert door naar mensen te kijken (Imitation Learning), kan hij de bewegingen van de mens kopiëren, maar faalt hij in het precies op de juiste plek stoppen omdat hij de fysica van de zwaai niet begrijpt.

De Oplossing: HOIST (De "Slimme Coach"-aanpak)

Het team heeft een systeem ontwikkeld genaamd HOIST. Zie dit als een driestappenprogramma voor de training van de robot:

Stap 1: De "Shadowing"-fase (Imitatie)
Eerst draagt een menselijke operator een Virtual Reality (VR)-headset en gebruikt controllers om een "schaduw" van de robot te vormen. De mens begeleidt de robot door de taak van het duwen van de zwaaiende last naar een doelwit. De robot kijkt toe en leert: "Oké, dit is hoe een mens zijn lichaam beweegt om dit ding te duwen."

Analogie: Dit is als een dansstudent die naar een meesterdanser kij bent en probeert diens passen te kopiëren. De student krijgt de algemene flow goed, maar kan nog steeds struikelen tijdens de laatste draai.

Stap 2: De "Oefenronde"-fase (Autonome rollouts)
Vervolgens probeert de robot de taak zelfstandig uit te voeren met wat hij heeft geleerd van de mens. De robot duwt de last, maar omdat het een robot is, stopt hij misschien iets te vroeg of iets te laat. Het systeem legt deze pogingen vast.

Analogie: De student probeert de dansroutine alleen uit. Ze krijgen het ritme onder de knie, maar missen nog steeds de laatste pose met een paar centimeter.

Stap 3: De "Fine-Tuning"-fase (Sample-Efficiënte RL)
Dit is het magische deel. Het systeem laat de robot niet helemaal opnieuw beginnen vanaf nul. In plaats daarvan kijkt het naar de "oefenrondes" en vraagt: "Hoe kunnen we de allereerste gedachte of 'duw' van de robot aanpassen om de uiteindelijke landingsplek te corrigeren?" Het gebruikt een speciale wiskundige truc (genaamd flow-matching) om de interne "sturing" van de robot aan te passen zonder het hele brein van de robot te veranderen.

Analogie: Stel je een coach voor die de oefenronde van de student bekijkt en zegt: "Je doet het geweldig, maar als je je hoofd aan het begin heel lichtjes naar links kantelt, land je perfect in het midden." De robot leert deze kleine aanpassing.

De Resultaten: Hoe goed werkte het?

De onderzoekers hebben dit getest in een computersimulatie en op een echte robot.

Beter dan alleen kopiëren: Wanneer ze alleen de "Shadowing"-fase gebruikten (Imitatie), was de robot veilig maar miste hij het doel vaak aanzienlijk (ongeveer 22 cm afwijking in de simulatie).
Beter dan alleen meer video's toevoegen: Ze probeerden de robot te onderwijzen met zelfs nog meer menselijke video's, maar dat hielp niet veel.
De Winnaar: Door de "Fine-Tuning"-fase toe te voegen (slechts 30 oefenrondes), kwam de robot veel dichterbij. In de simulatie verminderde het systeem de fout met bijna 20 cm en stopte het de zwaai veel effectiever.

De Addertjes onder het gras (Beperkingen)

Het artikel geeft toe dat er één grote zwakte is: de "spieren" van de robot (de low-level controller die daadwerkelijk de gewrichten beweegt) zijn vast en zijn niet opnieuw getraind. De robot kan alleen met een bepaalde hoeveelheid kracht duwen. Als de last te zwaar is, is de robot misschien niet sterk genoeg om het effectief te bewegen, ongeacht hoe slim zijn "brein" ook is.

Samenvatting

HOIST is een methode die een robot leert om een zwaaiende, hangende last te duwen door eerst een mens te kopiëren, en vervolgens kleine, slimme aanpassingen te maken op basis van zijn eigen oefenrondes. Het is alsoer een robot te leren om een assistent van een kraanmachinist te zijn: hij leert de bewegingen van een mens, en oefent vervolgens net genoeg om de last te beheersen die lastige kunst van het precies stoppen waar hij moet zijn, zonder de last omver te stoten.

Technische Samenvatting: HOIST – Humanoid Optimization with Imitation and Sample-efficient Tuning voor het manipuleren van opgehangen lasten

1. Probleemdefinitie

Het artikel behandelt de uitdaging van humanoid hoisting: het gebruik van een humanoïde robot om een extern opgehangen, onderbediende payload (last) te positioneren. In tegenstelling tot standaard pick-and-place taken waarbij de robot een object stevig vastgrijpt, is de payload in dit scenario opgehangen (bijv. door een kraan of kabel) en gedraagt deze zich als een oscillerende pendel. De robot kan de payload niet direct aansturen; hij kan alleen de beweging van de last beïnvloeden via whole-body lokomotie, lichaamshouding en intermitterende contactkrachten (duwen).

Belangrijke moeilijkheden zijn:

Onderbediening en Dynamica: De payload blijft doorzwaaien nadat het contact is verbroken, wat leidt tot overshoot en residuele oscillatie.
Veiligheid en Efficiëntie: Directe Reinforcement Learning (RL) vanaf nul op echte humanoïdes is onveilig vanwege het risico op onstabiele bewegingen en harde contacten. Omgekeerd faalt pure Imitation Learning (IL) vanuit demonstraties vaak in het optimaliseren van de uiteindelijke plaatsingsnauwkeurigheid of het corrigeren van fouten tijdens de closed-loop uitvoering.
Taakcomplexiteit: Succes vereist gecoördineerde whole-body balans, precieze timing van contact en specifieke stopgedragingen om de zwaai van de payload te dempen.

2. Methodologie: Het HOIST-framework

HOIST (Humanoid Optimized with Imitation and Sample-efficient Tuning) is een driefasige pijplijn die de kloof overbrugt tussen veilige initialisatie en taakniveau-optimalisatie.

A. Teleoperatie Datacollectie

Menselijke operators gebruiken VR-headsets en controllers om een humanoïde robot door de hoisting-sequentie te teleopereren (benaderen, contact maken, duwen, stoppen).
Trajecten worden opgenomen als staat-actie paren, inclus overlapping visuele observaties, proprioceptieve staten en planner-commando's.
Deze demonstraties bieden een veilige, initiële gedragspolicy die catastrofale fouten tijdens de vroege implementatie voorkomt.

B. Supervised VLA Finetuning

Een hoogwaardige Vision-Language-Action (VLA) policy wordt gefinetuned met behulp van de verzamelde teleoperatie-data. Het basismodel is aangepast van GR00T N1.6.
Input Modalities: De policy verwerkt multimodale inputs inclusief onboard RGB/dieptebeelden, externe zij-aanzichtbeelden (om de relatie tussen payload en doel te vangen), proprioceptieve staten (gewricht/basis/IMU), taalinstructies en eerdere navigatiecommando's.
Architecturale Aanpassingen:
- Navigatiecommando's zijn toegevoegd als een expliciete modaliteit aan het vision-language model.
- Dieptebeelden en ego-velocity zijn toegevoegd aan de flow-matching-gebaseerde action expert om te conditioneren op scène-geometrie en fysieke staat.
- Alleen de laatste vier lagen van de VLM, de diffusion-transformer action expert en nieuwe modaliteit-encoders worden gefinetuned; de rest van het foundation model blijft bevroren om algemene priors te behouden.
Output: De policy voorspelt een kort-horizon chunk van relatieve commando-incrementen ( $\Delta U_t$ ) voor handdoelpunten, hoofdpose, navigatie en basishoogte. Deze worden geaccumuleerd in volledige planner-commando's.

C. Fixed Whole-Body Execution

De hoogwaardige planner-commando's worden uitgevoerd door een vaste, ontkoppelde whole-body controller (gebaseerd op de GR00T WBC stack).
De low-level controller handelt balans, gewrichtsstabilisatie en contactkrachten af. Cruciaal is dat de low-level controller niet wordt gefinetuned; alle taakaanpassing vindt plaats tijdens de hoogwaardige commando-generatie.

D. Sample-Efficient RL Refinement

Om systematische biases in de imitatie-geleerde policy te corrigeren (bijv. consequent te hard of te zacht duwen), gebruikt HOIST iteratieve gebatchte RL.
Proces:
1. De gefinetunede VLA-policy wordt ingezet om een kleine batch autonome rollouts te verzamelen.
2. Deze rollouts worden gelabeld met hoisting-specifieke beloningen (een gewogen combinatie van translationele plaatsingsfout en ruwe hoekfout).
3. Een actor-critic module wordt offline getraind om een "initial-noise steering vector" te voorspellen voor de flow-matching action expert. Deze actor geeft deterministisch een correctievector uit om het generatieproces van de bevroren VLA-policy te sturen.
4. De VLA-policy zelf blijft bevroren; alleen de noise-steering actor-critic wordt bijgewerkt.
5. VLM-features van de bevroren policy worden gecached en hergebruikt om de efficiëntie te maximaliseren.
Deze cyclus herhaalt zich, waardoor het systeem de plaatsingsnauwkeurigheid en het stopgedrag kan verfijnen met minimale hoeveelheden real-world data.

3. Belangrijkste Bijdragen

Probleemformulering: De introductie van "humanoid hoisting" als een onderscheidend whole-body loco-manipulatieprobleem waarbij externe, oscillerende payloads betrokken zijn.
Het HOIST-framework: Een nieuwe pijplijn die VR-teleoperatie, supervised VLA finetuning, vaste whole-body uitvoering en sample-efficiënte RL-verfijning (via noise steering) combineert voor het manipuleren van opgehangen lasten.
Empirische Evaluatie: Uitgebreide experimenten in simulatie en op een echt humanoïde platform, die aantonen dat RL-verfijning beter presteert dan simpelweg meer demonstraties toevoegen, en die de impact van input-modaliteiten en aantal rollouts analyseren.

4. Experimentele Resultaten

Het artikel evalueert HOIST tegenover baselines, waaronder pure imitatie (VLA-50, VLA-80) en menselijke teleoperatie.

Prestatiewinst:
- In simulatie verminderde HOIST (50 demo's + 30 RL rollouts) de translationele plaatsingsfout met 19,9 cm en de ruwe hoekfout met 3,56° vergeleken met pure VLA rollouts (VLA-50).
- Op het echte platform bereikte HOIST een totale Manhattan-positiefout van 6,38 cm, waarmee het VLA-80 (8,57 cm) versloeg, dat 30 extra demonstraties gebruikte maar geen RL.
RL vs. Aanvullende Demonstraties: De resultaten wijzen erop dat het optimaliseren van closed-loop plaatsingsbeloningen via RL effectiever is voor het corrigeren van uiteindelijke positiefouten dan het simpelweg vergroten van het aantal teleoperateerde demonstraties.
Ablatie-studies:
- Het toevoegen van dieptebeelden en navigatiecommando-conditioning aan de VLA-input verbeterde de initiële imitatie-geleerde policy aanzienlijk vóór de RL-verfijning.
- Analyse van residuele beweging (via IMU op de payload) liet zien dat hoewel HOIST hogere versnellingsmeterwaarden oplevert (wat duidt op actieve correctie), het de gyroscooprespons (hoekbeweging) met ongeveer de helft vermindert vergeleken met imitatie-only policies, wat wijst op een betere demping van de residuele zwaai.

5. Betekenis en Claims

Het artikel claimt dat HOIST het potentieel van humanoïdes aantoont voor onderbediende materiaalhandelingstaken, een domein dat momenteel wordt gedomineerd door menselijke werkers vanwege veiligheidsrisico's (geraakt worden door of klem komen te zitten tussen objecten).

Veiligheid en Efficiëntie: Door te starten vanuit veilige teleoperatie-data en RL alleen te gebruiken voor hoogwaardige commando-verfijning, vermijdt HOIST de veiligheidsrisico's en de sample-inefficiëntie van trainen vanaf nul op echte hardware.
Bias Correctie: Het werk benadrukt dat imitatie learning alleen lijdt onder distributieverschuivingen tijdens de uitvoering (waarbij de eigen fouten van de robot de taakdynamica veranderen). HOIST's RL-verfijning richt zich specifiek op deze systematische biases om de uiteindelijke nauwkeurigheid te verbeteren.
Bescheiden Beperkingen: De auteurs erkennen dat het systeem momenteel beperkt wordt door de vaste low-level whole-body controller, die niet expliciet krachten kan aanpassen aan verschillende payload-gewichten. Bijgevolg heeft het systeem moeite met zwaardere objecten waar grotere, adaptieve krachten vereist zijn.

Samenvattend presenteert HOIST een praktische aanpak om humanoïdes in staat te stellen opgehangen lasten te manipuleren door de veiligheid van imitatie learning te combineren met de optimalisatiekracht van sample-efficiënte reinforcement learning, specifiek afgestemd op de dynamica van onderbediende, oscillerende systemen.