💻 computer science

VOFA: Visual Object Goal Pushing with Force-Adaptive Control for Humanoids

Dit artikel presenteert VOFA, een hiërarchisch mensachtig loco-manipulatiesysteem dat een hoog-niveau visueel doel-geconditioneerd beleid combineert met een laag-niveau kracht-adaptieve regelaar om robuust zware objecten met onbekende fysieke eigenschappen naar willekeurige doelen te duwen, uitsluitend gebruikmakend van aan boord aanwezige egocentrische waarneming.

Oorspronkelijke auteurs: Zichao Hu, Zifan Xu, Dongsik Chang, He Yin, Linh Tran, Roberto Martín-Martín, Peter Stone, Jingyu Qiao, Joydeep Biswas

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zichao Hu, Zifan Xu, Dongsik Chang, He Yin, Linh Tran, Roberto Martín-Martín, Peter Stone, Jingyu Qiao, Joydeep Biswas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een humanoïde robot voor met de naam "Booster T1" die in een magazijn staat. Zijn taak is om een zware, mysterieuze doos over de vloer naar een specifieke plek te duwen. De twist? De robot weet niet hoe zwaar de doos is, hij weet niet of de vloer glad of plakkerig is, en hij kan de doos niet perfect zien omdat zijn camera een beetje wazig is.

Dit artikel introduceert VOFA (Visual Object–Goal Pushing with Force-Adaptive Control), een "hersenen en lichaam"-systeem dat de robot leert deze dozen succesvol te duwen, zelfs als dingen misgaan.

Hier is hoe VOFA werkt, opgesplitst in eenvoudige concepten:

1. Het Twee-Hersenen Systeem (De Hiërarchie)

VOFA gebruikt een tweeledige teamaanpak, zoals een Generaal en een Soldaat:

De Generaal (Hoog-niveau beleid): Dit is het "visionaire" deel. Het kijkt naar de camerabeelden (die een beetje ruis bevatten, zoals een slechte videogesprek) en de doellocatie. Het beslist waar de robot naartoe moet en hoe hij zich ten opzichte van de doos moet positioneren. Het maakt zich geen zorgen over de kleine spiertrekkingen; het geeft alleen grote commando's zoals "Vooruit" of "Linksom".
De Soldaat (Laag-niveau regelaar): Dit is het "spier"-deel. Het neemt de grote commando's van de Generaal en bedenkt precies hoe elke gewricht in het lichaam van de robot moet bewegen. Cruciaal is dat dit deel Kracht-adaptief is. Denk aan iemand die een winkelwagentje duwt dat plotseling vol wordt geladen met bakstenen. Als het karretje zwaar wordt, leunt de persoon instinctief harder en past hij zijn stand aan zodat hij niet omvalt. De Soldaat doet automatisch hetzelfde, en past zich aan het gewicht van de doos en de wrijving van de vloer aan zonder dat er iets gezegd hoeft te worden.

2. Het Trainingskamp (Leraar-Leerling Methode)

Het is moeilijk om een robot dit te leren omdat je het tijdens de training niet gemakkelijk een "perfect zicht" op de wereld kunt geven. Daarom gebruikten de onderzoekers een Leraar-Leerling methode:

De Leraar: Eerst trainden ze een "Leraar"-robot die superkrachten had. Het kon het exacte gewicht van de doos zien, de exacte wrijving van de vloer en de perfecte positie van de gewrichten van de robot. Het leerde hoe het de doos perfect kon duwen met behulp van deze "bevoorrechte" informatie.
De Leerling: Vervolgens trainden ze een "Leerling"-robot die alleen een gewone camera en basiszensors had (geen superkrachten). De Leerling keek naar de Leraar en probeerde zijn bewegingen na te bootsen. Om de Leerling sterker te maken, voegden de onderzoekers "visuele ruis" toe tijdens de training—zoals het wazig maken van de camera of het toevoegen van statische storing—zodat de Leerling leerde de doos te duwen zelfs als het beeld rommelig was, net zoals dat in de echte wereld zou zijn.

3. De "Eerst Uitlijnen" Truc

Een van de grootste uitdagingen is dat als de robot probeert de doos te duwen terwijl hij aan de verkeerde kant staat, het mislukt. De onderzoekers voegden een speciale "beloning" toe (zoals een gouden ster) voor de robot om zich eerst te herpositioneren.

Stel je voor dat je een zware bank probeert te duwen. Als je aan de zijkant staat, kun je hem niet vooruit bewegen. Je moet eerst omlopen naar de achterkant. VOFA leerde deze truc zelfstandig. Het wacht tot het op de perfecte plek achter de doos staat, ten opzichte van het doel, voordat het begint met duwen. Dit voorkomt dat de robot een "voortijdig contact" maakt en vast komt te zitten.

4. Resultaten in de Echte Wereld

Het team testte dit op de echte Booster T1-robot. Dit is wat er gebeurde:

Zware Heffing: De robot slaagde erin dozen tot 17 kg (ongeveer 37 lbs) te duwen. Dat is meer dan de helft van het gewicht van de robot zelf! De robot was in de simulatie niet eens getraind op zo zware dozen, maar bedacht het onderweg.
Verschillende Hoeken: Of het doel nu voor, aan de zijkant of zelfs achter de robot lag, VOFA slaagde in de echte wereld in meer dan 80% van de gevallen.
Herstel: Als iemand de doos terzijde schopte terwijl de robot duwde, raakte de robot niet in paniek. Het stopte, keek waar de doos naartoe ging, liep om om weer in lijn te komen, en ging verder met duwen. Het werkt in een gesloten lus, wat betekent dat het constant zijn omgeving controleert en zijn pad corrigeert, in plaats van alleen een vooraf gepland script te volgen.

Samenvatting

VOFA is een systeem dat het een humanoïde robot mogelijk maakt om zware, onbekende objecten naar specifieke doelen te duwen met alleen een camera. Het combineert een slimme "visionaire" planner met een "spier" die instinctief aanpast aan gewicht en wrijving. Door een leerling-robot te trainen om een superkrachtige leraar na te bootsen terwijl het rommelige cameradata verwerkt, leerde het systeem zware dozen te duwen, zich te herstellen van stoten en complexe hoeken te navigeren zonder om te vallen.

Technische Samenvatting: VOFA – Visueel Doelgericht Object Duwen met Krachtadaptieve Regeling voor Humanoiden

Probleemstelling

Het artikel behandelt de uitdaging om humanoid robots in staat te stellen doelgericht objecten te duwen (loco-manipulatie) uitsluitend met behulp van aan boord aanwezige egocentrische waarneming. Deze capaciteit is cruciaal voor toepassingen in de echte wereld, zoals het herorganiseren van voorraad in magazijnen. Het systeem moet robuust functioneren onder drie primaire beperkingen:

Onbekende Fysieke Eigenschappen: De robot moet omgaan met objecten met variërende en onbekende massa's en wrijvingscoëfficiënten met de grond.
Ruwe Waarneming aan Boord: Het systeem kan niet vertrouwen op bevoorrechte informatie over de objecttoestand (bijvoorbeeld de werkelijke positie of snelheid van het object) en moet functioneren met behulp van ruwe dieptebestanden en proprioceptieve data.
Gesloten-Lus Aanpasbaarheid: De robot moet in real-time aanpassen aan diverse object-doelconfiguraties, inclusief gevallen waarin de robot zichzelf moet herschikken ten opzichte van het object en het doel voordat contact wordt gemaakt.

Bestaande oplossingen voldoen vaak niet gelijktijdig aan deze criteria; ze vertrouwen ofwel op bevoorrechte waarneming, missen robuustheid tegenover fysieke variaties, of falen in het aanpassen aan verschillende doelconfiguraties zonder handmatige stapsdefinities.

Methodologie

De auteurs stellen VOFA (Visual Object–Goal Pushing with Force-Adaptive Control) voor, een hiërarchisch, tweeniveau-systeem ontworpen voor de humanoid robot Booster T1.

1. Hiërarchische Architectuur

Hoog-niveau Visuele Motorbeleid: Dit beleid verwerkt waarnemingen aan boord (proprioceptie en dieptebestanden) en een gewenste doelpositie om hoog-niveau commando's te genereren. Het werkt op 50 Hz.
Laag-niveau Krachtadaptieve Regelaar: Deze regelaar vertaalt hoog-niveau commando's naar acties op gewrichtsniveau. Het is gebaseerd op het FALCON-kader, expliciet ontworpen om aanzienlijke en onbekende externe krachten op de eind-effectoren te hanteren, waardoor stabiliteit wordt gewaarborgd tijdens interactie met objecten van variërende massa.

2. Trainingsstrategie: Docent-Student Distillatie

Om de uitdaging van leren uit ruwe visuele invoer te overwinnen, maakt VOFA gebruik van een Docent-Student-kader:

Docentbeleid: Getraind met Proximal Policy Optimization (PPO) met bevoorrechte informatie (bijvoorbeeld exacte objectoriëntatie, lineaire basissnelheid en objecttoestand). Dit beleid leert het optimale gedrag voor doel-geconditioneerd duwen.
Studentbeleid: Gedistilleerd vanuit de docent met behulp van DAgger (Dataset Aggregation). De student vervangt bevoorrechte invoer door een geschiedenis van proprioceptie aan boord en dieptebestanden.
Visuele Augmentatie: Om de kloof tussen simulatie en realiteit te overbruggen, omvat de studenttraining visuele randomisaties, waaronder verstoring van het verre vlak van de diepte, gecorreleerde diepteruis en pixeluitval, om sensorartefacten en achtergrondrommel te simuleren.

3. Ontwerp van Beloningen

De training maakt gebruik van een samengestelde beloningsfunctie met vier belangrijke termen:

Bereikbeloning ( $R_{reach}$ ): Moedigt beide eind-effectoren aan om het object te benaderen.
Duwbeloning ( $R_{push}$ ): Beloont de vermindering van de afstand tussen het object en het doel.
Kopvolgbeloning ( $R_{track}$ ): Moedigt de robot aan om het object visueel te volgen met zijn camera.
Object-Doel Uitlijnbeloning ( $R_{align}$ ): Een nieuw onderdeel dat de robot aanmoedigt om zich te herschikken naar de kant van het object die tegenover het doel ligt, voordat er wordt geduwd. Dit elimineert de noodzaak voor handmatig gedefinieerde trainingsfasen en bevordert langetermijnplanning boven kortzichtige contactstrategieën.

4. Simulatie en Domeinrandomisatie

Training wordt uitgevoerd in Isaac Gym met uitgebreide randomisatie van objectmassa (1–8 kg), wrijving en initiële object-doelplaatsingen. Om de kloof tussen simulatie en realiteit op het gebied van visie aan te pakken, randomiseert het systeem camera-extrinsieken (translaties en rotaties) en emuleert het ruispatronen van sensoren die in echte dieptecamera's (ZED 2i) worden waargenomen.

Belangrijkste Bijdragen

Visueel Doel-geconditioneerd Systeem: Introductie van VOFA, een systeem dat in staat is tot gesloten-lus, doelgericht duwen over diverse object-doelconfiguraties, uitsluitend met behulp van visuele waarneming aan boord.
Robuustheid tegen Onbekende Massa's: Demonstratie van een systeem dat succesvol objecten duwt met diverse en eerder onbekende massa's, inclusief lasten tot 17 kg (meer dan de helft van het lichaamsgewicht van de robot), zonder hertraining op die specifieke massa's.
Validatie op Echte Hardware: Succesvolle implementatie op de humanoid robot Booster T1, met hoge slagingspercentages in zowel simulatie als experimenten in de echte wereld over variërende scèneconfiguraties en fysieke eigenschappen.

Experimentele Resultaten

Het systeem werd geëvalueerd in zowel grootschalige simulatie als proeven in de echte wereld op de Booster T1.

Slagingspercentages: VOFA behaalde meer dan 90% succes in simulatie en meer dan 80% succes in proeven in de echte wereld.
Massa-robuustheid: In experimenten in de echte wereld slaagde het systeem erin een object van 17 kg te duwen (een doos van 5 kg met 12 kg toegevoegd gewicht), ondanks dat het was getraind op massa's tot 8 kg.
Aanpasbaarheid van Configuratie: Het systeem behield hoge slagingspercentages (>90% voor het studentbeleid) over doelconfiguraties aan de voorkant, zijkant en achterkant.
Ablatiestudies:
- Krachtadaptieve Regeling: Het verwijderen van de krachtadaptieve laag-niveau regelaar resulteerde in een aanzienlijke daling van de slagingspercentages (bijvoorbeeld van 91,38% naar 59,32% voor het studentbeleid) en onstabiel gedrag zoals het "trappen" tegen het object.
- Uitlijnbeloning: Het verwijderen van de object-doel uitlijnbeloning leidde tot voortijdige contactfalen, met name in doelconfiguraties aan de achterkant waar herschikking vereist is.
- Visuele Randomisatie: Training zonder visuele randomisaties leidde tot aanzienlijke prestatiedegradeatie in echte wereldscenario's aan de zijkant en achterkant vanwege gevoeligheid voor achtergrondruis en domeinmismatch.
Gesloten-Lus Capaciteiten: Demonstraties in de echte wereld toonden aan dat de robot kon herstellen van externe laterale verstoringen, kon compenseren voor excentrische massacentrumverdelingen en objecten sequentieel naar meerdere doelen kon duwen zonder reset.

Betekenis en Beweringen

Het artikel beweert dat VOFA een belangrijke stap voorwaarts is naar robuuste, autonome humanoid loco-manipulatie in ongestructureerde omgevingen. Door hoog-niveau visuele motorplanning te ontkoppelen van laag-niveau krachtadaptieve regeling, vereenvoudigt het systeem de beleidstraining terwijl robuustheid tegenover fysieke variaties wordt behouden.

De auteurs benadrukken dat de object-doel uitlijnbeloning cruciaal is om de robot in staat te stellen complexe, langetermijngedragingen te leren (herschikken voordat er wordt geduwd) zonder handmatige staps. Bovendien toont de succesvolle overdracht naar hardware in de echte wereld met zware lasten (17 kg) aan dat de combinatie van krachtadaptieve regeling en visuele randomisatie de kloof tussen simulatie en realiteit effectief verkleint.

Het werk sluit af met de opmerking over huidige beperkingen, specifiek de focus op scenario's met één object en de afhankelijkheid van een externe module voor relatieve doelpositionering. Toekomstig werk heeft tot doel het kader uit te breiden naar omgevingen met meerdere objecten en volledig end-to-end redenering te ontwikkelen voor object- en doellocatie vanuit ruwe sensorische invoer.