A Rapid Deployment Pipeline for Autonomous Humanoid Grasping Based on Foundation Models

Probleemstelling

De traditionele implementatie van een humanoïde robot voor het manipuleren van een nieuw object is tijdrovend en complex. Het vereist doorgaans één tot twee dagen werk, bestaande uit:

1. Het verzamelen van visuele datasets.
2. Handmatige annotatie van bounding boxes.
3. Het aanschaffen van nauwkeurige 3D-modellen (vaak vereist dit dure, gespecialiseerde laserscanners of gestructureerde lichtscanners).
4. Het trainen van perceptie- en grijplanningsmodellen.

Deze workflow is onpraktisch voor snelle iteraties of veldtoepassingen en creëert een hoge drempel voor de inzet van humanoïde robots in ongestructureerde omgevingen.

Methodologie

Het paper presenteert een end-to-end snelle implementatie-pijplijn die drie componenten van "foundation models" integreert om de onboarding-tijd voor een nieuw object te reduceren tot ongeveer 30 minuten. De pijplijn bestaat uit drie fasen:

1. Offline Asset-voorbereiding

• Automatische Annotatie: Er worden 150 afbeeldingen van het doelobject verzameld met een RealSense D435i camera. Deze worden geüpload naar Roboflow, dat gebruikmaakt van het Segment Anything Model (SAM) voor automatische annotatie van bounding boxes. Een menselijke reviewer voert slechts een steekproef uit.
• Objectdetectie Training: Een YOLOv8n model (voorgeladen op COCO) wordt gefinetuned op de gegenereerde dataset. Dit gebeurt op een CPU en duurt slechts ongeveer 11 minuten voor 50 epochs.
• 3D Reconstructie: In plaats van een laserscanner wordt een enkele foto van het object geüpload naar Meta SAM 3D. Dit genereert een getextureerd 3D-mesh in ongeveer 5 minuten. Het mesh wordt geëxporteerd voor gebruik in Unity (voor simulatie) en omgezet naar een .obj-bestand voor de pose-tracking.

2. Online Perceptie

• Detectie & Tracking: Het systeem gebruikt een cascade van netwerken. YOLOv8 detecteert het object om de 5 frames om GPU-belasting te verminderen. De gegenereerde bounding box dient als 2D-prior voor FoundationPose.
• Zero-Shot Pose Tracking: FoundationPose gebruikt het door SAM 3D gegenereerde mesh direct als sjabloon voor zero-shot 6-DoF (6 vrijheidsgraden) pose-tracking op RGB-D data. Het systeem werkt in twee modi: registratie (bij start) en tracking (per frame).
• State Machine: Een eindige toestandsmachine beheert de trackers (UNINITIALIZED → TRACKING → LOST). Het systeem herkent verlies van het object bij drie opeenvolgende mislukkingen, grote positiesprongen, of afwezigheid van detectie gedurende 3 seconden, en initieert herstel via een nieuwe YOLO-detectie.

3. Sim-to-Real Executie

• Inverse Kinematics (IK): Een Unity-scene met een virtuele twin van de Unitree G1 humanoïde robot polled de perceptie-uitvoer (30 Hz). Een IK-planner genereert een meervoudige grijptrajectorie (benaderen, zakken, grijpen, tillen).
• Communicatie: De commando's voor de gewrichten worden genormaliseerd en via UDP gestreamd naar een C++ bridge die de Unitree SDK aanstuurt. De robot voert de bewegingen uit in de fysieke wereld.

Belangrijkste Bijdragen

1. Integratie van Foundation Models: Voor het eerst worden SAM 3D (voor 3D-reconstructie) en FoundationPose (voor zero-shot tracking) gecombineerd in een humanoïde manipulatiesysteem, waardoor de afhankelijkheid van laserscanners en handmatige CAD-modellen wordt verwijderd.
2. Modulair en Trainingsvrij Ontwerp: In tegenstelling tot Vision-Language-Action (VLA) modellen die enorme datasets en fine-tuning vereisen, biedt deze aanpak een modulaire, interpreteerbare en debugbare oplossing zonder per-object training van de pose-estimator.
3. Generalisatie: De pijplijn is gevalideerd op twee fundamenteel verschillende taken: het grijpen van een fles en het aanbrengen van lijm op een auto-raam, waarbij alleen het objectmodel en de trajectoorsjabloon werden aangepast.

Resultaten

De experimenten werden uitgevoerd op een Unitree G1 humanoïde robot met een Dex3-hand:

• Detectie: YOLOv8 bereikte een mAP@0.5 van 0,995 en een precisie van 1,000 op de validatieset.
• Pose Tracking: De tracking-precisie was σ < 1,05 mm (sub-millimeter) in statische scenario's. Het systeem behield een 100% succesrate in dynamische scenario's en bij gedeeltelijke occlusie.
• Snelheid: De inferentie op een RTX 4060 GPU en CPU voldoet aan de 30 Hz vereiste voor de camera en planner.
• Tijdsbesparing: De totale onboarding-tijd voor een nieuw object is gereduceerd van dagen naar ongeveer 30 minuten (5 min data, 5 min annotatie, 10 min training, 5 min reconstructie, 5 min configuratie).
• Fysieke Succes: De robot slaagde erin om een fles succesvol te grijpen en te tillen op vijf verschillende posities in het werkgebied, en slaagde ook in de lijm-taak.

Betekenis en Toekomstperspectief

Dit paper toont aan dat de combinatie van geavanceerde foundation models met goedkope, alledaagse beeldvormingsapparatuur (zoals smartphones of standaard RGB-D camera's) de drempel voor de inzet van humanoïde robots in de praktijk drastisch verlaagt. Het biedt een robuust alternatief voor de huidige VLA-paradigma's, vooral voor toepassingen die hoge stabiliteit en precisie vereisen zonder de noodzaak van massale pre-training of gespecialiseerde hardware.

Beperkingen:

• Reflecterende/Transparante Objecten: SAM 3D kan moeite hebben met glanzende of transparante objecten (bijv. glas), waarbij handmatige CAD-modellen soms nog nodig zijn als fallback.
• Volledige Occlusie: Bij volledige occlusie langer dan 3 seconden gaat het systeem naar de "LOST"-toestand; herstel is afhankelijk van een nieuwe detectie, wat kan falen als de pose sterk afwijkt van de trainingsdata.
• Sim-to-Real Gap: Er is nog geen systematische kwantificering van de discrepantie tussen de simulatie en de fysieke uitvoering op gewrichtsniveau.

Samenvattend biedt deze pijplijn een fundamentele stap voorwaarts naar praktische, snelle en flexibele humanoïde robotica in ongestructureerde omgevingen.