Technische Samenvatting: LadderMan

Probleemstelling

Het in staat stellen van humanoïde robots om in door mensen gecentreerde omgevingen te opereren, vereist robuuste vermogens voor het beklimmen van ladders. Deze taak vormt echter aanzienlijke uitdagingen vergeleken met voortbeweging op vlakke grond of het beklimmen van trappen. Het beklimmen van een ladder vereist nauwkeurige, aanhoudende coördinatie tussen contactpunten van het boven- en onderlichaam op schaarse, discontinue en smalle voetsteunen en handgrepen. Kleine fouten in perceptie of controle kunnen leiden tot catastrofaal falen. Bovendien variëren ladders in de echte wereld aanzienlijk in hellingshoek, afstand tussen sporten en structureel ontwerp, wat generalisatie moeilijk maakt. Bestaande benaderingen vertrouwen vaak op modelgebaseerde controle die nauwkeurige modellering van de omgeving en taakspecifieke afstemming vereist, of reinforcement learning (RL) methoden die resulteren in gedragingen die gedomineerd worden door het onderlichaam en er niet in slagen om de coördinatie van het hele lichaam te benutten. Daarnaast adresseren weinig methoden manipulatie op de ladder, waarbij de robot het evenwicht moet bewaren terwijl hij taken uitvoert.

Methodologie

De auteurs stellen LadderMan voor, een uniform systeem voor perceptieve humanoïde ladderbeklimming en manipulatie op de ladder. Het systeem maakt gebruik van een schaalbare tweestaps leerpijplijn en een dual-agent framework voor manipulatie.

1. Leren van meerdere expert-policies (Fase 1)

Om de noodzaak voor grote bewegingsdatasets die diverse geometrieën dekken te vermijden, introduceren de auteurs hybride bewegingstracking.

• Enkele referentiebeweging: Het systeem leert meerdere state-based expert policies ($\pi_{\phi,z}^{expert}$) die overeenkomen met verschillende ladderconfiguraties (helling $\phi$, afstand tussen sporten $z$) vanuit een enkele referentiebeweging.
• Asymmetrische tracking: De tracking reward wordt opgedeeld in componenten voor het boven- en onderlichaam. Het onderlichaam wordt strikt getrackt om stabiele klimgedragingen te garanderen, terwijl het bovenlichaam wordt getrackt met versoepelde restricties om aanpassing aan specifieke laddergeometrieën mogelijk te maken.
• Taakgestuurde adaptatie: Het systeem incorporeert ladder-centrische contactrewards en klimrewards. Contactposities worden automatisch gegenereerd op basis van de doel-laddergeometrie, waardoor de policy contactlocaties kan aanpassen zonder handmatige annotatie voor elke configuratie.

2. Unified Visuomotor Policy Distillatie (Fase 2)

De meerdere expert-policies worden gedestilleerd naar een enkele diepte-gebaseerde visuomotorische policy ($\pi_{visual}$) met behulp van hybride imitatie en reinforcement learning.

• Hybride objectief: De policy wordt geoptimaliseerd met een combinatie van een PPO-gebaseerd RL-objectief (gebruikmakend van dezelfde rewards als de experts) en een KL-divergentie term om imitatie van expertgedrag te stimuleren. Het gewicht van de imitatie-term wordt tijdens de training geëscaleerd (geanneald), waardoor een transitie plaatsvindt van imitatie-gestuurde initialisatie naar taak-gestuurde optimalisatie.
• Inputs: De uniforme policy neemt proprioceptie, diepte-observaties en een binaire klimrichting-opdracht als input.

3. Overbruggen van de Sim-to-Real Kloof

Om zero-shot transfer naar echte hardware mogelijk te maken, pakken de auteurs de sim-to-real kloof in diepteperceptie aan, wat cruciaal is voor dunne ladder sporten.

• Vision Foundation Model (VFM): In plaats van te vertrouwen op uitgebreide diepte-randomisatie, gebruikt het systeem een voorgetraind VFM (Fast-FoundationStereo) om real-world stereo grayscale beelden te verwerken naar dieptekaarten. Dit levert schonere, geometrisch consistente diepte-observaties op.
• Rung-Focused Masking (RFM): Tijdens de training worden niet-sport regio's gemaskeerd met een waarschijnlijkheid van $p=0.1$ om de policy te dwingen zich te concentreren op relevante klimstructuren in plaats van achtergrondgeometrie of specifieke ladderonderdelen.

4. On-Ladder Manipulatie via Dual-Agent Learning

Voor manipulatietaken tijdens het klimmen op de ladder, gebruiken de auteurs een dual-agent formulering om stabilisatie te ontkoppelen van manipulatie.

• Onderlichaam Agent ($\pi_l$): Verantwoordelijk voor het handhaven van een stabiel evenwicht en laddercontacten.
• Bovenlichaam Agent ($\pi_u$): Trackt teleoperated manipulatie-targets (arm-, pols-, en middelvinger-poses).
• Ontkoppeling: Door gebruik te maken van aparte actor-critic netwerken, vermindert het systeem interferentie tussen de stabilisatie- en manipulatie-objectieven, wat stabiele whole-body teleoperatie op de ladder mogelijk maakt.

Belangrijkste Bijdragen

1. Uniform Perceptief Systeem: LadderMan maakt robuuste zero-shot sim-to-real ladderbeklimming mogelijk over diverse geometrieën (helling, afstand tussen sporten, structuur) met behulp van een enkele referentiebeweging en diepte-gebaseerde visuomotorische controle.
2. Hybride Bewegingstracking: Een nieuwe methode om meerdere expert climbing policies te leren van een enkele referentiebeweging door een combinatie van versoepelde bovenlichaam-tracking met taak-gestuurde contactadaptatie, wat de noodzaak voor grote bewegingsdatasets elimineert.
3. Sim-to-Real Perceptie: De integratie van een Vision Foundation Model en rung-focused masking om de diepteperceptie-kloof te overbruggen, wat implementatie op echte hardware mogelijk maakt zonder uitgebreide handmatige afstemming of hardwaremodificaties.
4. Stabiele On-Ladder Manipulatie: Een dual-agent leerframework dat succesvol complexe manipulatietaken mogelijk maakt (bijv. het bijstellen van schilderijen, het vervangen van gloeilampen) terwijl het evenwicht behouden blijft, waarbij het beter presteert dan standaard whole-body teleoperatie policies.

Experimentele Resultaten

Het systeem werd geëvalueerd op een 1,3 m, 29-DoF Unitree G1 humanoïde met een Intel RealSense D435i camera en een NVIDIA Jetson Orin.

• Prestaties in de echte wereld: LadderMan klom succesvol omhoog en omlaag op drie diverse echte ladders (variërend in hoek, afstand en materiaal) op een zero-shot wijze. Het behaalde een klimsnelheid van 3,4 seconden per sport, vergelijkbaar met menselijke proefpersonen (3,2 s/sport).
• Manipulatie: Het systeem voerde succesvol taken uit zoals het bijstellen van een schilderij, het vervangen van een gloeilamp en box-handover taken, terwijl het evenwicht behield.
• Generalisatie: In simulatie behaalde de policy een succespercentage van >95% op ladders met een afstand tussen sporten van 24-28 cm en hellingen tussen 55-65 graden. Het behield ~57% succes zelfs bij extreme randconfiguraties.
• Ablatie-studies:
  • Expert Learning: Standaard bewegingstracking faalde op geometrieën die verschilden van de referentie, terwijl hybride bewegingstracking slaagde over alle geteste configuraties.
  • Sim-to-Real: Het verwijderen van de VFM, de rung-focused masking, of de RL-component in de distillatiefase verminderde de succesratio in de echte wereld aanzienlijk, waarbij sommige varianten volledig faalden.
  • Manipulatie: De dual-agent policy behield een stabiel evenwicht tijdens manipulatie, terwijl een state-of-the-art baseline (TWIST2) regelmatig het evenwicht verloor.

Betekenis en Beperkingen

Het artikel beweert dat LadderMan een belangrijke mijlpaal vertegenwoordigt voor de inzet van humanoïden in industriële omgevingen (bouw, onderhoud) door het uitdagende probleem van perceptieve ladderbeklimming en manipulatie op te lossen zonder hardwaremodificaties.

Beperkingen erkend door de auteurs:

• De klimpolicy wordt momenteel geëvalueerd op hellende ladders tot 75 graden en strekt zich nog niet uit tot verticale ladders, die andere strategieën en hogere contactkrachten vereisen.
• Manipulatiecapaciteiten worden momenteel beperkt door de afwezigheid van behendige end-effectors op de huidige hardware.

De auteurs verklaren dat alle trainings- en inferentiecode, samen met de inzetbare modellen, open-source zal worden gemaakt.