💻 computer science

Calf-Integrated Arms for Bimanual Quadruped Loco-Manipulation

Dit artikel presenteert een bimanueleel vierpootrobotontwerp dat armen integreert in de voorste schenkels van een Unitree Go2, waardoor stabiele manipulatie met twee handen op grondniveau mogelijk is zonder op de achterpoten te gaan staan, terwijl een vision-language model wordt gebruikt voor autonome taakuitvoering over lange tijdshorizons.

Oorspronkelijke auteurs: Yan Pan, Yuanchuan Ren, Chipui Chan, Jingcheng Sun, Chengxu Zhou

Gepubliceerd 2026-07-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yan Pan, Yuanchuan Ren, Chipui Chan, Jingcheng Sun, Chengxu Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een viervoetige robot hond voor, zoals de populaire Unitree Go2. Normaal gesproken, als je wilt dat deze robot dingen oppakt, moeten ingenieurs een robotarm op zijn rug vastschroeven (zoals een rugzak). Maar die arm zit hoog geplaatst, waardoor het lastig is om dingen op de grond te bereiken zonder dat de robot zich onhandig naar beneden moet strekken. Alternatief proberen sommige ontwerpen de eigen poten van de robot als handen te gebruiken, maar dat betekent dat de robot op zijn achterpoten moet staan om zijn voorpoten te gebruiken, wat hem onstabiel maakt en onmogere maakt om te lopen terwijl hij werkt.

Dit artikel introduceert een slim nieuw ontwerp: het geven van "handen" die direct in de voorbenen (scheenbenen) van de robot zijn gebouwd.

Zo werkt het, onderverdeeld in eenvoudige concepten:

1. De "Scheen-Arm" Transformatie

In plaats van een rugzakarm hebben de onderzoekers het onderste deel van de voorpoten van de robot vervangen door een speciale module. Denk aan een telescoopbare hengel die ook kan buigen en draaien.

De Schuif: Een deel van het been kan op en neer schuiven (zoals een telescoop die uitrekt), waardoor de "hand" helemaal tot aan de vloer kan reiken.
De Gewrichten: De arm kan pitchen (naar voren/achteren kantelen) en yawen (naar links/rechts draaien).
Het Resultaat: De robot kan nu dingen direct van de grond pakken terwijl alle vier de poten stevig op de vloer blijven staan. Hij hoeft niet op zijn achterpoten te staan of zijn nek onhandig te strekken.

2. De "Tweehandige" Dans

Omdat beide voorpoten deze ingebouwde armen hebben, kan de robot beide handen tegelijk gebruiken.

De Overlapping: De armen kunnen naar binnen draaien zodat de linker en rechter "handen" elkaar in het midden van het lichaam van de robot ontmoeten.
De Magie: Dit stelt de robot in staat om dingen te doen zoals een zware doos met twee handen tillen, een object van de ene hand naar de andere doorgeven, of een mand in één hand dragen terwijl hij met de andere hand een deur opent — dit alles terwijl hij normaal loopt met alle vier de poten op de grond.

3. De "Hersenen" (Het Vision-Language Model)

De robot volgt niet alleen een vooraf geschreven script. Hij gebruikt een "brein" dat wordt aangedreven door een Vision-Language Model (een type AI dat zowel afbeeldingen als tekst begrijpt).

Hoe hij denkt: Je geeft de robot een eenvoudige instructie zoals: "Zet de mand in de kast."
Het Proces: De robot kijkt naar de kamer via zijn camera. Hij breekt de grote taak op in kleine stappen (vaardigheden) die hij al kent, zoals "loop naar kast", "open deur", "pak mand" en "plaats mand".
Autonomie: Hij beslist zelf de volgorde van deze stappen. Als de deur dicht is, opent hij de deur. Als de mand ver weg is, loopt hij er eerst naartoe. Hij handelt als een slimme assistent die uitzoekt "hoe" op basis van wat hij ziet.

4. Wat ze hebben getest (In Simulatie)

De onderzoekers hebben dit ontwerp getest in een computersimulatie (een videogame-wereld), omdat het bouwen van een fysiek prototype tijd kost. Ze hebben succesvol drie complexe taken gedemonstreerd:

De Kast Taak: De robot liep naar een kast, droeg een mand in één hand, opende de deur met de andere hand en plaatste de mand erin.
Het Tweehandige Tillen: Beide armen grepen een doos en tilden deze samen op.
De Overdracht: Eén arm pakte een object op en gaf het door aan de andere arm zonder het te laten vallen.

5. De Afwegingen en Limieten

Het artikel is eerlijk over wat dit ontwerp nog niet kan doen:

Geen Rotatie: De grijper (de "vingers") kan niet om zijn eigen as draaien. Dus als je een waterkoker moet pakken bij een handvat dat draaien vereist, kan deze robot dat nog niet.
Het "Marker" Probleem: Om dingen te pakken, heeft de robot momenteel een helderrode sticker (een marker) op het object nodig om precies te weten waar hij moet grijpen. Hij kan nog niet gewoon naar een willekeurig object kijken en de beste gripplaats raden.
Alleen Simulatie: Al deze resultaten vonden plaats in een computersimulatie. De robot is nog niet gebouwd en getest in de echte wereld.

Samenvatting

Dit artikel stelt een robothond voor die geen rugzakarm of een "opstaande" houding nodig heeft om te werken. In plaats daarvan heeft hij ingebouwde, schuivende armen in zijn voorpoten die hem in staat stellen om met twee handen dingen van de vloer te pakken terwijl hij loopt. Hij gebruikt een AI-"brein" om uit te zoeken hoe hij deze acties aan elkaar kan koppelen om complexe klusjes te voltooien, zoals een kamer opruimen. Het is een stap richting het maken van quadrupedale robots tot echte helpers voor rommelige, menselijke taken.

Technische Samenvatting: Kuit-geïntegreerde Armen voor Bimanuele Quadrupedische Loco-Manipulatie

Probleemstelling
Huidige ontwerpen voor quadrupedische loco-manipulatie kampen met een fundamentele afweging tussen manipulatiecapaciteit en standstabiliteit. Op de romp gemonteerde armen bereiken doorgaans grote hoogtes, wat het grijpen op grondniveau bemoeilijkt en de robot meestal beperkt tot één manipulator. Het gebruik van poten als manipulatoren vereist vaak het optillen van een voet van de grond, wat het steunvlak in gevaar brengt, of het op de achterpoten staan (zoals in het LocoMan-ontwerp), wat de basis op één plek fixeert. Geen enkel bestaand ontwerp staat daarom een quadruped toe om bimanuele manipulatie op grondniveau uit te voeren terwijl een stabiele, vierpotige houding wordt behouden met een vrije basis om te lopen. Bovendien missen bestaande systemen vaak hoogwaardige planners die autonoom taken met een lange horizon kunnen sequensen op basis van visuele en staat-feedback.

Methodologie
De auteurs stellen een morfologisch ontwerp en controleframework voor dat manipulatoren direct integreert in de voorste kuiten van een Unitree Go2 quadruped.

Mechanisch Ontwerp: Elk voorpoot is aangepast om een systeem met zeven vrijheidsgraden (DoF) te bevatten. De originele drie pootgewrichten blijven behouden voor voortbeweging, terwijl vier nieuwe gewrichten de manipulator vormen:
- $q_1$ (Prismatische Slider): Een 0,105 m slag loper gehuisvest in de herbouwde kuit, aangedreven door een niet-terugwerkbare (non-backdrivable) stappenmotor om objecten van de grond op te tillen.
- $q_2$ (Pitch): Een revolute gewricht voor fijne benaderingscontrole.
- $q_3$ (Yaw): Een revolute gewricht dat roteert om de verticale as, waardoor de grijper naar de middellijn van het lichaam kan zwenken om de werkruimtes van de linker- en rechterarm te laten overlappen.
- $q_4$ (Gripper): Een parallelle grijper met een opening van 4 cm.
  Deze configuratie stelt de robot in staat om objecten op grondniveau met beide armen te grijpen terwijl alle vier de voeten geplant blijven.
Controlearchitectuur: Het systeem maakt gebruik van een tweelaagse controlearchitectuur:
- High-Level Planner: Een Vision-Language Model (VLM), specifiek Kimi K2.6 toegankelijk via een cloud API, selecteert discrete vaardigheden uit een vooraf gedefinieerde bibliotheek ( $S$ ). De planner conditioneert de selectie op de RGB-D camera-afbeelding op de kop en een gestructureerde wereldstatus (het bijhouden van vlaggen voor taakvoortgang). De VLM wordt alleen geraadpleegd bij de grenzen van vaardigheden, niet bij elke controlesstap.
- Low-Level Execution: Geselecteerde vaardigheden worden uitgevoerd via Finite State Machines (FSM's). De FSM's coördineren een geleerd voortbewegingsbeleid (getraind via Proximal Policy Optimization in Isaac Lab) voor de 12 pootgewrichten en een 3-DoF Damped Least-Squares (DLS) Inverse Kinematics (IK) solver voor de armgewrichten ( $q_1$ – $q_3$ ). De grijper ( $q_4$ ) wordt direct aangestuurd.
- Perceptie: Grijpen berust op het detecteren van een rode marker op het object. Een op diepte gebaseerd back-projectie algoritme lokaliseert het 3D-grijppunt, waarbij partiële detecties nabij de beeldranden worden weggefilterd.

Belangrijkste Bijdragen
Het artikel levert twee primaire bijdragen:

Geïntegreerde Hardware: Het ontwerp van een manipulator geïntegreerd in de voorste kuit van een quadruped, wat bimanuele manipulatie op grondniveau mogelijk maakt terwijl een vierpotige stand wordt behouden. Dit ruilt een kleinere bimanuele werkruimte (vergeleken met rearing-ontwerpen) in voor stabiliteit en een loopklare basis.
Autonome Planning: De integratie van een VLM om vaardigheden uit een vooraf gedefinieerde bibliotheek te sequensen op basis van visuele input en taakstatus, gedemonstreerd via een bimanuele taak met een lange horizon in simulatie.

Resultaten
Het ontwerp werd volledig in simulatie geëvalueerd (Isaac Lab voor training, MuJoCo voor evaluatie) over drie bimanuele taken:

Long-Horizon Cabinet Task: De robot droeg een mand in één arm, liep naar een kast, opende de deur met de andere arm en plaatste de mand erin. De VLM selecteerde autonoom de volgorde van vaardigheden (grijpen, lopen, openen, plaatsen) op basis van visuele feedback.
Coöperatieve Tweehandige Lift: Beide armen grepen een enkele doos bij de zijhandvatten en tilden deze simultaan op, waarbij gebruik werd gemaakt van de overlap in de werkruimte door de yaw-gewrichten.
Inter-Arm Handover: De linkerarm droeg een object over aan de rechterarm bij de middellijn van het lichaam zonder het op de grond te plaatsen.

In de cabinet-taak voltooide de robot de sequentie in 18,6 seconden bewegingstijd. Het systeem toonde robuustheid tegen dieptesensorruis, met een succesratio voor het grijpen van 70–74% bij een standaarddeviatie van maximaal 10 mm aan ruis. De VLM werd tijdens de gehele taak slechts vier keer geraadpleegd, waarbij de latentie optrad terwijl de robot een stabiele houding aannam.

Betekenis en Beperkingen
Het artikel claimt significantie door aan te tonen dat een quadruped in staat is tot complexe, bimanuele manipulatie op grondniveau zonder de locomotie-stabiliteit op te offeren of een vaste basis te vereisen. Het benadrukt dat het hardwareontwerp een planner in staat stelt om taken met een lange horizon uit te voeren met alle vier de voeten geplant.

De auteurs vermelden expliciet enkele beperkingen:

Kinematische Beperkingen: De arm mist een roll-gewricht, waardoor de grijper niet rond zijn benaderingsas kan roteren, wat het grijpen van objecten met specifieke handvatoriëntaties (bijv. een waterketel) beperkt.
Dekking van de Skill Library: De VLM kan alleen kiezen uit vooraf gedefinieerde vaardigheden; het kan geen nieuwe gedragingen of staten genereren. Taken die hernieuwde grip op nieuwe punten, rotatie in de hand, of dynamische obstakelvermijding vereisen, zijn momenteel onhaalbaar.
Afhankelijkheid van Perceptie: Het systeem vertrouwt op fiduciaire markers voor grijppunten. Geleerde detectoren (YOLO-World, SAM) slagen er momenteel niet in om precieze grijppunten te leveren voor complexe objecten, wat een toegewijd grasp-synthesis netwerk noodzakelijk maakt voor toekomstig werk.
Alleen Simulatie: Alle resultaten komen uit simulatie. De auteurs stellen dat het bouwen van een fysiek prototype om sim-to-real transfer te testen de directe volgende stap is.

Toekomstig werk gesuggereerd door de auteurs omvat het bouwen van een fysiek prototype, het ontwikkelen van grasp-synthesis netwerken om markers te vervangen, en het verkennen van secundaire toepassingen zoals het gebruiken van de prismatische slider als een pootverlenging voor stilt-achtige voortbeweging of het tillen van objecten op de romp van de robot.