M3-Tele: A Unified Multimodal Teleoperational Framework for Compliant Whole-Body Mobile Manipulation

Robots die door een huis kunnen bewegen en dingen kunnen oppakken zijn al lang een droom van sciencefiction, maar het omzetten van die droom in de werkelijkheid vereist het oplossen van een moeilijke fysieke puzzel. Om echt nuttig te zijn, moet een robot twee dingen tegelijk doen: navigeren door een rommelige kamer en objecten voorzichtig manipuleren zonder ze te breken. Dit vereist een delicaat evenwicht tussen het bewegen van zijn lichaam en het voelen van de wereld die hij aanraakt. Als een robot te hard duwt, kan hij een vaas omverwerpen; als hij te stijf beweegt, kan hij geen lade openen of een oppervlak schoonvegen. Voor een robot om deze vaardigheden van een mens te leren, moet de mens in staat zijn de robot te begeleiden met een niveau van gevoeligheid dat natuurlijk aanvoelt, terwijl de robot in staat moet zijn naar zijn eigen sensoren te luisteren en zijn grip en druk in realtime aan te passen. Zonder dit vermogen om te voelen en aan te passen, is de verzamelde data voor het onderwijzen van de robot vaak onhandig en inconsistent, wat het de machine moeilijk maakt om later complexe taken uit te voeren.

Onderzoekers aan de Shenzhen Technology University hebben een nieuw systeem ontwikkeld genaamd M3-Tele om dit probleem op te lossen. Ze bouwden een framework waarmee een mens een mobiele robotarm kan besturen via een smartphone, maar met een cruciale twist: het systeem is ontworpen om het contact tussen de robot en de wereld te voelen. De robot is uitgerust met speciale sensoren op zijn grijper die kunnen zien hoeveel de zachte kussens op zijn vingers indrukken wanneer ze een object aanraken, evenals sensoren die de kracht meten die tegen zijn pols duwt. Wanneer een menselijke operator de robot begeleidt om een whiteboard af te vegen of een lade te openen, volgt het systeem niet alleen blindelings het pad van de hand. In plaats daarvan controleert het constant de druk en de vervorming van de grijper, en past het de beweging van de robot automatisch aan om het contact zacht en stabiel te houden. Dit creëert een vloeiende, responsieve ervaring waarbij de robot zich gedraagt als een meegaande partner in plaats van een starre machine.

Het team testte dit systeem op vier verschillende taken die varieerden van eenvoudig tot moeilijk. Ze vroegen menselijke vrijwilligers om het systeem te gebruiken om een blokje op te pakken, een staaf te draaien, een lade open te trekken en een whiteboard af te vegen. De resultaten toonden aan dat het nieuwe systeem aanzienlijk beter was in het behouden van contact met objecten zonder de grip te verliezen of te veel kracht uit te oefenen. Wanneer de onderzoekers hun systeem vergeleken met oudere methoden die deze krachtgevoelige aanpassingen niet gebruikten, was het verschil groot. De nieuwe controller verminderde de fout in het volgen van de gewenste kracht van meer dan 4 newtons naar minder dan 0,35 newtons. In praktische termen betekent dit dat de robot met veel grotere precisie een constante druk tegen een oppervlak kon houden. Bovendien voorkwam het systeem dat de robot per ongeluk het contact met een object verloor, waardoor het aantal keren dat de grip gleed afnam van bijna 2,5 keer per poging naar bijna nul.

De studie keek ook naar hoe gemakkelijk het systeem voor mensen te gebruiken was. De onderzoekers ontdekten dat het geven van feedback aan de operator over de tast van de robot de taak veel intuïitiever maakte. Gebruikers beoordeelden de gebruiksvriendelijkheid van de nieuwe interface met feedback aanzienlijk hoger dan de standaard besturingsmethoden, met een score van ongeveer 8,4 op 10 vergeleken met 5,8 voor een basisversie. Dit suggereert dat wanneer een mens kan "voelen" wat de robot voelt via de controller, zij de robot effectiever kunnen begeleiden. Het systeem werkte goed bij alle verschillende taken en voltooide de uitdagende veegtaak in 80% van de gevallen en simpelere taken tot 94% van de tijd. Deze betrouwbaarheid is essentieel omdat het betekent dat de robot hoogwaardige demonstraties kan verzamelen die consistent genoeg zijn om voor training te worden gebruikt.

Ten slotte gebruikten de onderzoekers de door dit systeem verzamelde data om een robot te leren hoe hij zelfstandig een bord kan afvegen, met behulp van een leermethode die bekend staat als een diffusion policy. Ze testten of de robot beter leerde wanneer hij toegang had tot alle sensorische informatie — de camerabeelden, de krachtmetingen en de tactiele vervormingsdata — of dat hij het kon redden met alleen de camera. De experimenten toonden aan dat de robot het meest effectieve veeggedrag leerde wanneer hij over alle drie de soorten informatie beschikte. Zelfs wanneer de onderzoekers het leeralgoritme slechts een kleine hoeveelheid data gaven, hielp de combinatie van tast- en krachtsensoren de robot de taak beter te begrijpen dan alleen visie. Dit bevestigt dat voor robots om taken onder controle te krijgen die fysiek contact vereisen, ze moeten worden onderwezen met data die niet alleen vastlegt wat de robot ziet, maar ook precies hoe hij de wereld voelt. Het werk demonstreert dat door deze zintuigen in het controlesysteem te integreren, we robots kunnen bouwen die niet alleen in staat zijn om door onze huizen te bewegen, maar ook voorzichtig en precies genoeg zijn om met de objecten daarin te interageren.