DexEMG: Towards Dexterous Teleoperation System via EMG2Pose Generalization

DexEMG is een lichtgewicht en kosteneffectief systeem voor teleoperatie dat oppervlakte-EMG-signalen gebruikt om via een getraind neuronaal netwerk en een robuust retargeting-algoritme nauwkeurige, generaliseerbare besturing van dexterous robotische handen mogelijk te maken zonder intensieve individuele kalibratie.

De kern

Stel je voor dat je een robot met een menselijke hand wilt besturen, maar je wilt geen zware, ongemakkelijke handschoen dragen en je hebt ook geen dure camera's nodig die je hand volgen. Klinkt als sciencefiction? De onderzoekers van DexEMG hebben een manier gevonden om dit te doen met iets dat we allemaal al dragen: een slim horloge-achtig armbandje.

Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: De "Gordel" vs. De "Camera"

Vroeger waren er twee manieren om een robot te besturen:

• De zware exoskelet-handschoen: Dit is als een robotpak dat je aan hebt. Het werkt goed, maar het is zwaar, duur en voelt alsof je in een strakke harnas zit. Je kunt er niet comfortabel in slapen of eten.
• De dure camera's: Dit werkt als een filmset met veel camera's. Het is niet aanraken, maar als je hand voor je gezicht gaat (bijvoorbeeld om een appel te pakken), "verdwijnt" de hand voor de camera's en stopt de robot. Ook zijn deze systemen vaak heel duur.

2. De Oplossing: De "Spier-Telepathie"

DexEMG gebruikt spiertrillingen (sEMG). Denk aan je onderarm als een zee van kleine motoren (spieren). Als je je duim beweegt, sturen je hersenen een elektrisch signaal naar die spier. Dat signaal is heel zwak, maar het is er.

Het DexEMG-systeem is als een gevoelige radio die op die spiertrillingen afstemt. Je doet een licht armbandje om je onderarm, en dat armbandje "luistert" naar wat je spieren willen doen.

3. De Magische Vertaler: "EMG2Pose"

Het grootste probleem is dat spiertrillingen heel rommelig zijn. Het is alsof je probeert een gesprek te horen in een drukke fabriekshal. Hoe vertaal je die ruis naar een precieze beweging?

Hier komt de EMG2Pose (een slim computerprogramma) om de hoek kijken.

• De Training: Eerst hebben de onderzoekers iemand een speciale handschoen laten dragen die precies meet wat de hand doet, terwijl het armbandje de spiertrillingen opneemt. Het programma heeft duizenden keren gekeken: "Ah, als de spier hier zo trilt, beweegt de duim zo."
• De Vertaling: Het programma leert niet alleen wat je doet, maar ook hoe snel je het doet. Het is alsof het programma leert om de "intentie" van je spieren te lezen, in plaats van alleen de statische houding.
• Het Resultaat: Zodra het programma getraind is, kun je de zware handschoen uittrekken. Je doet alleen het lichte armbandje om, en de robothand volgt je bewegingen alsof het een verlengstuk van je eigen lichaam is.

4. Waarom is dit zo cool? (De Analogieën)

• Onzichtbaar en Ongezien:
  Stel je voor dat je in een donkere kamer of tussen een berg rommel zit. Een camera ziet niets als je hand bedekt is. Maar spiertrillingen? Die stoppen niet als je hand bedekt is. Het armbandje "ziet" wat je hand doet, zelfs als je hand in een doos zit. Het is onzichtbare controle.

• De "Nieuwe Objecten" Test:
  Vaak zijn robots gek op dingen waar ze voor getraind zijn, maar paniek als ze iets nieuws zien. DexEMG is als een veelzijdige kok. Als je een kok hebt getraind om een ei te pellen, kan hij dat ook met een tomaat, een appel of een vreemd vormig stukje fruit. De robot van DexEMG kan nieuwe voorwerpen vastpakken zonder dat je hem opnieuw hoeft te programmeren.

• Lange Taken:
  De robot kan niet alleen een kopje vastpakken, maar ook een hele taak uitvoeren, zoals verpakken (een doos vullen) of vegen (een tafel schoonmaken). Het is alsof je de robot niet alleen een knop laat indrukken, maar hem een hele dagtaak geeft.

5. Wat is er nog niet perfect?

Het systeem is nog niet perfect. Soms is de "radio" wat ruisig als je een heel vreemd gevormd voorwerp vastpakt. Ook moet je het systeem nog even "kalibreren" als je een nieuwe gebruiker bent (net als het afstemmen van een radio op een nieuw station). En je krijgt geen gevoel terug (je voelt niet of je een ei vastpakt of een steen), wat lastig kan zijn voor delicate taken.

Conclusie

DexEMG is een lichtgewicht, goedkoop en slim systeem dat de kloof overbrugt tussen wat je hersenen willen en wat een robot doet. Het maakt het mogelijk om een robot met een menselijke hand te besturen met alleen een armbandje, zonder zware apparatuur of dure camera's. Het is een grote stap naar robots die echt in onze huizen kunnen werken, waar ze onhandig en onzichtbaar kunnen zijn, maar toch precies doen wat we willen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "DexEMG: Towards Dexterous Teleoperation System via EMG2Pose Generalization" in het Nederlands.

Titel: DexEMG: Een wendbaar telebesturingssysteem via EMG2Pose Generalisatie

1. Het Probleem

De integratie van dexterous (wendbare) robotische handen in ongestructureerde huiselijke omgevingen (zoals slimme huizen en zorginstellingen) vereist een telebesturingssysteem dat zowel intuïtief als fysiek onopvallend is. Bestaande systemen kampen met een fundamenteel compromis tussen prestaties en draagbaarheid:

• Exoskeletten: Bieden hoge precisie maar zijn zwaar, oncomfortabel, duur en vereisen complexe hardware-aanpassingen bij wijzigingen in de robothand.
• Vision-based systemen (Camera's): Zijn niet-invasief maar afhankelijk van zichtlijnen, gevoelig voor occlusie (verduistering door objecten of de hand zelf), duur en vereisen vaak gecontroleerde omgevingen met specifieke infrastructuur.

Er is een dringende behoefte aan een lichtgewicht, kosteneffectief en robuust alternatief dat de intentie van de mens direct vertaalt naar robotacties zonder deze beperkingen.

2. Methodologie

Het paper introduceert DexEMG, een systeem dat oppervlakte-elektromyografie (sEMG) gebruikt om spieractiviteit in de onderarm te decoderen naar continue robotische handbewegingen. Het systeem bestaat uit drie hoofdfasen:

• Dataverzameling en Kinematische Retargeting:

  • Er wordt een gesynchroniseerde dataset verzameld waarbij sEMG-signalen (via een gForce 8-kanaals armband) worden opgenomen tegelijkertijd met de grondwaarheid van handposities (via een Manus MoCap handschoen).
  • Een kinematische retargeting-algoritme mapt de menselijke handposities naar een 22-DOF (degrees of freedom) robotische hand (Sharpa Wave). Dit wordt geformuleerd als een optimalisatieprobleem dat de afstand tussen anatomische landmarks (bijv. vingertoppen) minimaliseert.
  • Veiligheidsbeperkingen worden toegepast om botsingen te voorkomen, zodat de gegenereerde labels fysiek uitvoerbaar zijn.

• EMG2Pose Architectuur (Het Model):

  • Het model gebruikt een encoder-decoder structuur.
  • Encoder: Verwerkt ruwe sEMG-inputs (8 kanalen) via Conv1d-blokken en Time-Depth Separable (TDS) stages om ruimtelijk-temporale features te extraheren.
  • Decoder: In plaats van absolute hoeken te voorspellen, gebruikt een LSTM-netwerk gecombineerd met een MLP om gewrichtsnelheden ($\dot{\theta}$) te schatten. De absolute posities worden iteratief reconstrueerd ($\theta_t = \theta_{t-1} + \dot{\theta}_t$).
  • Voordeel: Het voorspellen van snelheden maakt het systeem robuuster tegen sensorverschuivingen en signaaldrift tijdens langdurige grepen.

• Real-time Implementatie:

  • Tijdens gebruik wordt de MoCap-handschoen verwijderd. De gebruiker draagt alleen de sEMG-band en een ruimtelijke tracker (HTC Vive Tracker) voor de pols.
  • Het systeem voert online inferentie uit op een schuivend venster van sEMG-data, genereert actie-chunks en stuurt deze in real-time naar de robot.

3. Belangrijkste Bijdragen

1. Lichtgewicht en Kostenefficiënt Systeem: Een draagbaar framework dat dure visuele motion capture of zware exoskeletten elimineert, waardoor de drempel voor dexterous manipulatie significant daalt.
2. Robuuste Generalisatie: Het systeem demonstreert sterke prestaties op nieuwe objecten en in ongestructureerde omgevingen zonder intensieve herkalibratie per gebruiker.
3. Succesvolle Lange-Horizon Taken: Het bewijst dat sEMG geschikt is voor complexe, meervoudige taken (zoals verpakken en wissen) die overgaan in contactrijke manipulatie.

4. Resultaten

De evaluatie omvatte nauwkeurigheid, generalisatie en schaalbaarheid:

• Nauwkeurigheid (Pose Estimation):

  • Het model bereikte een gemiddelde absolute fout (MAE) van 0.09 rad voor basisgrepen en 0.15 rad voor complexe in-hand rotaties.
  • Het systeem volgt dynamische bewegingen nauwkeurig met minimale fasevertraging.

• Generalisatie (Objecten en Omgevingen):

  • Getrainde objecten: Succespercentage (SR) van 76,0% met een drop-rate (DR) van 14,5%.
  • Ongeziene objecten: SR daalt naar 66,0%, wat aantoont dat het model algemene motorpatronen leert in plaats van specifieke objecten te memoriseren.
  • Nieuwe scenario's (geclutterde omgevingen): SR daalt naar 56,0%. De daling wordt toegeschreven aan moeilijkheden in de armplanning (benadering), niet aan een falen van het EMG2Pose-model zelf. Symmetrische objecten (zoals bollen) behielden zelfs 80% SR.

• Lange-Horizon Taken:

  • Voor taken zoals "Desktop Packaging" en "Table Wiping" werd een One-shot SR van respectievelijk 60% en 40% bereikt.
  • Met toestaan van opnieuw proberen (retries) steeg de SR naar 80% (packaging) en 70% (wissen), wat aangeeft dat het systeem niet in onherstelbare toestanden belandt na een mislukking.

5. Betekenis en Conclusie

DexEMG biedt een schaalbaar en intuïtief alternatief voor bestaande telebesturingssystemen. Door sEMG te gebruiken, wordt het systeem immuun voor optische occlusie (een groot probleem bij camera's) en fysieke restricties (bij exoskeletten).

• Toekomstperspectief: Hoewel het systeem nu nog individuele kalibratie vereist en geen krachtfeedback biedt, legt het de basis voor toekomstige foundation-modellen die cross-user generalisatie mogelijk maken en de integratie van tactiele feedback voor nog precisievere taken.
• Impact: Dit werk opent de deur voor de toepassing van dexterous robots in de dagelijkse levensomgevingen, assistieve technologieën en het verzamelen van grote datasets voor robotleren, zonder de hoge kosten en complexiteit van traditionele methoden.