A Visuo-Tactile Data Collection System with Haptic Feedback for Coarse-to-Fine Imitation Learning

Technische Samenvatting: Een Visuo-Tactiel Dataverzamelingssysteem met Haptische Feedback voor Grof-naar-Fijn Imitatieleren

Probleemstelling
Imitatieleren (IL) voor contactrijke manipulatie vereist hoogwaardige menselijke demonstraties die zowel fysieke interactiekrachten als de temporele structuur van taken vastleggen (bijvoorbeeld het onderscheiden tussen grove aanloopbewegingen en fijne aanpassingen). Conventionele dataverzamelpijplijnen lijden aan twee primaire beperkingen:

1. Gekoppelde Haptiek: Kinematische interfaces (bijvoorbeeld pistoolgrepen) scheiden de operator fysiek van het eind-effector van de grijper. Dit verhindert dat de operator contactkrachten voelt, waardoor het moeilijk wordt om de subtiele krachtsmodulatie te demonstreren die nodig is voor fijnmazige controle.
2. Gebrek aan Structurele Annotatie: Bestaande systemen missen ingebouwde mechanismen voor operators om takenkritieke gebieden of overgangen in real-time te markeren. Bijgevolg missen datasets vaak de structurele labels die vereist zijn door grof-naar-fijn leeralgoritmen, die vertrouwen op fase- of regio-annotaties om taken te modelleren als sequentiële fasen.

Methodologie
De auteurs stellen een nieuw visuo-tactiel dataverzamelingssysteem voor dat is ontworpen om deze beperkingen aan te pakken door directe mens-robotinteractie en real-time annotatie.

• Hardware-ontwerp:

  • Direct-aangedreven Grijper: Het systeem maakt gebruik van een op maat gemaakt, 3D-geprinte twee-kaken grijper waarbij de operator de kaken direct met zijn vingers bedient via een compacte mechanische koppeling. Dit behoudt de natuurlijke mapping tussen vingerbeweging en grijperbreedte, waardoor de operator contactinduced weerstand kan waarnemen en kracht natuurlijk kan moduleren.
  • Visuo-Tactiel Sensing:
    • Visueel: Een GoPro-camera met een viserooglens is boven de grijper gemonteerd om een egocentrisch zicht met een groot gezichtsveld te bieden, zodat context behouden blijft zelfs bij gedeeltelijke zelfocclusie.
    • Tactiel: Op de binnenkanten van beide kaken zijn aangepaste 3D-ViTac-sensoren gemonteerd. Elke sensor bestaat uit een piezoresistief vel tussen twee orthogonale sets van geleidende draden, die een dichte $16 \times 16$ array vormen. Deze configuratie vangt contactaanwezigheid, normaalkracht op en maakt reconstructie van contactgeometrie mogelijk, inclusief oppervlakken die voor de camera verduisterd zijn.
  • Annotatie-interface: Een drukknop gemonteerd op het handvat stelt de operator in staat om takenkritieke gebieden in real-time te labelen. Een Arduino-microcontroller leest de knopstatus samen met tactiele en visuele data en neemt tijdstempel-signalen op voor precieze temporele uitlijning.

• Dataverzameling en Verwerkingspijplijn:

  • Synchronisatie: Tijdens een demonstratie neemt het systeem gelijktijdig video, tactiele arrays en knopstatussen op met precieze tijdstempels.
  • Nabewerking: Na dataverzameling wordt de 6-DoF pose van het eind-effector geschat met het ORB-SLAM3-algoritme toegepast op de opgenomen video. De grijperbreedte wordt apart bijgehouden met behulp van ArUco-markers die aan de kaken zijn bevestigd.
  • Datasetconstructie: Alle modaliteiten (RGB-afbeeldingen, 6-DoF pose, grijperbreedte, $16 \times 16$ krachtmatrices en binaire annotatiesignalen) worden gesynchroniseerd met hun tijdstempels om een samenhangende, tijd-geïndexeerde dataset te creëren.

• Data-representatie:
  De resulterende dataset bestaat uit tijd-uitgelijnde sequenties die visuele observaties, proprioceptieve data, tactiele metingen en labels voor kritieke gebieden bevatten. Het systeem demonstreert deze capaciteit bij een taak met het invoegen van een speelgoed (een zeskantige moersleutel vastgrijpen en invoegen in een gekantelde standaard), waarbij de operator de "grove" fase (aanloop en grijpen) en de "fijne" fase (precisie-uitlijning en invoegen) labelt.

Belangrijkste Bijdragen

1. Haptisch-bewarend Interface: Een direct-aangedreven grijperontwerp dat operators in staat stelt contactrijke manipulatie uit te voeren terwijl ze natuurlijke haptische feedback behouden, wat het demonstreren van subtiele krachtsmodulatie faciliteert.
2. In-Situ Temporele Annotatie: Een real-time labelmechanisme dat operators toestaat om taakovergangen expliciet te markeren (bijvoorbeeld grof-naar-fijn schakelingen), waardoor datasets worden gegenereerd die compatibel zijn met grof-naar-fijn leeralgoritmen.
3. Multimodale Synchronisatie: Een pijplijn die handkrachtsperceptie (via 3D-ViTac) fuseert met in-situ temporele annotaties, waardoor gestructureerde datasets worden geproduceerd die zowel contactgeometrie als taakfase-informatie vastleggen.

Resultaten en Demonstraties
Het artikel presenteert een samenvatting van een enkele demonstratie van een speelgoed-invoegtaak om de output van het systeem te illustreren. De verzamelde data omvat:

• Trajectvisualisatie: 3D-positietrajecten geschat via SLAM, met nadruk op kritieke intervallen (bijvoorbeeld krappe speling tijdens invoegen).
• Tactiele Feedback: Visualisaties van tactiele afdrukken die de vorm van de sleutel tijdens het grijpen en de aanloop tonen, waardoor directe signalen worden geboden voor correcte invoerhoeken die moeilijk alleen uit afbeeldingen te infereren zijn.
• Temporele Structuur: Duidelijke segmentatie van de taak in grove en fijne fasen op basis van de knopinput van de operator, visualiserd naast de grijperbreedte en gebeurtenismerkers (grijpen, aanlopen, invoegen).

Betekenis en Claims
De auteurs beweren dat dit systeem een waardevol hulpmiddel biedt voor de doorbraak in onderzoek naar robotische manipulatie door de kloof in datakwaliteit voor contactrijke taken aan te pakken. Specifiek stelt het systeem de ontwikkeling van hoogwaardige manipulatiebeleid in staat door:

• Grof-naar-fijn leeralgoritmen te faciliteren die structurele takenkennis (fase/regio-annotaties) benutten.
• Onderzoek te ondersteunen in inverse constraint learning, waarbij beperkingen worden hersteld uit demonstraties.
• Imitatieleren met ondersteuning van grote taalmodellen mogelijk te maken door rijke, gestructureerde multimodale data te leveren.

Het artikel benadrukt dat door het behoud van natuurlijke haptische waarneming en het expliciet vastleggen van temporele structuur, het systeem de beperkingen van conventionele gekoppelde interfaces overwint, waardoor het verzamelen van demonstraties mogelijk wordt die zowel fysiek accuraat als structureel informatief zijn.