Technische Samenvatting: TACTFUL

Probleemstelling

Robotmanipulatie heeft traditioneel vertrouwd op visie voor objectlokalisatie en identificatie, waarbij tactiele waarneming vaak werd behandeld als een secundaire of corrigerende modaliteit. Echter, in visueel geblokkeerde of beperkte omgevingen (bijv. magazijnbakken, rommelige tassen), is visie onbetrouwbaar of niet beschikbaar. Terwijl mensen moeiteloos objecten kunnen lokaliseren en identificeren met behulp van tast en geometrische priors, worstelen robotische systemen met autonome tactiele exploratie. Bestaande tactiele benaderingen vertrouwen vaak op vereenvoudigde contactsignalen, training op basis van simulaties of handmatige heuristieken, met een beperkte demonstratie van hoogwaardige prestaties op realistische hardware voor de gecombineerde taak van het ontdekken van objecten in een onbekende werkruimte en het reconstrueren van hun geometrie voor identificatie.

Methodologie

Het artikel presenteert TACTFUL, een visievrij framework dat een meerfingerige robot in staat stelt om autonoom beperkte werkruimtes te verkennen, objecten te ontdekken via contact en ze te identificeren door middel van tactiele reconstructie. Het systeem werkt volledig op echte hardware zonder simulatie-pretraining.

1. Hardware en Opstelling

Het systeem maakt gebruik van een vijfvingerige Inspire RH56DFTP Serie Dexterous hand gemonteerd op een UR10e robotarm. De hand is uitgerust met 1.062 resistieve taxels die normale contactkrachten meten. De werkruimte is een bak met bekende grenzen die 3D-geprinte objecten bevat die op willekeurige locaties zijn geplaatst. Er worden geen camera's gebruikt.

2. Leerframework (POMDP)

De taak wordt geformuleerd als een Partially Observable Markov Decision Process (POMDP). De agent moet objectlocaties en -vormen afleiden uitsluitend op basis van geaccumuleerde tactiele feedback en proprioceptie.

• Observatieruimte ($O$): Omvat proprioceptieve gegevens (end-effector pose, gewrichtshoeken, handconfiguratie) en hoog-resolutie tactiele metingen. Cruciaal is de inclusie van een Tactile Point Cloud embedding ($c_t$) gegenereerd door Sonata, een zelfgesuperviseerde transformer-gebaseerde encoder die de geschiedenis van tactiele contacten comprimeert tot een representatie van ruimtelijke dekking en geometrische structuur.
• Actieruimte ($A$): Gedefinieerd als incrementele veranderingen aan de end-effector pose ($\Delta p_t$) en de vingergewrichtshoeken ($\Delta h_t$).
• Toestandsrepresentatie: Om temporele afhankelijkheden te verwerken, bestaat de toestand uit een sequentie van de laatste $k=10$ observaties, verwerkt door een Transformer-architectuur met self-attention mechanismen.

3. Trainingsstrategie: BC Initialisatie + PPO

Direct leren van tactiele policies via Reinforcement Learning (RL) in de echte wereld is inefficiënt en riskant. TACTFUL hanteert een tweefasige trainingspipeline:

1. Behavior Cloning (BC) Initialisatie: Een policy wordt offline voorgetraind op 5.311 tactiele, enkel door teleoperatie verkregen demonstraties. Het BC-model leert expert-acties te regresseren (delta pose en configuratie) vanuit de observatietoestand, waarbij basiscontactstrategieën en lokale exploratiepatronen worden gevangen.
2. Online PPO Training: De BC-policy initialiseert de actor in een Proximal Policy Optimization (PPO) framework. De policy wordt online verfijnd op echte hardware.
   • Critic Netwerk: Ontvangt "privileged information" (benaderende 6-DoF pose van het doelobject) om de waarde-estimatie te stabiliseren, wat niet beschikbaar is voor de actor tijdens de implementatie.
   • Actor Netwerk: Gebruikt dezelfde Transformer-architectuur als de critic, maar vertrouwt uitsluitend op observeerbare tactiele en proprioceptieve gegevens.

4. Dynamisch Beloningsschema

Een samengestelde beloningsfunctie begeleidt de agent door verschillende fasen van exploratie en verfijning, waarbij de gewichten evolueren over de tijd ($t$) binnen de episode-horizon ($T$):

• Contactbeloning ($r_{contact}$): Stimuleert nieuwe, ruimtelijk onderscheidende contactpunten (nieuwe taxel-activaties > 5mm van vorige contacten) om een hoge-resolutie oppervlaktebedekking te stimuleren.
• Exploratiebeloning ($r_{explore}$): Moedigt de agent aan om nieuwe regio's van de werkruimte te bezoeken (gevolgd via een 1cm$^3$ voxel grid) om lokale minima te voorkomen en globale ontdekking te garanderen.
• Reconstructiebeloning ($r_{recon}$): Bestraft onnauwkeurige vormrepresentaties door de Chamfer distance te meten tussen de huidige dichte reconstructie en de grondwaarheid.
• Schema: Vroeg in de episode wordt $r_{explore}$ zwaar gewogen om objectontdekking te faciliteren. Naarmate de episode vordert, nemen de gewichten van $r_{contact}$ en $r_{recon}$ toe om oppervlakteverfijning en geometrische nauwkeurigheid te prioriteren.

5. Vormvoltooiing (Shape Completion)

Spaarzame tactiele puntenwolken worden door een voorgetraind point cloud diffusion model gestuurd om dichte, volledige objectgeometrieën te genereren. Dit model fungeert als een geleerd prior over de bekende objectbibliotheek, waardoor de kloof tussen schaarse tactiele data en volledige 3D-vormen wordt overbrugd voor identificatie.

Belangrijkste Bijdragen

1. Geleerd Tactiel Exploratiebeleid: Ontwikkeling van een enkel beleid dat een meerfingerige robot in staat stelt om autonoom beperkte werkruimtes te verkennen en objecten te lokaliseren met behulp van tactiele waarneming alleen, zonder visie.
2. Dynamisch Beloningsschema: Introductie van een tijdvariërend beloningsmechanisme dat globale werkruimte-exploratie balanceert met lokale contactverfijning, waarbij gebruik wordt gemaakt van object-niveau geometrische priors om 3D-reconstructie te sturen.
3. Validatie in de Werkelijkheid: Demonstratie van betrouwbare objectidentificatie op basis van gereconstrueerde tactiele geometrie, volledig getraind op echte hardware zonder simulatie.

Experimentele Resultaten

Het framework werd geëvalueerd op drie geometrisch diverse real-world objecten (een kubus, een vervormde cilinder en een vervormde beker) geplaatst in een bak. De robot kreeg de taak om een specifiek doelwit te lokaliseren tussen afleidingsmanoeuvres.

• Prestaties: De TACTFUL-methode bereikte een succespercentage van 77% (gemiddeld over de objecten) met een gemiddelde Chamfer-L2 reconstructiefout van 0,015 m.
• Vergelijkingen:
  • Presteerde beter dan een Heuristische baseline (0,416–0,5 succespercentage) die geen leerproces van contactfeedback kende.
  • Presteerde beter dan BC-only (0,416–0,583 succespercentage), wat de waarde van online RL-adaptatie aantoont.
  • Presteerde beter dan RL zonder BC-initialisatie (0,583–0,75 succespercentage), wat bevestigt dat BC-initialisatie een cruciale gestructureerde prior biedt voor veilige en efficiënte real-world learning.
• Ablatie-studies:
  • Het verwijderen van een enkele beloningscomponent ($r_{contact}$, $r_{explore}$, of $r_{recon}$) verslechterde de prestaties aanzienlijk, wat de noodzaak bevestigt om exploratie, contactkwaliteit en reconstructienauwkeurigheid in balans te houden.
  • Het verwijderen van het shape completion model verminderde de succespercentages tot 34%, wat de rol ervan benadrukt bij het oplossen van geometrische ambiguïteiten die inherent zijn aan schaarse tactiele data.

Betekenis en Claims

Het artikel claimt dat TACTFUL aantoont dat tactiele waarneming kan dienen als een effectieve primaire modaliteit voor object-niveau redeneren in ongestructureerde, geblokkeerde of beperkte omgevingen, in plaats van slechts een reactieve fallback voor visie. Door het combineren van gestructureerd leren (BC), dynamische beloningsvormgeving en shape completion priors, bereikt het systeem robuuste tactiele lokalisatie en identificatie zonder visuele input. De auteurs merken op dat hoewel het huidige werk beperkt is tot een bekende bibliotheek van drie objecten en statische scènes, de resultaten het potentieel valideren voor autonome tactiele redenering in real-world settings waar visie niet beschikbaar is.