Symmetry-Aware Fusion of Vision and Tactile Sensing via Bilateral Force Priors for Robotic Manipulation

1. Het Probleem

Robotische invoegtaken (zoals het steken van een plug in een stopcontact of het schroeven van een moer) vereisen nauwkeurige, contactrijke interacties die vaak te subtiel zijn voor visuele perceptie alleen.

• Beperkingen van visie: Visie-gebaseerde beleidslijnen (policy) excelleren in globale scene-herkenning en objectlocatie, maar falen vaak bij het detecteren van micro-slip, compliance (vervorming) of kleine misaligneringen tijdens contact. Ze zijn ook gevoelig voor occlusie en lichtomstandigheden.
• Beperkingen van naïeve fusie: Hoewel tactiele feedback waardevol is, hebben eerdere studies (zoals TacSL) aangetoond dat een naïeve concatenatie (samenvoegen) van visuele en tactiele features vaak leidt tot geen of zelfs negatieve prestatieverbeteringen. Dit komt door de moeilijkheid om heterogene representaties te synchroniseren en het risico dat modale specifieke signalen worden verwaterd.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat visuele en tactiele waarnemingen combineert via een Cross-Modal Transformer (CMT), versterkt door een fysiek geïnformeerde regularisatie.

A. Cross-Modal Transformer (CMT)

In plaats van eenvoudige concatenatie, gebruikt de CMT een hiërarchische attention-mechanisme:

1. Intra-modale Self-Attention: Voor tactiele data wordt eerst self-attention toegepast op de gecombineerde features van de linker- en rechtervinger. Dit zorgt voor een coherente structuur binnen de tactiele modale zelf.
2. Inter-modale Cross-Attention: Visuele data (van een polskamera) fungeert als de query (voor globale uitlijning), terwijl de verwerkte tactiele data fungeert als key en value (voor lokale correctie). Dit modelleert de rolverdeling: visie geeft de grove richting, tactiel zorgt voor de fijne afstelling.

B. Fysiek Geïnformeerde Symmetrie Regularisatie

Geïnspireerd door menselijke motorische controle (waarbij bilaterale krachtbalans stabiliteit garandeert), introduceren de auteurs een extra verliesfunctie ($L_{sym}$):

• Principe: Bij symmetrische objecten zouden de krachten op de linker- en rechtervinger gespiegeld moeten zijn.
• Implementatie: De tactiele kaart van de rechtervinger wordt verticaal gespiegeld en in de feature-ruimte vergeleken met de linkervinger. De Mean Squared Error (MSE) tussen deze twee wordt geminimaliseerd.
• Doel: Deze regularisatie fungeert als een inductieve bias die asymmetrische grijpkrachten onderdrukt voordat invoeging begint en laterale misaligneringen (die tot vastlopen/jamming leiden) tijdens de invoeging reduceert.

C. Training

Het beleid wordt getraind met PPO (Proximal Policy Optimization). Het totale verlies is een combinatie van het PPO-verlies en de symmetrie-regularisatie, gewogen door een hyperparameter $\lambda_{sym}$.

3. Belangrijkste Bijdragen

1. Methodologische Innovatie: De introductie van de Cross-Modal Transformer die visie en tactiel integreert via hiërarchische self- en cross-attention, waardoor synchronisatieproblemen van naïeve fusie worden opgelost.
2. Fysiek Geïnformeerde Regularisatie: Een nieuwe bilaterale krachtsymmetrie-beperking die fysieke principes (balans) direct in het leerproces van het beleid injecteert, wat leidt tot stabielere grijp- en invoegbewegingen.
3. Empirische Validatie: Het aantonen dat deze geavanceerde fusie de prestaties van "privileged" (voorrechtelijke) configuraties (waarbij de robot toegang heeft tot directe contactkrachtdata zonder beeld) benadert, zelfs met realistische sensoren.

4. Resultaten

De experimenten zijn uitgevoerd op de TacSL-benchmark (robotische invoegtaak) en een schroeftaak.

• Succespercentages:

  • Naïeve Fusie: 92,97%
  • Gated Fusie (zonder symmetrie): 94,53%
  • CMT (zonder symmetrie): 96,22%
  • CMT + Symmetrie Regularisatie: 96,59%
  • Privileged Configuratie (Wrist + Contact Force): 96,09% (als referentie voor de bovengrens).
  • Conclusie: De voorgestelde methode overtreft de naïeve en gated baselines en komt zeer dicht in de buurt van (en is zelfs statistisch vergelijkbaar met) de privileged configuratie.

• Kwalitatieve Analyse:

  • Visuele analyse van de krachtfelden toont aan dat naïeve fusie leidt tot onbalans en oscillaties tijdens contact met de wand van het stopcontact.
  • De symmetrie-bewuste CMT houdt de krachten gebalanceerd, wat resulteert in een rechte, soepele invoegtrajectorie met minder correctieve bewegingen.

• Efficiëntie:

  • De CMT heeft een iets hogere latentie (6,52 ms) dan naïeve fusie (5,42 ms), maar blijft ruim binnen de real-time eisen (>150 fps). De prestatiewinst weegt ruimschoots op tegen de kleine rekentijdtoename.

• Schroeftaak: In een aparte experimentele sectie bleek dat een beleid dat alleen op tactiele sensoren leunt, een 100% succes率 bereikte bij het schroeven, wat aantoont dat tactiele feedback soms voldoende is voor zeer contact-rijke taken.

5. Betekenis en Impact

Dit werk benadrukt twee centrale inzichten voor robotica:

1. Tactiele sensoren zijn onmisbaar voor precieze uitlijning in contact-rijke taken; visie alleen is niet genoeg.
2. Principiële multimodale fusie, versterkt door fysiek geïnformeerde regularisatie (zoals symmetrie), kan de complementaire sterktes van visie en aanraking optimaal benutten.

De studie biedt een solide fundament voor robuuste robotische assemblage in de echte wereld, waar omstandigheden onzeker zijn en fysieke interacties complex zijn. Door fysieke principes in het neurale netwerk te embedden, wordt de betrouwbaarheid van robotmanipulatie aanzienlijk verbeterd zonder de noodzaak van dure of onrealistische "privileged" sensoren.