Zero-Shot Transfer of Force Map Estimation Across GelSight Mini Sensors

In de wereld van de robotica is het een uitdaging om machines het vermogen te geven te voelen, een uitdaging die lang heeft geleund op menselijke handen. Hoewel robots met toenemende verfijning kunnen zien en horen, blijft hun tastzin vaak een fragiele, op maat gemaakte aangelegenheid. Onderzoekers bouwen gespecialiseerde sensoren die lijken op zachte, rubberachtige ogen, die afbeeldingen vastleggen van wat ze aanraken om textuur en druk te begrijpen. Het maken van deze sensoren is echter niet zoals het stempelen van identieke onderdelen op een fabriekslijn. Omdat ze vaak met de hand in laboratoria worden geassembleerd, is geen twee sensoren precies hetzelfde. De ene kan een iets andere tint achtergrondkleur hebben, of een gellaag die een fractie van een millimeter dikker is dan een andere. Dit gebrek aan uniformiteit creëft een aanzienlijke hindernis: een computerprogramma dat getraind is om het "gevoel" van één specifieke sensor te begrijpen, faalt vaak volledig wanneer het een andere eenheid krijgt aangeboden, zelfs als ze er bijna identiek uitzien. Om dit op te lossen, moeten wetenschappers meestal enorme hoeveelheden nieuwe gegevens verzamelen en hun modellen opnieuw trainen voor elke nieuwe sensor die ze bouwen, een traag en duur proces dat de vooruitgang van de robotische behendigheid vertraagt.

Een team van onderzoekers aan de Universiteit van Alicante heeft een manier voorgesteld om deze cyclus te doorbreken, waardoor een computer kan leren hoe hij de tast van één sensor kan lezen en die kennis vervolgens kan toepassen op elke andere sensor van hetzelfde type, zonder eerst een enkel nieuw voorbeeld te hoeven zien. Hun werk richt zich op een specif Kind van apparaat genaamd de GelSight Mini, die een camera gebruikt om foto's te maken van een zacht, transparant oppervlak terwijl het tegen objecten wordt gedrukt. Wanneer een object het oppervlak aanraakt, creëert dit een uniek patroon van licht en schaduw dat de vorm en de kracht van het contact onthult. De onderzoekers ontwikkelden een tweestapsysteem dat eerst de afbeelding van de aanraking opschoont, door de unieke "vingerafdruk" van de specifieke sensor te verwijderen, en vervolgens die opgeschoonde afbeelding gebruikt om te berekenen hoeveel kracht er in elke richting wordt uitgeoefend. Door dit te doen, lieten ze zien dat een model dat getraind is op slechts één sensor, de krachten op volledig andere sensoren nauwkeurig kan voorspellen, zelfs die met verschillende achtergrondkleuren, waarbij een nauwkeurigheidsniveau wordt bereikt dat wedijvert met systemen die met speciale markeringen zijn getraind.

De kern van hun ontdekking ligt in een methode die de verschillen tussen sensoren behandelt als een probleem van vertaling in plaats van een barrière. Stel je voor dat je probeert een verhaal te begrijpen dat geschreven is in een dialect dat je niet spreekt; in plaats van elk nieuw dialect vanaf nul te leren, vertaal je het verhaal eerst naar een standaardtaal die je goed kent, en leest het dan. De onderzoekers pasten deze logica toe op tactiele afbeeldingen. Ze bouwden een systeem dat de ruwe afbeelding van een nieuwe, onbekende sensor neemt en deze reconstrueert tot een "algemene" afbeelding die eruitziet alsof deze afkomstig is van een standaard, geïdealiseerde sensor. Deze eerste fase gebruikt een type kunstmatige intelligentie die getraind is op een grote collectie afbeeldingen van een enkele sensor, waarbij de machine leerde de essentiële kenmerken van een aanraking te herkennen terwijl de specifieke achtergrondkleur of kleine imperfecties van die ene eenheid werden genegeerd. Het resultaat is een schone, gestandaardiseerde afbeelding die de unieke eigenaardigheden van de hardware wegstript, waardoor alleen de pure informatie over het aangeraakte object overblijft.

Zodra de afbeelding is gestandaardiseerd, neemt de tweede fase van het systeem het over om de fysieke krachten te bepalen. De onderzoekers ontdekten dat het simpelweg bekijken van de gereconstrueerde afbeelding niet genoeg was; ze moesten precies benadrukken waar het contact plaatsvond. Om dit te doen, trokken ze de achtergrond van de gereconstrueerde afbeelding af van de originele afbeelding, waardoor een verschilafbeelding ontstond die alleen de contactpunten liet zien. Deze heldere, contrastrijke afbeelding werd vervolgens gevoed aan een tweede neuraal netwerk dat ontworpen is om de krachtkaart te voorspellen. Dit netwerk berekent hoeveel druk er wordt uitgeoefend in drie dimensies: naar beneden duwen, en zijwaarts duwen in twee richtingen. Het team testte deze aanpak met een dataset van meer dan 18.000 afbeeldingen, waarbij ze eerst kleine, gekleurde markeringen moesten verwijderen die oorspronkelijk werden gebruikt om de computer te helpen de krachten te zien. Ze creëerden een algoritme om deze markeringen digitaal te wissen, waardoor schone afbeeldingen van de aanraking overbleven, en trainden hun systeem om de krachten vanuit deze marker-vrije afbeeldingen te voorspellen.

De resultaten van dit experiment waren verrassend robuust. Wanneer het systeem werd getest op sensoren die het nog nooit eerder had gezien, inclusief eenheden met verschillende achtergrondkleuren en licht verschillende fysieke eigenschappen, presteerde het met opmerkelijke consistentie. In de eerste fase, waar het systeem de tactiele afbeeldingen reconstrueerde, bereikte het een hoge mate van gelijkenis met de originele, real-world afbeeldingen, met een score die aangeeft dat de gereconstrueerde foto's bijna ononderscheidbaar waren van de echte foto's in termen van structuur en detail. In de tweede fase, bij het voorspellen van de werkelijke krachten, maakte het systeem fouten die zeer klein waren, gemiddeld net iets meer dan één newton verschil van de werkelijke kracht. Ter context: één newton is ongeveer het gewicht van een kleine appel, wat betekent dat de gok van het systeem ongeveer het gewicht van een enkele appel afweek over het gehele oppervlak van de sensor. Dit niveau van precisie werd bereikt, zelfs terwijl het systeem nooit getraind was op de specifieke sensoren waarop het werd getest, wat bewees dat de methode kan generaliseren over verschillende hardware-eenheden.

De onderzoekers vergeleken hun marker-vrije aanpak ook met systemen die nog steeds de traditionele gekleurde markeringen gebruiken. Ze vonden dat hoewel markeringen helpen de fouten iets te verminderen, het verschil niet groot genoeg was om de complexiteit en visuele obstructie die ze veroorzaken te rechtvaardigen. Het systeem dat getraind is op schone, marker-vrije afbeeldingen presteerde bijna net zo goed als het systeem met markeringen, wat suggereert dat de digitale verwijdering van deze markeringen een succesvolle strategie was. Bovendien was het hele proces snel genoeg om in real-time toepassingen te worden gebruikt. Het systeem kon een afbeelding verwerken en de krachtkaart produceren in minder dan twintig milliseconden, wat snel genoeg is om het tempo bij te houden waarmee deze sensoren afbeeldingen vastleggen. Deze snelheid is cruciaal voor robots die direct moeten reageren op hun omgeving, zoals een robotische hand die zijn grip aanpast op een kwetsbaar object.

Ondanks deze successen waren de onderzoekers voorzichtig om de beperkingen van hun huidige werk te vermelden. Het systeem had moeite wanneer de krachten extreem laag waren, nabij nul, of extreem hoog, de maximale limiet van de sensor naderend. Het had ook moeite met het voorspellen van de exacte vorm van het contactoppervlak wanneer de krachten zeer hoog waren of wanneer het object met aanzienlijke kracht zijwaarts werd geduwd. Dit zijn gebieden waar het begrip van het model over de fysica van aanraking nog niet compleet is. De auteurs suggereren dat toekomstige verbeteringen kunnen bestaan uit het toevoegen van specifieke trainingsregels om de computer beter de geometrie van het contact te laten begrijpen, zodat de vorm van de aanraking net zo nauwkeurig wordt bewaard als de kracht zelf.

Dit werk vormt een belangrijke stap naar het praktisch bruikbaar maken van tactiele detectie voor wijdverspreid gebruik. Door aan te tonen dat een model dat getraind is op een enkele sensor kan generaliseren naar vele anderen, hebben de onderzoekers een belangrijke flessenhals in de ontwikkeling van de robotische tast verwijderd. Hun methode laat zien dat het mogelijk is om een universele "vertaler" voor tast te bouwen, een die de rommelige, variabele output van real-world sensoren kan nemen en deze kan omzetten in een schoon, betrouwbaar signaal dat een robot kan begrijpen. Deze aanpak vereist niet de enorme datasets of de perfecte productieomstandigheden die voorheen als noodzakelijk werden beschouwd, en biedt een flexibelere en efficiëntere weg vooruit voor de volgende generatie machines die de wereld echt kunnen voelen.