Towards Fine-Grained Object Manipulation: SAM3-Guided Visuomotor Policy with Persistent Memory Learning and Focused Visual Conditioning

Robots zijn al lang meesters in brede, algemene taken: het oppakken van een kopje, het verplaatsen van een doos of het stapelen van blokken. Voor deze taken scant het "oog" van een robot meestal de hele kamer op zoek naar elk object dat aan een algemene beschrijving voldoet zoals "kopje" of "doos". Deze aanpak werkt goed wanneer het doel simpelweg is om een kopje te pakken. Maar de echte wereld is veel specifieker. Stel je voor dat een mens gevraagd wordt om een specifiek rood blikje aardbeiensap te pakken van een plank die vol staat met rode blikjes frisdrank, blauwe blikjes water en groene blikjes thee. Een mens herkent direct het merk, de smaak en de subtiele verschillen in het etiket. Een standaardrobot ziet echter vaak alleen een "rood blikje" en pakt het verkeerde, of raakt in de war door de rommel. Deze kloof tussen algemene objectherkenning en het vermogen om fijne details te onderscheiden — zoals een specifiek model, kleurpatroon of merk — is de grens van fijnmazige manipulatie. De uitdaging is niet alleen het zien van het object, maar het zien van het juiste object tussen vele die er bijna identiek uitzien, en er vervolgens met precisie op handelen.

Een team van onderzoekers heeft een nieuw systeem ontwikkeld dat robots leert dit onderscheid te maken, waardoor ze specifieke items kunnen hanteren, zelfs wanneer er visueel gelijkaardige "tweelingen" in de buurt zijn. Hun aanpak, die gedetailleerd wordt beschreven in een recente studie, gaat verder dan het idee om een robot telkens een nieuwe vaardigheid vanaf nul te leren wanneer hij een nieuw object tegenkomt. In plaats daarvan hebben ze een manier gecreëerd voor de robot om een persistent geheugen op te bouwen van specifieke items die hij heeft leren herkennen. Het systeem is gebouwd bovenop een krachtig visueel fundatiemodel genaamd SAM3, dat uitstekend is in het vinden en omlijnen van objecten in afbeeldingen. De standaardversie van dit model is echter beperkt; men kan het de opdracht geven om "een kopje" te vinden, maar het heeft moeite om "het specifieke blauwe kopje met de chip aan de rand" te vinden wanneer er direct naast een bijna identiek blauw kopje staat. De onderzoekers hebben dit opgelost door een "geheugenbank" te creëren waar de robot unieke digitale vingerafdrukken opslaat voor elk specifiek item dat hij moet leren herkennen.

Om dit geheugen op te bouwen, hebben de onderzoekers niet het hele enorme visuele systeem opnieuw getraind, wat traag en rekenintensief zou zijn. In plaats daarvan hielden ze de kern van de visuele motor bevroren en leerden ze het een nieuwe truc: hoe je een specifieke set interne "tokens" associeert met een specifiek object. Ze lieten de robot enkele tientallen foto's zien van een doelitem, zoals een rood Wontae aardbeiensapblikje, tegen een egale achtergrond. Door een proces van leren wat dat specifieke blikje anders maakt dan andere rode blikjes, genereerde het systeem een compacte set geheugentokens. Deze tokens fungeren als een persistent legitimatiebewijs voor dat specifieك object. Eenmaal opgeslagen, kan de robot dit legitimatiebewijs ophalen wanneer hij dat specifieke blikje opnieuw moet vinden, zelfs als het blikje in een andere kamer staat, onder andere lichtomstandigheden of omringd wordt door verwarrende look-alikes. Dit stelt de robot in staat om tussen taken te schakelen door simpelweg het geheugentoken te wisselen waar hij naar op zoek is, in plaats van de hele taak opnieuw te leren.

De tweede grote innovatie is hoe de robot dit geheugen gebruikt om te beslissen wat hij moet doen. In veel robotsystemen is de visuele informatie een wazige mix van de hele scène, wat de besluitvorming van de robot kan afleiden. De onderzoekers introduceerden een methode genaamd gefocuste ruimtelijke-verschijningscodering (focused spatial-appearance encoding). Deze techniek dwingt de robot om alles buiten het doelobject te negeren. Het neemt de exacte vorm en locatie van het doelwit, zoals geïdentificeerd door de geheugentokens, en extraheert alleen de visuele details van binnen die vorm. Het combineert dit met de precieze coördinaten van waar het object zich bevindt. Door de actieplanner van de robot alleen deze gefocuste, hoogwaardige gegevens te voeden, zorgt het systeem ervoor dat de robot reageert op het specifieke item dat hij moest vinden, en niet op de achtergrondrommel of vergelijkbare buren. Dit gefocuste beeld wordt vervolgens doorgegeven aan de besturingssoftware van de robot, die de vloeiende bewegingen berekent die nodig zijn om het object te grijpen of te duwen.

De onderzoekers testten dit systeem op een echte robotarm uitgerust met twee camera's, waarbij één camera een derde-persoonsperspectief van de tafel biedt en een andere op de arm is gemonteerd voor een eerste-persoonsperspectief. Ze creëerden een dataset van dertig verschillende fysieke objecten, variërend van blikjes en kopjes tot deksels en dozen, waarvan er veel visueel gelijkaardige tegenhangers hadden. In een reeks tests kreeg de robot de opdracht om een specifiek blikje op te pakken terwijl er andere blikjes van dezelfde kleur maar andere merken in de buurt werden geplaatst. Standaard robotische beleidssystemen, die vertrouwen op algemene scènebeschrijvingen, faalden regelmatig in deze scenario's, waarbij ze vaak het verkeerde blikje pakten of in de war raakten door de afleidende elementen. Het nieuwe systeem identificeerde en manipuleerde het juiste doelwit echter succesvol in bijna alle proeven. Wanneer de onderzoekers het doelwit vervingen door een ander object van hetzelfde type maar een ander merk, haalde de robot simpelweg het nieuwe geheugentoken op en voerde de taak correct uit zonder enige nieuwe training of demonstraties.

De resultaten toonden aan dat het systeem onderscheid kon maken tussen objecten die visueel bijna identiek waren, een taak die andere methoden in verwarring bracht. In tests waarbij de robot een specifiek item uit een groep van drie of vier vergelijkbare objecten moest halen, behield de nieuwe aanpak een hoge succesratio, terwijl andere methoden een significante daling in prestaties lieten zien. Het systeem bleek ook robuust wanneer de robot het object naar een nieuwe locatie moest verplaatsen, aangezien de gefocuste visuele codering de robot hielp de veranderende positie en oriëntatie van het item te volgen. De onderzoekers merkten op dat het systeem niet perfect is: als de unieke kenmerken van een object verborgen zijn, zoals het etiket van een blikje dat van de camera is afgewend, kan de robot het niet identificeren. Bovendien, door zo strikt op het doelwit te focussen, kan de robot andere obstakels in de scène missen, wat een beperking kan zijn bij het navigeren door complexe omgevingen. Desalniettemin vormt dit werk een belangrijke stap voorwaarts in het geven van het vermogen aan robots om de subtiele, specifieke eisen van real-world taken aan te kunnen, waardoor ze transformeren van algemene grijpers naar precieze operatoren die in staat zijn het bekende van het verwarrende te onderscheiden.