Zero-shot 2D Grounding with Novel Affordance Types

Stel je voor dat je een robot leert hoe hij met de wereld moet omgaan. Je kunt de robot vertellen hoe een "mes" eruitziet, en hij kan er een vinden in een foto. Maar weten wat een mes is, is niet hetzelfde als weten wat je ermee kunt doen. Dit is het verschil tussen objectherkenning en "affordance" (gebruiksmogelijkheid). Affordance is een chic woord voor de verborgen aanwijzingen die een object ons geeft over hoe we het moeten gebruiken. Een handvat van een mok "biedt de mogelijkheid" om vast te pakken; de platte kant van een mes "biedt de mogelijkheid" om te snijden; de schil van een sinaasappel "biedt de mogelijkheid" om te schillen. Voor robots om echt behulpzaam te zijn in onze rommelige, echte keukens en woonkamers, moeten ze deze acties begrijpen, niet alleen de objecten.

De grote uitdaging is geweest dat de meeste robotbreinen zijn getraind als studenten die alleen studeren voor een specifieke toets. Als een robot leert hoe hij een appel moet "snijden", kan hij in de war raken wanneer hem gevraagd wordt een tomaat te "snijden", of hij weet misschien niet hoe hij een banaan moet "schillen" als hij die specifieke handeling nog nooit eerder heeft gezien. Het is als een student die de antwoorden op een wiskunde-werkblad uit het hoofd leert, maar bevriest wanneer de leraar een vergelijkbare vraag stelt met andere getallen. Wetenschappers hebben geprobeerd robots te bouwen die dergelijke nieuwe, onbekende instructies kunnen afhandelen, maar tot nu toe lag de focus vooral op het leren over nieuwe objecten, niet over nieuwe acties.

Dit artikel introduceert een nieuwe manier om robots te leren omgaan met "nieuwe affordance-typen" — in feite nieuwe manieren om dingen te gebruiken die ze nooit expliciet hebben geleerd. De onderzoekers, Haomeng Zhang en Raymond A. Yeh van Purdue University, merkten op dat bestaande AI-modellen geweldig zijn in het vinden van nieuwe objecten, maar verschrikkelijk in het uitzoeken van nieuwe acties. Ze creëerden een nieuwe reeks uitdagingen (benchmarks) om specifiek deze vaardigheid te testen. Ze ontdekten dat de huidige state-of-the-art modellen, die zeer slim zijn in het herkennen van objecten, volledig falen wanneer er gevraagd wordt om de juiste plek te vinden om iets te "schillen" of om iets op te "zitten", als die specifieke acties niet in hun trainingsdata zaten.

Om dit op te lossen, bouwde het team een nieuw systeem genaamd AffordAnything. Denk aan een detective die niet alleen naar het hele plaatje kijkt, maar inzoomt op kleine aanwijzingen. Het systeem realiseert zich dat waar je met een object interacteert, meestal een specifiek deel ervan is (zoals het handvat van een kopje of de rand van een boek). In plaats van te proberen elke mogelijke actie uit het hoofd te leren, gebruikt dit systeem een krachtig, vooraf getraind AI-model (een Visual Language Model) om het object op te delen in kleine segmenten (patches) en te bepalen welk segment overeenkomt met het actiewoord. Bijvoorbeeld, als je vraagt om te "snijden", zoekt het naar de scherpe rand; als je vraagt om te "houden", zoekt het naar het handvat.

De onderzoekers testten twee versies. De eerste, AffordAnything, is een "training-vrije" versie, wat betekent dat het direct werkt zonder dat het opnieuw getraind hoeft te worden. Het presteerde al aanzienlijk beter dan bestaande methoden. De tweede versie, AffordAnything+, is een "trainbare" upgrade die leert hoe het deze aanwijzingen nog beter kan combineren met slechts een klein beetje oefening. Op hun nieuwe testsets verbeterde dit geüpgradede model de nauwkeurigheid van het vinden van de juiste plek met 12,3% (gemeten als een absolute toename in IoU@0.4) vergeleken met de beste vorige methode.

Het artikel betoogt expliciet tegen het idee dat het simpelweg gebruiken van grotere, slimmere AI-modellen of alleen het herkennen van objecten genoeg is. Ze toonden aan dat zelfs de meest geavanceerde modellen falen wanneer de actie nieuw is. Ze demonstreerden ook dat hoewel deze modellen een "mes" kunnen herkennen, ze niet automatisch weten hoe ze een banaan moeten "schillen", tenzij ze specifiek zijn ontworpen om naar de relatie tussen de actie en de vorm van het object te kijken. De resultaten suggereren dat om robots echt aanpasbaar te maken, we moeten stoppen met het aanleren van een vaste lijst met acties en ze moeten leren redeneren over de onderdelen van een object die een actie mogelijk maken. De auteurs hopen dat deze nieuwe manier van het testen en bouwen van deze systemen robots flexibeler en klaar voor de echte wereld zal maken, waar instructies voortdurend veranderen.