Retrospective Open-Vocabulary Memory for Long-Term Object Search

Robots die zich door de wereld bewegen worden steeds beter in het zien, maar ze zijn nog steeds erg slecht in het onthouden waar dingen gewoonlijk zijn. Stel je een robot voor met de taak om een verloren sleutelbos te vinden in een huis dat hij al vele malen heeft bezocht. Als de robot zich alleen herinnert wanneer hij de sleutels voor de allerlaatste keer heeft gezien, kan hij op de verkeerde plek zoeken als de sleutels gisteren zijn verplaatst. Als hij simpelweg telt hoe vaak hij de sleutels op een specifieke plek heeft gezien, kan hij worden misleid door zijn eigen pech: misschien is hij honderd keer langs de keukentafel gelopen zonder er naar beneden te kijken, terwijl hij slechts één keer vluchtig naar de bank in de woonkamer keek en daar de sleutels zag liggen. Een eenvoudige telling zou de robot doen denken dat de bank de beste plek is om te zoeken, ook al is de tafel eigenlijk de plek waar de sleutels meestal horen te liggen. Dit is de kern van het probleem van langdurig objectzoeken: het onderscheid maken tussen waar een object werkelijk thuishoort en waar de robot toevallig naar heeft gekeken.

Om dit op te lossen, hebben onderzoekers aan de National University of Singapore een nieuwe manier ontwikkeld voor robots om een geheugen van hun omgeving op te bouwen. Ze noemen hun systeem ECROM, wat staat voor Exposure-Calibrated Retrospective Open-Vocabulary Memory. Het team testte dit systeem in een reeks gecontroleerde simulaties in tien verschillende digitale huizen, waarbij objecten werden verplaatst volgens verborgen patronen en het pad van de robot doelbewust werd gevarieerd zodat sommige oppervlakken vaak en andere zelden werden gezien. Ze ontdekten dat door te kijken naar wat de robot zag tegenover hoeveel van een oppervlak hij daadwerkelijk de kans had om te zien, de robot de ware gewoonten van objecten kon leren. Wanneer de robot werd gevraagd om voorwerpen te vinden waar hij nog nooit eerder naar had moeten zoeken, hielp dit nieuwe geheugensysteem de robot om het doel veel sneller en betrouwbaarder te vinden dan eerdere methoden.

De uitdaging die de onderzoekers aanpakten, is geworteld in de rommelige realiteit van hoe robots bewegen. In een echt huis scant een robot niet elk centimeter van elke kamer met perfecte helderheid. Hij kan door een keuken lopen terwijl hij naar het plafond kijkt, of langs een eettafel passeren die gedeeltelijk wordt geblokkeerd door een stoel. Als een robot simpelweg telt hoeveel keer hij een "strohoed" op een tafel versus een kookeiland heeft gedetecteerd, kan hij het antwoord fout krijgen als hij meer tijd doorbracht met kijken naar het eiland. De hoed kan de helft van de tijd op de tafel liggen, maar als de robot alleen maar naar het eiland heeft gekeken, zou een eenvoudige telling suggereren dat het eiland de thuisbasis van de hoed is. De onderzoekers realiseerden zich dat om te leren waar dingen gewoonlijk voorkomen, een robot de bewijzen van de aanwezigheid van een object moet scheiden van de kans die hij had om het te zien. Een gemiste detectie is alleen betekenisvol als de robot daadwerkelijk in de juiste richting keek; als de robot de andere kant op keek, zegt de afwezigheid van een detectie ons niets.

Om dit idee te testen, creëerde het team een benchmark genaamd LOOP-Bench, die bestaat uit tien realistische huisomgevingen. In deze simulaties plaatsten ze objecten zoals kopjes, scharen en hoeden op verschillende oppervlakken volgens verborgen waarschijnlijkheidsverdelingen. Sommige objecten waren altijd op dezelfde tafel, terwijl andere tussen een paar plekken bewogen, en sommige verschenen zelden. Cruciaal was dat het pad van de robot door deze huizen onafhankelijk werd gegenereerd van waar de objecten geplaatst waren. Dit betekende dat de robot tien keer langs een tafel kon lopen zonder het oppervlak ooit duidelijk te zien, terwijl hij misschien slechts één keer een keukeneiland passeerde en daar een perfect zicht op kreeg. Deze opzet dwong het geheugensysteem om de werkelijke locatie van de objecten te achterhalen zonder te worden misleid door de bewegingspatronen van de robot zelf.

Het nieuwe systeem, ECROM, werkt door de geschiedenis van de robot te organiseren in een kaart van oppervlakken, of "supports", en precies vast te leggen hoeveel van elk oppervlak zichtbaar was tijdens elke passage. Wanneer een mens de robot later vraagt om een specifiek item te vinden, bekijkt het systeem alle eerdere ritten. Het telt niet alleen de detecties; in plaats daarvan berekent het een waarschijnlijkheid op basis van hoeveel van het oppervlak aan de camera werd blootgesteld. Als de robot een oppervlak duidelijk zag en het object niet vond, verlaagt het systeem de overtuiging dat het object daar is sterk. Maar als de robot slechts een glimp van een oppervlak opving, of als het zicht geblokkeerd was, behandelt het systeem het gebrek aan een detectie als neutraal en weigert het die plek te straffen. Dit stelt de robot in staat om te leren dat een object waarschijnlijk op een oppervlak ligt dat hij zelden heeft gezien, mits dat oppervlak de enige plek is waar het object ooit is gespot toen het zichtbaar was.

De resultaten van de simulatie waren duidelijk. Wanneer de onderzoekers de robot vroegen om objecten te vinden waar hij nooit expliciet naar had moeten zoeken, presteerde het nieuwe systeem beter dan alle andere methoden die ze hadden getest. Het verbeterde de nauwkeurigheid van de voorspellingen met een aanzienlijke marge en, belangrijker nog, het vond de objecten veel sneller tijdens de actieve zoektocht. In de simulaties vond de robot die ECROM gebruikte het doel in ongeveer 59 procent van de pogingen, vergeleken met ongeveer 53 procent voor de op één na beste methode. Nog opmerkelijker was dat in een specifieke casestudy uit het artikel, de afstand die de robot moest afleggen om het object te vinden, daalde van 17,8 meter naar slechts 3,2 meter. Deze efficiëntie kwam voort uit het feit dat de robot precies wist welke oppervlakken het eerst gecontroleerd moesten worden, in plaats van doelloos rond te dwalen of vast te blijven zitten in het opnieuw bezoeken van plaatsen die hij al had uitgesloten.

Om te garanderen dat dit geen digitale truc was, testte het team het systeem ook op een fysieke robot, een Hello Robot Stretch 3, in een echte kantooromgeving. Ze voerden hetzelfde type zoektaak uit met echte objecten zoals een rode beker, een schaar en een blik luncheon meat. De robot moest door een ruimte van 500 vierkante meter navigeren, bewegend tussen bureaus en planken, om deze voorwerpen te vinden. De resultaten weerspiegelden de simulatie. De robot die het nieuwe geheugensysteem gebruikte, slaagde erin de objecten te vinden in 14 van de 15 proeven, terwijl de andere methoden er slechts in 10 of 11 slaagden. De fysieke robot legde ook aanzienlijk minder afstand af, met een gemiddelde van 19,4 meter vergeleken met bijna 29 meter voor de andere benaderingen. Dit bewees dat de logica van het scheiden van de observatiekans van de aanwezigheid van een object werkt, zelfs wanneer de robot te maken heeft met de onvoorspelbare verlichting en rommel van de echte wereld.

De onderzoekers onderzochten ook wat er zou gebeuren als ze de cruciale onderdelen van hun systeem zouden verwijderen. Wanneer ze de robot dwongen ervan uit te gaan dat hij elk oppervlak volledig had gezien, zelfs toen dat duidelijk niet het geval was, daalde de prestatie van de robot. De robot begon gemiste detecties te behandelen als bewijs dat een object afwezig was, waardoor hij de juiste locaties negeerde. Op dezelfde manier, wanneer ze het systeem vereenvoudigden tot alleen te kijken naar of een object wel of niet gezien was, waarbij de kracht van het visuele bewijs werd genegeerd, werd de robot minder nauwkeurig. Deze tests bevestigden dat het succes van het systeem rustte op twee specifieke zaken: een zorgvuldige boekhouding van hoeveel van een oppervlak daadwerkelijk zichtbaar was, en een genuanceerde interpretatie van hoe sterk het visuele bewijs was.

Dit werk suggereert een pad vooruit voor robots die moeten opereren in dynamische, veranderende omgevingen over een langere periode. In plaats van alleen te onthouden wanneer ze iets voor het laatst hebben gezien, of een eenvoudige telling bij te houden van waarnemingen, kunnen deze robots de gewoonten van de wereld om hen heen leren. Ze kunnen begrijpen dat alleen omdat ze onlangs geen koffiemok op een aanrecht hebben gezien, dat niet betekent dat de mok er niet is; het kan simpelweg betekenen dat ze dat aanrecht al een tijdje niet hebben bekeken. Door een geheugen op te bouwen dat de beperkingen van hun eigen zicht respecteert, kan een robot een betrouwbaardere partner in huis worden, in staat om verloren voorwerpen te vinden, zelfs wanneer de wereld om hen heen constant in beweging is. De onderzoekers zijn van plan hun code en de benchmarkgegevens openbaar te maken, zodat anderen voort kunnen bouwen op dit fundament van slimmere, meer observerende machines.