SuperMap: A Spatio-Temporal SLAM System for Visual-Language Navigation

Robots die door onze huizen en kantoren bewegen, worden geconfronteerd met een fundamentele uitdaging: de wereld is geen statisch museumexpositie. Het is een levende ruimte waar stoelen worden uitgeschoven, vuilnisbakken worden geleegd en mensen door deuropeningen lopen. Om in deze omgeving veilig te kunnen navigeren en complexe instructies op te volgen zoals "ga naar de stoel die eerder bij de plant stond", heeft een machine meer nodig dan alleen een momentopname van de kamer. Het vereist een geheugen dat niet alleen begrijpt welke objecten aanwezig zijn, maar ook hoe ze in de loop van de tijd zijn bewogen, verdwenen of veranderd. Dit is het domein van spatio-temporele mapping, een vakgebied dat zich richt op het geven van een continu, evoluerend begrip van de omgeving aan robots. Hoewel moderne kunstmatige intelligentie erg goed is geworden in het herkennen van objecten in een enkele afbeelding, is het aan elkaar naaien van die momenten tot een samenhangend, langetermijnverhaal moeilijk gebleken. Zonder deze vaardigheid kan een robot een stoel die hij vijf minuten geleden zag vergeten, of niet merken dat een karretje naar een nieuwe locatie is verplaatst, wat leidt tot verwarring en mislukte taken.

Onderzoekers aan de Carnegie Mellon University hebben een nieuw systeem ontwikkeld genaamd SuperMap om dit probleem op te lossen. Dit systeem fungeert als een real-time geheugen voor robots, waardoor ze een gedetailleerde, vierdimensionale kaart van een kamer kunnen opbouwen die wordt bijgewerkt terwijl de robot beweegt en de omgeving verandert. In tegenstelling tot eerdere methoden die ofwel veranderingen in de loop van de tijd negeerden of uren aan offline verwerking vereisten om een kaart te maken, werkt SuperMap direct terwijl de robot rijdt. Het combineert de nauwkeurige meting van afstand en positie met het vermogen om objecten bij naam te herkennen, zelfs als de robot dat specifieke object nog nooit eerder heeft gezien. Het resultaat is een digitale representatie van de wereld die niet alleen weet waar dingen zijn, maar ook waar ze waren, waar ze naartoe gaan en welke er verdwenen zijn.

De kern van deze prestatie ligt in de manier waarop het systeem omgaat met het verschil tussen een vluchtige blik en een blijvend feit. Wanneer een robot naar een kamer kijkt, ziet zijn camera een stroom van beelden. In het verleden, als een object kortstondig verborgen was achter een persoon of een muur, verloor de kaart van de robot het spoor van dat object vaak, en behandelde het alsof het voor altijd verdwenen was. SuperMap voorkomt dit door een consistentiegestuurde aanpak te gebruiken. Het controleert voortdurend de huidige kijkervaring tegenover wat het zich herinnert. Als een vuilnisbak vandaag zichtbaar is maar gisteren ook aanwezig was, houdt het systeem deze in de kaart. Als de vuilnisbak weg is, merkt het systeem de verdwijning op in plaats van het simpelweg te vergeten. Dit stelt de robot in staat om onderscheid te maken tussen een tijdelijke blokkade, zoals een persoon die voor een object langs loopt, en een permanente verandering, zoals een meubelstuk dat naar een andere kamer is verplaatst.

Om dit geheugen op te bouwen, voert het systeem drie hoofdfuncties tegelijkertijd uit. Ten eerste gebruikt het sensoren om een nauwkeurig, driedimensionaal model van de kamer te maken, waarbij afstanden tot muren en vloeren met hoge precisie worden gemeten. Ten tweede identificeert het objecten binnen die ruimte en wijst het hen unieke identiteiten en namen toe. Als de robot een "rode emmer" ziet, onthoudt hij die specifieke emmer, niet alleen het algemene concept van een emmer. Derde koppelt het deze objecten aan elkaar in een netwerk dat hun relaties en hun geschiedenis vastlegt. Dit netwerk, een scene graph genoemd, stelt de robot in staat om vragen over het verleden te beantwoorden. Hij kan zich herinneren dat een karretje ooit naast een tafel stond, zelfs als het karretje sindsdien is verplaatst. Deze capaciteit is cruciaik voor het opvolgen van instructies die rusten op de geschiedenis van de kamer, zoals "keer terug naar de stoel die bij de plant stond".

De onderzoekers testten dit systeem in echte binnenomgevingen, waarbij ze doelbewuste veranderingen aanbrachten om te zien hoe goed de robot zich aanpaste. Ze voegden nieuwe items toe zoals een emmer en een veiligheidsbord, en verwijderden anderen zoals een plant en een stoel. In deze tests volgde SuperMap succesvol de verschijning van nieuwe objecten en de verdwijning van oude objecten zonder de draad kwijt te raken of het ene object voor het andere aan te zien. Het behield de identiteit van een stoel, zelfs nadat deze uit het zicht was verplaatst en weer werd teruggebracht, een prestatie waar veel eerdere systemen faalden. Het systeem bleek ook in staat om langdurige veranderingen over een periode van tien minuten aan te kunnen, een aanzienlijke duur voor een robot die in een dynamische ruimte opereert.

Naast het simpelweg volgen van objecten, stelt het systeem een robot in staat om taalcommando's te begrijpen en daarop te handelen. Door de complexe 3D-kaart om te zetten in een gestructureerd formaat dat een taalmodel kan lezen, kan de robot redeneren over de kamer. Bijvoorbeeld, als gevraagd wordt om een object te vinden op basis van de relatie met een ander object, kan de robot de verbindingen in zijn geheugen traceren om het doelwit te lokaliseren. In experimenten maakte deze aanpak het mogelijk voor de robot om naar specifieke whiteboards te navigeren in een kamer vol identieke exemplaren door hun relatieve posities te begrijpen, een taak die onmogelijk zou zijn als de robot alleen op ruwe videobeelden zou vertrouwen. Het systeem bereikt dit zonder enorme hoeveelheden videodata te hoeven verwerken, maar gebruikt in plaats daarvan de compacte, georganiseerde kaart om snel beslissingen te nemen.

De prestaties van SuperMap werden gemeten ten opzichte van andere bestaande methoden, en het toonde significante verbeteringen in zowel snelheid als nauwkeurigheid. Terwijl sommige andere systemen offline verwerking vereisen die minuten of uren duurt om een kaart op te bouwen, werkt SuperMap in real-time en werkt het zijn begrip bij zodra de robot beweegt. Het presteerde ook beter dan andere methoden in het bijhouden van individuele objecten, waarbij het de identiteit van items correct identificeerde en behield, zelfs wanneer ze gedeeltelijk verborgen waren of vanuit moeilijke hoeken werden bekeken. De onderzoekers ontdekten dat het vermogen van het systeem om geometrische gegevens te kruiscontroleren met visuele herkenning de sleutel tot hun succes was, waardoor het fouten kon filteren en een stabiel beeld van de wereld kon behouden.

Dit werk vormt een stap voorwaarts in het echt nuttig maken van robots in menselijke omgevingen. Door machines een geheugen te geven dat respect heeft voor het verstrijken van de tijd en de vloeibaarheid van de ruimte, stelt SuperMap robots in staat om te navigeren met een niveau van bewustzijn dat voorheen onbereikbaar was. Het systeem is ontworpen om open-source te zijn, wat betekent dat andere onderzoekers erop kunnen voortbouwen om robots te creëren die aanpasbaarder en betrouwbaarder zijn. Naarmen robots steeds vaker onze huizen en werkplekken betreden, zal het vermogen om het verleden te onthouden en het heden te begrijpen essentieel zijn om effectief naast ons te werken. SuperMap biedt een fundament voor die toekomst, door een chaotische, veranderende wereld te transformeren naar een kaart die een machine kan begrijpen en vertrouwen.