Beyond Relative Geometry: Metric-Aware Geometry Perception for Robotics

Robots die zich door onze wereld bewegen, staan voor een fundamentele puzzel: hoe ze wat ze zien kunnen omzetten in wat ze kunnen doen. Jarenlang zijn kunstmatige intelligentiesystemen opmerkelijk goed geworden in het herkennen van objecten en het begrijpen van scènes vanuit platte afbeeldingen, vergelijkbaar met een mens die naar een foto kijkt. Het zien van een foto van een beker is echter heel anders dan uitreiken om deze te pakken. Om met de fysieke wereld te interageren, heeft een machine meer nodig dan alleen een visuele kaart; het moet weten hoe ver dingen weg zijn en hoe groot ze werkelijk zijn. Zonder dit precieze gevoel voor schaal kan een robot denken dat een klein speelgoedautootje een grote doos is, of dat een deur slechts enkele centimeters verwijderd is terwijl deze eigenlijk nog enkele meters afstand heeft. Deze kloof tussen het zien en het weten van de werkelijke grootte van dingen is lang een barrière geweest voor het geven van de behendigheid die robots nodig hebben voor complexe taken zoals het opruimen van een kamer of het assembleren van meubels.

Een team van onderzoekers heeft een nieuwe aanpak ontwikkeld om deze kloof te overbruggen, waarbij een systeem is gecreëerd dat robots in staat stelt de wereld waar te nemen in reële, meetbare dimensies in plaats van alleen relatieve vormen. Hun werk, bekend als Metric-Aware Geometry Perception (MAGP), leert machines om driedimensionale scènes te reconstrueren met een consistent gevoel voor schaal, waardoor een stoel even groot lijkt of de robot hem nu van links, rechts of recht van voren bekijkt. Door het visuele waarnemingsvermogen van de robot te verankeren aan werkelijke fysieke metingen, maakt het systeem meer betrouwbare en precieze bewegingen mogelijk, waardoor vage ruimtelijke gissingen worden omgezet in concrete, bruikbare gegevens.

Lama tijd konden de beste computer vision-modellen alleen een "relatieve" kaart van een scène opbouwen. Stel je een foto van een kamer voor waarin de meubels er correct gevormd en gepositioneerd uitzien, maar je hebt geen enkele manier om te weten of de bank twee meter lang is of twee centimeter lang. Het model begrijpt de relaties tussen objecten — de lamp staat op de tafel, de tafel staat op de vloer — maar het kan er geen werkelijke grootte aan toekennen. Dit werkt prima voor het identificeren van wat er in een kamer aanwezig is, maar het faalt wanneer een robot zijn arm moet bewegen. Als de interne kaart van de robot zegt dat een opening breed genoeg is om doorheen te passen, maar die meting is gebaseerd op een gok in plaats van op een echte liniaal, kan de robot tegen de muur botsen. Het probleem is dat standaardcamera's perspectief vastleggen, waarbij verre objecten kleiner lijken en nabije objecten groter, waardoor het voor een computer gemakkelijk is om de schaal verkeerd in te schatten als de computer alleen op de afbeelding vertrouwt.

De onderzoekers ontdekten dat bestaande methoden vaak de specifieke aanwijzingen negeerden die een camera vertellen hoe ver hij is bewogen of hoe diep een scène is. In plaats daarvan hadden ze de neiging om de grootte van objecten te raden op basis van hoe de objecten eruitzagen, zoals het aannemen dat een koffiemok een standaardformaat heeft omdat het eruitziet als een mok. Deze aanpak is kwetsbaar; als de verlichting verandert of de robot het object vanuit een vreemde hoek ziet, kan de gok er enorm naast zitten. Het nieuwe systeem, MAG{,} MAGP, is ontworpen om te stoppen met gissen en te beginnen met meten. Dit doet het door de computer te dwingen aandacht te besteden aan de fysieke gegevens die door de sensoren van de robot worden geleverd, zoals hoe ver de camera is bewogen tussen twee opnames of de diepte-informatie van een laserscanner.

Om het systeem te trainen om op deze fysieke aanwijzingen te vertrouwen in plaats van op visuele gissingen, gebruikten de onderzoekers een slimme trainingsmethode. Ze namen scènes en veranderden kunstmatig de schaal van de afstandmetingen en camerabewegingen, terwijl de afbeeldingen exact hetzelfde bleven. Als het interne model van de robot slechts zou gissen op basis van het uiterlijk van de scène, zou het niet in staat zijn zich aan te passen. Maar omdat het systeem werd getraind om de veranderende getallen te volgen, leerde het de mentale kaart van de grootte van de kamer bij te werken telkens wanneer de fysieke gegevens veranderden. Dit proces, genaamd metric scale equivariant augmentation, leerde het model dat als de camera twee keer zo ver beweegt, de kamer ook twee keer zo groot moet zijn, ongeacht hoe de objecten eruitzien.

Het resultaat is een robot die de wereld ziet met een consistente liniaal. In tests met realistische datasets van kamers en objecten verminderde het nieuwe systeem de fout in het meten van afstanden van meer dan twee meter naar slechts zeven centimeter. Dit is een enorme verbetering, waarbij een wazige, onzekere schatting wordt omgezen in een scherpe, betrouwbare meting. Het systeem werkt zelfs wanneer de robot over verschillende soorten sensoren beschikt of wanneer sommige gegevens ontbreken, waarbij het zich aanpast aan de beschikbare informatie om een samenhangend beeld van de ruimte op te bouwen.

Toen dit nieuwe perceptiesysteem werd aangesloten op werkelijke robotbesturingsoftware, was het verschil in prestaties duidelijk. Bij een reeks standaardtaken waarbij objecten rondverplaatst werden, slaagden robots die het metric-aware systeem gebruikten vaker dan robots die oudere methoden gebruikten. In een specifieke test waarbij een robot met twee armen samenwerkte, steeg het succespercentage met meer dan zes procentpunten. De robots waren beter in staat om precies te weten waar ze hun grijpers moesten plaatsen en hoe ver ze moesten reiken, wat leidde tot minder fouten en vloeiendere bewegingen. Zelfs toen de robots werden getest op taken die ze nog nooit eerder hadden gezien, hielp het systeem hen snel aan te passen, wat aantoont dat een echt begrip van schaal een krachtig instrument is voor algemene intelligentie.

Dit werk suggereert dat voor robots om de fysieke wereld echt onder de knie te krijgen, ze moeten stoppen met de omgeving als een plat beeld te behandelen en ermee moeten beginnen als een meetbare ruimte. Door hun visie te funderen in de dimensies van de echte wereld, kunnen deze machines transformeren van het simpelweg herkennen van objecten naar het interageren met objecten met de zekerheid en precisie van een menselijke hand. De onderzoekers hebben aangetoond dat wanneer een robot precies weet hoe groot dingen zijn, hij veel meer kan dan alleen naar ze kijken.