Geometry-aware attention for robust visual odometry

Om de wereld te navigeren, moet een robot of een zelfrijdende auto weten waar het is en waar het naartoe gaat. Het kan niet vertrouwen op een kaart die het al bezit, omdat het vaak een nieuwe, onbekende omgeving betreedt. In plaats daarvan moet het zijn eigen beweging begrijpen door naar de wereld te kijken die voorbijtrekt via een camera. Dit proces, bekend als visuele odometrie, is als een persoon die door een donkere kamer loopt en probeert zijn pad te raden door de muren te voelen en te zien hoe de meubels in zijn perifere gezichtsveld verschuiven. Decennialang hebben wetenschappers geprobeerd machines dit te leren door ze twee verschillende sets regels te geven. De ene set regels vertelt de machine om naar de hele scène als geheel te kijken, waarbij wordt gelet op hoe het licht en de kleuren over de hele afbeelding verschuiven. Dit is goed voor het zien van het grote plaatje, maar kan in de war raken als het licht verandert of als de camera te snel beweegt. De andere set regels vertelt de machine om zich alleen te concentreren op scherpe, duidelijke punten, zoals de hoek van een tafel of een specifieke baksteen in een muur. Dit is zeer precies, maar faalt volledig als de muur blanco is of als de cameralens vuil is.

Lama lang moesten ingenieurs kiezen tussen deze twee benaderingen, waarbij ze accepteerden dat een machine ofwel goed was in het zien van het grote plaatje, ofwel goed in het volgen van scherpe details, maar zelden beide. Deze beperking betekende dat robots vaak struikelden wanneer ze geconfronteerd werden met de chaos van de echte wereld, zoals rijden in de regen, door een drukke kamer lopen of een drone door een smalle, kenmerkloze gang vliegen. Een team van onderzoekers uit Brazilië en Canada heeft nu een nieuwe manier voorgesteld om dit probleem op te lossen. Ze hebben een systeem gebouwd dat niet hoeft te kiezen. In plaats daarvan leert het zowel het brede beeld van de wereld als de scherpe details van specifieke punten tegelijkertijd te gebruiken, waarbij ze worden samengevoegd zodat de zwaktes van de ene methode worden gedekt door de sterktes van de andere.

De onderzoekers, onder leiding van Hudson Bruno en zijn collega's, hebben een nieuwe architectuur ontwikkeld die ze DDI-VO noemen. De naam staat voor Deep Direct-Indirect Visual Odometry, wat beschrijft hoe het systeem werkt. Het heeft twee hoofdonderdelen die parallel werken. Het eerste deel fungeert als een groothoek-waarnemer. Het kijkt naar het volledige beeldpaar en neemt de stroom van het licht, de textuur van de grond en de algemene vorm van de omgeving in zich. Dit deel is erg goed in het begrijpen van de context, zoals weten dat een auto naar voren beweegt omdat de weg vooruit doorloopt, zelfs als de weg nat en wazig is. Het tweede deel fungeert als een detailgerichte tracker. Het vindt specifieke, scherpe punten in het beeld, zoals de hoek van een gebouw of een duidelijk patroon op een muur, en volgt deze nauwgezet. Dit deel is uitstekend in het meten van exacte afstanden, maar kan de weg kwijtraken als de muur wit en egaal is of als de camera te veel schudt.

Het genie van hun ontwerp ligt in de manier waarop deze twee delen met elkaar communiceren. In het midden van het systeem bevindt zich een mechanisme dat beslist hoeveel vertrouwen er op elk gegeven moment moet worden gehecht aan het groothoekbeeld versus de scherpe punten. Stel je een navigator voor die door een stad loopt. Soms kijkt de navigator naar de hele skyline om te weten in welke richting hij kijkt. Andere keren kijkt hij naar een specifiek verkeersbord om precies te weten waar hij is. Het nieuwe systeem doet dit automatisch. Als de cameralens bedekt is met waterdruppels, leert het systeem de wazige, vervormde punten die het water veroorzaakt te negeren en meer te vertrouwen op de algemene vorm van de scène. Als de camera door een lange, lege witte gang beweegt zonder duidelijke kenmerken, verlegt het systeem zijn focus naar de subtiele veranderingen in het hele beeld in plaats van te proberen specifieke punten te vinden die niet bestaan. Dit vermogen om dynamisch van focus te wisselen, stelt de machine in staat om zelfs wanneer de visuele omstandigheden slecht zijn, vooruit te blijven bewegen.

Om het systeem te leren hoe het deze beslissingen moet nemen, gebruikten de onderzoekers een slimme trainingsstrategie. Ze gooiden de machine niet direct in een complexe rij-simulatie. In plaats daarvan begonnen ze met een eenvoudigere taak. Ze leerden het systeem hoe platte oppervlakken, zoals een stuk papier of een muur, vervormen en bewegen wanneer de camerahoek verandert. Dit is een fundamentele geometrische vaardigheid die de machine helpt te begrijpen hoe vormen zich in de ruimte tot elkaar verhouden. Zodra het systeem deze basisgeometrie beheerste, leerden ze het de moeilijkere taak om precies uit te rekenen hoe de camera door een 3D-omgeving bewoog. Dit stapsgewijze leerproces, dat de auteurs een "curriculum" noemen, zorgde ervoor dat het systeem een solide fundament van geometrisch begrip had voordat het te maken kreeg met de rommelige realiteit van echte video.

De onderzoekers testten hun nieuwe systeem op een verscheidenheid aan uitdagende datasets die verschillende scenario's uit de echte wereld vertegenwoordigen. Ze gebruikten gegevens van auto's die op snelwegen rijden, drones die door binnenruimtes vliegen en handheld camera's die door drukke ruimtes bewegen. In elk geval vergeleken ze hun systeem met de beste bestaande methoden. De resultaten toonden aan dat, terwijl andere systemen vaak dramatisch faalden wanneer de omstandigheden zwaar werden, het nieuwe systeem stabiel bleef. Bijvoorbeeld, in tests waarbij de cameralens bedekt was met water of de verlichting plotseling veranderde, bleef het nieuwe systeem het pad nauwkeurig volgen, terwijl de oudere methoden hun weg kwijtraakten en uit koers raakten. Het systeem was bijzonder indrukwekkend in binnenomgevingen waar weinig duidelijke kenmerken zijn om te volgen, een situatie waarin traditionele methoden meestal falen.

De studie keek ook naar hoe het systeem precies zijn beslissingen nam. Door te visualiseren waar het systeem naar "keek", ontdekten de onderzoekers dat het had geleerd om dingen te negeren die een menselijke waarnemer in verwarring zouden brengen. Wanneer de camera door een straat met rijdende auto's bewoog, leerde het systeem zich te concentreren op de statische weg en gebouwen, waarbij de bewegende voertuigen werden genegeerd die de tracking in verwarring zouden kunnen brengen. Wanneer de lens nat was, leerde het systeem de wazige plekken veroorzaakt door de waterdruppels te onderdrukken. Dit suggereert dat het systeem niet alleen patronen memoriseert, maar ook daadwerkelijk de onderliggende regels van geometrie en beweging leert. Het heeft geleerd onderscheid te maken tussen wat een betrouwbaar baken is en wat slechts visuele ruis is.

De bevindingen suggereren dat de toekomst van robotnavigatie niet ligt in het kiezen tussen verschillende soorten sensoren of algoritmen, maar in het intelligent combineren ervan. Door het brede, contextbewuste beeld te versmelten met het precieze, detailgerichte beeld, hebben de onderzoekers een systeem gecreëerd dat robuust genoeg is om de onvoorspelbare aard van de echte wereld aan te kunnen. Hoewel het systeem niet perfect is en nog steeds voor uitdagingen staat in de meest extreme omstandigheden, vormt het een belangrijke stap voorwaarts in het maken van autonome machines die veilig en betrouwbaar kunnen navigeren, of ze nu een auto besturen, een drone vliegen of een robot door een druk ziekenhuis leiden. Het werk laat zien dat door machines te leren om de balans te vinden tussen het grote plaatje en de kleine details, we systemen kunnen bouwen die veel veerkrachtiger zijn dan de som der delen.