ORBIT++: Benchmarking SfM in the Wild with 360{\deg} Video

Om te begrijpen hoe een computer de wereld ziet, moet je je voorstellen dat je probeert een driedimensionale kamer te reconstrueren met alleen een reeks tweedimensionale foto's. Dit is de fundamentele uitdaging van een vakgebied genaamd 'structure-from-motion'. Het doel is om een video te nemen, waarbij de camera door de ruimte beweegt, en wiskundig te achterhalen waar de camera op elk exact moment was, terwijl er tegelijkertijd een 3D-model van de omgeving omheen wordt opgebouwd. Deze technologie is de onzichtbare motor achter augmented reality-apps die virtuele meubels in je woonkamer plaatsen, de kaarten die autonome voertuigen begeleiden, en de tools waarmee filmmakers meeslepende virtuele werelden creëren. Jarenlang hebben onderzoekers vertrouwd op standaardtests om te zien of hun nieuwe computer vision-algoritmen werken. Echter, deze tests gebruiken vaak eenvoudige, statische scènes of door de computer gegenereerde simulaties die de rommelige, chaotische realiteit van de echte wereld niet weerspiegelen. Wanneer een camera snel beweegt, wanneer de grond bedekt is met sneeuw, of wanneer een menigte mensen door het beeld loopt, falen de meest geavanceerde software vaak volledig, niet in staat om te bepalen wat boven is of hoe ver een object verwijderd is.

Een team van onderzoekers van Google DeepMind en verschillende universiteiten heeft deze kloof gedicht door een nieuwe, veel moeilijkere test te creëren genaamd ORBIT. Ze realiseerden zich dat om de bekwaamheid van een camera om door de wildernis te navigeren echt te testen, ze een bron van data nodig hadden die zowel ongelooflijk rijk aan visuele informatie als moeilijk te verwerken was. Ze vonden deze bron in de groeiende bibliotheek van 360-graden video's die zijn vastgelegd met consumentencamera's. In tegen tegenstelling tot een standaard video die door een smal venster kijkt, legt een 360-graden camera een volledige sfeer om zich heen vast, en ziet in alle richtingen tegelijkertijd. De onderzoekers gebruikten deze panoramische video's om een benchmark-dataset te genereren die specifiek is ontworpen om de huidige technologie te breken. Door deze allesomvattende beelden te nemen en ze uit te snijden tot standaard, smal-hoekige clips, creëerden ze honderden uitdagende scenario's die de moeilijke omstandigheden nabootsen die een smartphone of drone zou kunnen tegenkomen, zoals snelle beweging, weinig licht of bewegende menigten.

Het proces van het bouwen van deze test was een zorgvuldige oefening in verificatie. De onderzoekers begonnen met het verzamelen van diverse 360-graden video's van het internet, variërend van kano-tochten en skilocaties tot drukke toeristische trekpleisters. Omdat de originele video de volledige sfeer vastlegt, kon het team een gespecialiseerd computeralgoritme gebruiken om het pad van de camera met een hoge mate van vertrouwen te berekenen, wetende dat zelfs als een deel van het zicht wazig of bewegend was, andere delen van de sfeer duidelijk en stabiel zouden blijven. Ze behandelden de camera alsof het een rig was die vier afzonderlijke lenzen vasthield, waardoor ze het pad vanuit meerdere hoeken konden kruiscontroleren om de nauwkeurigheid van de data te waarborgen. Zodra ze een betrouwbaar "ground truth"-pad voor de volledige 360-graden video hadden, projecteerden ze de beelden digitaal opnieuw om standaard perspectivische video's te maken. Deze nieuwe clips waren niet zomaar willekeurige uitsneden; de onderzoekers kozen doelbewust voor standpunten die bekend stonden als moeilijk, zoals kijken naar een bewegend wateroppervlak of een snel bewegend voertuig, en ze voegden gesimuleerde camerabewegingen toe om de taak nog moeilijker te maken. Het eindresultaat is een collectie van 308 videoclips, elk tot 30 seconden lang, die dienen als een rigoureuze hindernisbaan voor computer vision-software.

Toen de onderzoekers de huidige state-of-the-art methoden testten tegen deze nieuwe benchmark, waren de resultaten schokkend. Ze evalueerden verschillende leidende algoritmen, inclusief traditionele tools die jarenlang de industriestandaard waren en nieuwere, op leren gebaseerde systemen die gebruikmaken van kunstmatige intelligentie. De bevindingen toonden aan dat zelfs de beste bestaande methoden aanzienlijk worstelen in deze real-world omstandigheden. Een groot deel van de clips veroorzaakte dat de software volledig faalde, wat betekende dat de computer de beweging van de camera niet langer dan een paar seconden kon volgen. Traditionele methoden die bijvoorbeeld vertrouwen op het vinden van duidelijke patronen in het beeld, zoals de randen van gebouwen of texturen op de grond, gaven vaak op bij het worden geconfronteerd met gladde oppervlakken zoals water of sneeuw. Ondertussen struikelden nieuwere AI-gestuurde methoden, die zijn ontworpen om de 3D-structuur te raden op basis van patronen die ze tijdens de training hebben geleerd, vaak wanneer de camera snel bewoog of rooteerde op manieren die ze nog niet eerder hadden gezien. De data toonden aan dat geen enkele methode alle uitdagingen aankon; sommige waren goed in het volgen door menigten maar faalden bij weinig licht, terwijl anderen goed omgingen met snelle bewegingen maar de weg kwijtraakten in omgevingen zonder textuur.

De studie benadrukt dat het vakgebied een punt heeft bereikt waarop vooruitgang moeilijk te meten is omdat de tests te makkelijk zijn. De onderzoekers ontdekten dat op hun nieuwe benchmark elke geteste methode op minstens 36 procent van de clips er niet in slaagde de positie van de camera correct in te schatten. Dit suggereert dat de huidige generatie technologie nog niet klaar is voor de meest veeleisende toepassingen in de echte wereld. Het artikel betoogt dat het gebrek aan een betrouwbare, moeilijke benchmark de sector heeft tegengehouden, waardoor onderzoekers succes konden claimen op eenvoudige taken terwijl ze de fundamentele problemen in complexe, dynamische scènes misten. Door een dataset te bieden die zowel divers als rigoureus geverifieerd is, hoopt het team ontwikkelaars een duidelijk doel voor verbetering te geven. Het werk biedt geen nieuwe oplossing voor deze problemen, maar eerder een betere manier om ze te meten, waarmee wordt aangetoond dat er nog een lange weg te gaan is voordat computers even gemakkelijk door de wilde, onvoorspelbare wereld kunnen navigeren als mensen.