ORBIT++: Benchmarking SfM in the Wild with 360{\deg} Video

Um zu verstehen, wie ein Computer die Welt sieht, stellen Sie sich vor, Sie versuchen, einen dreidimensionalen Raum nur anhand einer Reihe von zweidimensionalen Fotografien zu rekonstruieren. Dies ist die grundlegende Herausforderung eines Feldes namens Structure-from-Motion. Das Ziel besteht darin, ein Video zu nehmen, bei dem sich die Kamera durch den Raum bewegt, und mathematisch genau zu bestimmen, wo sich die Kamera in jedem einzelnen Moment befand, während gleichzeitig ein 3D-Modell der Umgebung aufgebaut wird. Diese Technologie ist der unsichtbare Motor hinter Augmented-Reality-Apps, die virtuelle Möbel in Ihr Wohnzimmer platzieren, den Karten, die autonome Fahrzeuge leiten, und den Werkzeugen, die es Filmemachern ermöglichen, immersive virtuelle Welten zu erschaffen. Jahrelang haben Forscher auf Standardtests zurückgegriffen, um zu prüfen, ob ihre neuen Computer-Vision-Algorithmen funktionieren. Diese Tests verwenden jedoch oft einfache, statische Szenen oder computergenerierte Simulationen, die die unordentliche, chaotische Realität der echten Welt nicht widerspiegeln. Wenn eine Kamera sich schnell bewegt, wenn der Boden mit Schnee bedeckt ist oder wenn eine Menschenmenge durch das Bild läuft, versagt die fortschrittlichste Software oft völlig und ist nicht in der Lage zu erkennen, wo oben ist oder wie weit ein Objekt entfernt ist.

Ein Team von Forschern von Google DeepMind und mehreren Universitäten hat diese Lücke geschlossen, indem sie einen neuen, viel schwierigeren Test namens ORBIT entwickelt haben. Sie erkannten, dass sie, um die Fähigkeit einer Kamera zu testen, in der Wildnis zu navigieren, eine Datenquelle benötigten, die sowohl unglaublich reich an visuellen Informationen als auch schwierig zu verarbeiten war. Sie fanden diese Quelle in der wachsenden Bibliothek von 360-Grad-Videos, die mit Konsumkameras aufgenommen wurden. Im Gegensatz zu einem Standardvideo, das durch ein schmales Fenster blickt, erfasst eine 360-Grad-Kamera eine vollständige Kugel der Welt um sie herum und sieht in alle Richtungen gleichzeitig. Die Forscher nutzten diese allumfassenden Ansichten, um sie in standardmäßige, schmalwinklige Clips zu schneiden, und schufen so ein Benchmark-Datenset, das speziell darauf ausgelegt ist, die aktuelle Technologie zu brechen. Durch die Erstellung dieser allumfassenden Ansichten und deren Zuschnitt in Standard-Perspektivclips schufen sie hunderte von herausfordernden Szenarien, die die schwierigen Bedingungen nachahmen, denen ein Smartphone oder eine Drohne begegnen könnten, wie etwa schnelle Bewegungen, schlechtes Licht oder bewegte Menschenmengen.

Der Prozess des Aufbaus dieses Tests war eine sorgfältige Übung in der Verifizierung. Die Forscher begannen damit, vielfältige 360-Grad-Videos aus dem Internet zu sammeln, die von Kanufahrten und Skiläufen bis hin zu belebten Touristenorten alles darstellten. Da das Originalvideo die gesamte Sphäre einfängt, konnte das Team einen spezialisierten Computer-Algorithmus verwenden, um den Pfad der Kamera mit hoher Zuversicht zu berechnen, da sie wussten, dass selbst wenn ein Teil der Ansicht verschwommen oder in Bewegung war, andere Teile der Sphäre klar und stabil bleiben würden. Sie behandelten die Kamera so, als wäre sie ein Gestell, das vier separate Linsen hält, was es ihnen ermöglichte, den Pfad aus mehreren Winkeln gegenzuprüfen, um die Genauigkeit der Daten sicherzustellen. Sob einmal sie einen zuverlässigen „Ground Truth“-Pfad für das vollständige 360-Grad-Video hatten, projizierten sie das Filmmaterial digital neu, um Standard-Perspektivvideos zu erstellen. Diese neuen Clips waren nicht einfach nur zufällige Schnitte; die Forscher wählten bewusst Blickwinkel aus, die als schwierig bekannt waren, wie etwa der direkte Blick auf eine bewegte Wasseroberfläche oder ein schnell fahrendes Fahrzeug, und fügten simulierte Kamerabewegungen hinzu, um die Aufgabe noch schwieriger zu machen. Das Endergebnis ist eine Sammlung von 308 Videoclips, von denen jeder bis zu 30 Sekunden lang ist und als strenger Hindernisparcours für Computer-Vision-Software dient.

Als die Forscher die aktuellen State-of-the-Art-Methoden gegen diesen neuen Benchmark testeten, waren die Ergebnisse drastisch. Sie evaluierten mehrere führende Algorithmen, einschließlich traditioneller Werkzeuge, die jahrelang der Industriestandard waren, und neuerer, lernbasierter Systeme, die künstliche Intelligenz nutzen. Die Ergebnisse zeigten, dass selbst die besten existierenden Methoden unter diesen realen Bedingungen erheblich kämpfen. Ein großer Teil der Clips führte dazu, dass die Software völlig versagte, was bedeutete, dass der Computer die Bewegung der Kamera nicht länger als ein paar Sekunden verfolgen konnte. Beispielsweise gaben traditionelle Methoden, die darauf basieren, markante Muster im Bild zu finden – wie etwa Gebäudekanten oder Texturen auf dem Boden –, oft auf, wenn sie mit glatten Oberflächen wie Wasser oder Schnee konfrontt wurden. Unterdessen gerieten neuere KI-gesteuerte Methoden, die darauf ausgelegt sind, die 3D-Struktur basierend auf gelernten Mustern zu vermuten, häufig ins Straucheln, wenn die Kamera sich schnell bewegte oder auf eine Weise rotierte, die sie zuvor nicht gesehen hatten. Die Daten zeigten, dass keine einzelne Methode alle Herausforderungen bewältigen konnte; einige waren gut darin, sich durch Menschenmengen zu verfolgen, scheiterten aber bei schlechtem Licht, während andere schnelle Bewegungen gut handhabten, aber in texturlosen Umgebungen die Orientierung verloren.

Die Studie verdeutlicht, dass das Feld einen Punkt erreicht hat, an dem Fortschritte schwer zu messen sind, weil die Tests zu einfach sind. Die Forscher fanden heraus, dass auf ihrem neuen Benchmark jede getestete Methode bei mindestens 36 Prozent der Clips die Position der Kamera nicht korrekt schätzen konnte. Dies deutet darauf hin, dass die aktuelle Generation der Technologie noch nicht bereit für die anspruchsvollsten Anwendungen in der realen Welt ist. Das Paper argumentiert, dass der Mangel an einem zuverlässigen, schwierigen Benchmark das Feld zurückgehalten hat, indem es Forschern erlaubte, Erfolge bei einfachen Aufgaben zu reklamieren, während sie die grundlegenden Probleme in komplexen, dynamischen Szenen übersahen. Durch die Bereitstellung eines Datensatzes, der sowohl vielfältig als auch streng verifiziert ist, hofft das Team, Entwicklern ein klares Ziel zur Verbesserung zu geben. Die Arbeit bietet keine neue Lösung für diese Probleme, sondern vielmehr eine bessere Art, sie zu messen, und zeigt auf, dass noch ein langer Weg bevorsteht, bis Computer in der Lage sind, die wilde, unvorhersehbare Welt mit der gleichen Leichtigkeit zu navigieren wie Menschen.