ORBIT++: Benchmarking SfM in the Wild with 360{\deg} Video

Pour comprendre comment un ordinateur perçoit le monde, imaginez que vous essayiez de reconstruire une pièce en trois dimensions en utilisant uniquement une série de photographies en deux dimensions. C'est le défi fondamental d'un domaine appelé la structure à partir du mouvement (structure-from-motion). L'objectif est de prendre une vidéo, où la caméra se déplace dans l'espace, et de déterminer mathématiquement où se trouvait exactement la caméra à chaque instant, tout en construisant simultanément un modèle 3D du décor environnant. Cette technologie est le moteur invisible derrière les applications de réalité augmentée qui placent des meubles virtuels dans votre salon, les cartes qui guident les véhicules autonomes et les outils qui permettent aux cinéastes de créer des mondes virtuels immersifs. Pendant des années, les chercheurs se sont appuyés sur des tests standards pour vérifier si leurs nouveaux algorithmes de vision par ordinateur fonctionnent. Cependant, ces tests utilisent souvent des scènes statiques simples ou des simulations générées par ordinateur qui ne reflètent pas la réalité désordonnée et chaotique du monde réel. Lorsqu'une caméra se déplace rapidement, lorsque le sol est couvert de neige ou qu'une foule de personnes traverse le cadre, les logiciels les plus avancés échouent souvent complètement, incapables de déterminer le haut du bas ou la distance d'un objet.

Une équipe de chercheurs de Google DeepMind et de plusieurs universités a comblé cette lacune en créant un nouveau test, beaucoup plus difficile, appelé ORBIT. Ils ont réalisé que pour tester véritablement la capacité d'une caméra à naviguer dans la nature sauvage, ils avaient besoin d'une source de données qui soit à la fois incroyablement riche en informations visuelles et difficile à traiter. Ils ont trouvé cette source dans la bibliothèque croissante de vidéos à 360 degrés capturées par des caméras grand public. Contrairement à une vidéo standard qui regarde à travers une fenêtre étroite, une caméra à 360 degrés capture une sphère complète du monde autour d'elle, voyant dans toutes les directions à la fois. Les chercheurs ont utilisé ces vidéos panoramiques pour générer un ensemble de données de référence spécifiquement conçu pour briser la technologie actuelle. En prenant ces vues omnidirectionnelles et en les découpant en clips à angle étroit standard, ils ont créé des centaines de scénarios exigeants qui imitent les conditions difficiles qu'un smartphone ou un drone pourrait rencontrer, telles que des mouvements rapides, une faible luminosité ou des foules en mouvement.

Le processus de construction de ce test était un exercice de vérification minutieux. Les chercheurs ont commencé par collecter diverses vidéos à 360 degrés provenant d'Internet, présentant tout, des excursions en canoë et descentes de ski aux sites touristiques très fréquentés. Comme la vidéo originale capture l'intégralité de la sphère, l'équipe a pu utiliser un algorithme informatique spécialisé pour calculer la trajectoire de la caméra avec une grande confiance, sachant que même si une partie de la vue était floue ou en mouvement, d'autres parties de la sphère resteraient claires et stables. Ils ont traité la caméra comme s'il s'agissait d'un support tenant quatre lentilles séparées, ce qui leur a permis de recouper la trajectoire sous plusieurs angles pour garantir l'exactitude des données. Une fois qu'ils ont obtenu une trajectoire de « vérité terrain » fiable pour la vidéo à 360 degrés complète, ils ont numériquement re-projeté les images pour créer des vidéos à perspective standard. Ces nouveaux clips n'étaient pas de simples coupes aléatoires ; les chercheurs ont délibérément choisi des points de vue connus pour être difficiles, comme regarder directement vers une masse d'eau en mouvement ou un véhicule rapide, et ils ont ajouté des secousses de caméra simulées pour rendre la tâche encore plus ardue. Le résultat final est une collection de 308 clips vidéo, chacun d'une durée allant jusqu'à 30 secondes, qui servent de parcours d'obstacles rigoureux pour les logiciels de vision par ordinateur.

Lorsque les chercheurs ont testé les méthodes de pointe actuelles face à ce nouveau benchmark, les résultats ont été frappants. Ils ont évalué plusieurs algorithmes de premier plan, y compris les outils traditionnels qui sont la norme de l'industrie depuis des années et les nouveaux systèmes basés sur l'apprentissage qui utilisent l'intelligence artificielle. Les conclusions ont montré que même les meilleures méthodes existantes éprouvent des difficultés significatives dans ces conditions réelles. Une grande partie des clips a provoqué l'échec total du logiciel, ce qui signifie que l'ordinateur n'a pas pu suivre le mouvement de la caméra pendant plus de quelques secondes. Par exemple, les méthodes traditionnelles qui reposent sur la recherche de motifs distincts dans l'image, comme les bords de bâtiments ou les textures au sol, ont souvent abandonné face à des surfaces lisses comme l'eau ou la neige. Parallèlement, les nouvelles méthodes pilotées par l'IA, qui sont conçues pour deviner la structure 3D basée sur des motifs appris lors de l'entraînement, ont fréquemment trébuché lorsque la caméra se déplaçait rapidement ou pivotait d'une manière qu'elles n'avaient pas vue auparavant. Les données ont révélé qu'aucune méthode unique ne pouvait gérer tous les défis ; certaines étaient bonnes pour suivre à travers les foules mais échouaient en basse lumière, tandis que d'autres géraient bien les mouvements rapides mais perdaient leur chemin dans des environnements sans texture.

L'étude souligne que le domaine a atteint un point où le progrès est difficile à mesurer car les tests sont trop faciles. Les chercheurs ont constaté que sur ce nouveau benchmark, chaque méthode testée a échoué à estimer correctement la position de la caméra sur au moins 36 % des clips. Cela suggère que la génération actuelle de technologie n'est pas encore prête pour les applications les plus exigeantes du monde réel. L'article soutient que l'absence d'un benchmark fiable et difficile a freiné le domaine, permettant aux chercheurs de revendiquer un succès sur des tâches simples tout en manquant les problèmes fondamentaux qui surviennent dans des scènes complexes et dynamiques. En fournissant un ensemble de données à la fois diversifié et rigoureusement vérifié, l'équipe espère offrir aux développeurs une cible claire pour l'amélioration. Ce travail n'offre pas une nouvelle solution à ces problèmes, mais plutôt une meilleure façon de les mesurer, montant qu'il reste encore un long chemin à parcourir avant que les ordinateurs ne puissent naviguer de manière fiable dans le monde sauvage et imprévisible avec la même aisance que les humains.