WorldRover: A Scalable Synthetic Video Data Engine for World Exploration with Rich Annotations
Cet article présente WorldRover, un moteur de données évolutif construit sur Unreal Engine qui génère des séquences vidéo synthétiques à longue portée et richement annotées d'environnements créés par des artistes, fournissant des données RGB, de profondeur métrique, de trajectoires de caméra et de points de vue diversifiés et synchronisés pour entraîner des modèles d'exploration et de reconstruction de mondes cohérents.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Pour comprendre comment une machine pourrait apprendre à naviguer dans un monde, nous devons d'abord comprendre ce que signifie voir ce monde. Pour qu'un ordinateur puisse se déplacer dans un espace, il a besoin de plus qu'une simple image de ce qui se trouve devant lui. Il doit savoir à quelle distance se trouvent les objets, comment la caméra elle-même se déplace, et comment les formes des choses changent lorsqu'elles passent derrière d'autres éléments. Dans le monde réel, capturer toutes ces informations à la fois est incroyablement difficile. Une caméra peut enregistrer une vidéo, mais elle ne peut pas vous dire automatiquement la distance exacte d'un arbre ou le chemin précis emprunté par la personne tenant la caméra. Les scientifiques doivent souvent deviner ces détails après coup, et ces suppositions peuvent être erronées, surtout lorsque des objets bloquent la vue les uns des autres. Sans une connaissance parfaite de la géométrie et du mouvement, il est difficile d'apprendre à un ordinateur à construire une carte mentale stable et cohérente d'un lieu qu'il peut explorer et où il peut revenir.
C'est le défi que une équipe de chercheurs d'Alaya Lab, de l'Université de Tokyo et de l'Institut d'Innovation de Shanghai a relevé avec un nouveau système appelé WorldRover. Au lieu d'essayer d'extraire des données parfaites à partir de vidéos réelles désordonnées, ils ont construit une machine qui génère les données à partir de zéro. Ils ont créé un pipeline qui prend des environnements virtuels conçus par des artistes et y envoie une caméra pour de longs voyages à l'échelle de la minute. L'innovation clé est que ce système ne se contente pas d'enregistrer la vidéo ; il enregistre l'intégralité de l'historique du voyage simultanément. À mesure que la caméra se déplace, le système capture le chemin exact qu'elle a parcouru, la distance précise de chaque point de la scène, et comment chaque pixel de l'image se rapporte au précédent. Parce que le monde est synthétique, les chercheurs connaissent la vérité de chaque image : ils savent exactement où se trouvait la caméra, comment la lumière frappait les murs, et où chaque objet est situé dans l'espace tridimensionnel.
Le résultat de cet effort est une collection massive de données nommée WorldRover-10M. Elle contient plus de six mille séquences vidéo distinctes tirées de trente-deux environnements virtuels différents, allant des rues de la ville aux stations de métro, en passant par les forêts et les cathédrales. Au total, le jeu de données détient plus de vingt et un millions d'images, ce qui représente plus de deux cents heures de séquences. Ce qui rend cette collection unique, c'est qu'elle offre le même voyage vu sous trois perspectives différentes : une vue à la première personne comme si l'on marchait à travers le monde, une vue à la troisième personne suivant un personnage par derrière, et une vue panoramique à 360 degrés qui capture tout autour de l'observateur. Pour chaque image, le système fournit un ensemble de labels correspondants. Ceux-ci incluent une carte de la profondeur exacte de la scène, un enregistrement de la façon dont la caméra s'est déplacée, et un suivi dense de la manière dont les points de l'image se déplacent d'un instant à l'autre.
Les chercheurs ont conçu ce moteur pour résoudre un problème spécifique : le besoin de données où la cause du changement visuel n'est jamais confondue. Dans une vidéo normale, il est difficile de dire si un pixel a bougé parce que l'objet a bougé ou parce que la caméra a tourné. Dans WorldRover, les chercheurs peuvent rejouer exactement le même itinéraire sous différentes conditions. Ils peuvent montrer la même marche à travers une ville en plein jour, puis dans un brouillard épais, ou même sous la forme d'un modèle blanc neutre où toutes les textures sont supprimées mais où les formes restent. Parce que le chemin et la géométrie restent identiques alors que seule l'apparence change, un ordinateur apprenant à partir de ces données peut apprendre à séparer la structure du monde de son apparence. Cette séparation est vitale pour entraîner des modèles qui doivent comprendre un monde assez profondément pour le naviguer ou le reconstruire en trois dimensions.
Pour construire cela, l'équipe a utilisé un moteur de jeu puissant, un outil typiquement utilisé pour créer des jeux vidéo, mais ils l'ont détourné pour la génération de données scientifiques. Ils ont préparé trente-deux environnements distincts créés par des artistes, en veillant à ce qu'ils soient riches en détails et en encombrements, tout comme les lieux réels. Ils ont ensuite programmé trois manières différentes de se déplacer dans ces espaces. Une méthode utilisait une carte pré-calculée de chemins praticables pour planifier des itinéraires efficaces. Une autre utilisait un agent réactif qui détectait les obstacles en se déplaçant, s'égarant parfois ou restant coincé, tout comme une personne explorant une nouvelle pièce. La troisième méthode permettait à un humain d'enregistrer un chemin manuellement. Ces itinéraires ont ensuite été rendus hors ligne (offline), ce qui signifie que l'ordinateur a pris son temps pour calculer chaque rayon de lumière et d'ombre avec une grande précision, plutôt que de se précipiter pour produire une image en temps réel. Ce processus leur a permis de générer des données physiquement exactes, avec un éclairage qui change correctement à mesure que l'heure de la journée décline ou que la météo tourne.
Le jeu de données comprend des sous-ensembles spécifiques adaptés à différentes tâches. Les séquences à la troisième personne sont particulièrement précieuses car elles montrent un personnage se déplaçant indépendamment de la caméra. Cela permet aux chercheurs d'étudier comment une machine peut distinguer le mouvement d'un observateur de celui d'un objet dans le monde. Le système suit également des points sur le personnage et l'arrière-plan sur de longues périodes, même lorsque ces points sont cachés derrière des murs ou d'autres objets. Les données indiquent à l'ordinateur non seulement où se trouve un point lorsqu'il est visible, mais aussi où il serait s'il était encore visible, un concept connu sous le nom de suivi amodal. Ceci est crucial pour comprendre qu'une voiture derrière un bâtiment existe toujours et possède une position spécifique, même lorsqu'elle ne peut pas être vue.
WorldRover-10M n'est pas seulement une collection de vidéos ; c'est une bibliothèque structurée où chaque morceau d'information est lié au moment exact où il a été capturé. Les cartes de profondeur sont mesurées en mètres, les enregistrements de flux optique mesurent le mouvement des pixels en unités précises, et les trajectoires de la caméra sont enregistrées avec une haute fidélité. L'équipe a rendu ces données disponibles dans un format qui permet aux chercheurs d'accéder facilement aux informations brutes sans avoir besoin de deviner ou d'estimer. Ils ont mis ces données à la disposition du public, fournissant ainsi une base pour que d'autres puissent construire des modèles capables de comprendre, de naviguer et de reconstruire des mondes explorables. En transformant le problème de l'exploration du monde en une tâche de génération de données scalable, les chercheurs ont fourni un nouvel outil pour le domaine de l'intelligence artificielle, offrant un niveau de clarté et de contrôle impossible à atteindre avec de simples enregistrements du monde réel.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.