Imaginez que vous essayez de construire un jeu vidéo interactif et parfait du monde réel, mais qu'au lieu d'utiliser un moteur de jeu, vous devez le construire à partir de rien en utilisant uniquement une pile de photos prises depuis une voiture en mouvement. C'est le défi de la « reconstruction neurale », un domaine où les scientifiques apprennent aux ordinateurs à transformer des images plates en mondes 3D dans lesquels on peut se déplacer. Pendant des années, la meilleure façon de faire cela était de sculpter un chef-d'œuvre dans l'argile : il fallait prendre une scène unique, passer des heures (voire des jours) à tailler et à polir soigneusement chaque détail à la main. C'était magnifique, mais c'était trop lent pour construire une ville entière, et encore moins un monde entier.

Le document que vous allez lire présente un nouvel outil appelé Instant NuRec. Considérez-le comme un « appareil photo instantané magique » pour les mondes 3D. Au lieu de sculpter une scène à la fois, cette nouvelle méthode regarde une courte vidéo provenant des caméras d'une voiture et, en un seul éclair de traitement, recrache un monde 3D entièrement jouable. Elle sépare le monde en trois couches : les éléments ennuyeux et immobiles comme les routes et les bâtiments ; les éléments en mouvement comme les autres voitures et les piétons ; et le ciel. L'objectif est de permettre aux programmeurs de voitures autonomes de tester leurs logiciels dans ces mondes factices sans attendre des heures que le monde soit construit, rendant ainsi tout le processus d'apprentissage de la conduite pour les voitures plus sûr et plus rapide.

L'appareil photo instantané « Magique »

Imaginez que vous êtes un développeur de voitures autonomes. Vous avez un million de miles de séquences vidéo provenant de votre flotte de voitures, et vous devez tester votre IA dans différents scénarios. Par le passé, pour transformer l'un de ces clips vidéo en une simulation 3D, vous deviez lancer un processus lent et coûteux qui prenait environ 75 minutes par scène. C'était comme essayer de cuire un gâteau à partir de zéro à chaque fois que vous vouliez une seule part. Vous ne pouviez cuire que quelques gâteaux par jour, ce qui signifiait que vous ne pouviez pas tester vos recettes très souvent.

Voici Instant NuRec, un nouveau modèle de NVIDIA qui change la donne. Au lieu de cuire un gâteau à partir de zéro, c'est comme avoir une machine capable d'imprimer instantanément un gâteau parfait et comestible en 1,5 seconde.

Ce modèle prend un court clip vidéo des caméras d'une voiture (généralement de 10 à 20 secondes de long) et, en une seule « passe directe » (ce qui est juste une façon élégante de dire « un coup d'œil rapide »), construit un monde 3D complet. Ce monde n'est pas seulement une vidéo plate ; c'est un environnement 3D stratifié composé de millions de minuscules points brillants appelés Gaussians. Pensez à ces points comme à un nuage de paillettes que l'ordinateur dispose pour ressembler exactement au monde réel.

Comment il construit le monde

La magie opère parce que le modèle sait comment diviser le monde en trois parties distinctes, tout comme un décor de théâtre :

1. La couche statique : C'est l'arrière-plan qui ne bouge jamais — routes, bâtiments, arbres et lampadaires. Le modèle les capture sous la forme d'une couche 3D solide et immuable.
2. La couche dynamique : C'est la distribution de personnages en mouvement — les autres voitures, les cyclistes et les piétons. Au lieu de simplement les figer sur place, le modèle leur donne un « script ». Il déduit leur trajectoire et crée une ligne de mouvement fluide (une trajectoire) afin qu'ils puissent circuler ou marcher dans la simulation exactement comme ils l'ont fait dans la vidéo réelle.
3. Le Cubemap du ciel : Puisque le ciel est loin et n'a pas de forme spécifique, le modèle enveloppe le ciel dans un immense cube d'images à 360 degrés qui se place à l'extérieur du monde, ressemblant à un « skybox » de jeu vidéo.

Le modèle corrige également les couleurs. Comme les différentes caméras d'une voiture peuvent percevoir les couleurs légèrement différemment (l'une peut paraître un peu plus rouge, une autre un peu plus bleue), le modèle applique une « correction de couleur » rapide pour s'assurer que l'ensemble du monde est cohérent, comme un éditeur de photos professionnel corrigeant une image.

Pourquoi la vitesse est importante

La partie la plus impressionnante n'est pas seulement qu'il fonctionne, mais la rapidité avec laquelle il le fait. Les chercheurs ont testé cela sur un ensemble massif de clips de conduite. Alors que l'ancienne méthode lente (appelée NuRec) mettait environ 75 minutes pour construire une seule scène, Instant NuRec l'a fait en environ 1,5 seconde. C'est une accélération de plus de 1 000 fois.

Pour mettre cela en perspective : si l'ancienne méthode demandait une journée de travail entière pour construire une seule scène, la nouvelle méthode pourrait construire plus de 2 000 scènes au cours de cette même journée. Cela signifie que les développeurs peuvent enfin tester leur logiciel de conduite autonome sur des millions de scénarios différents, et non plus seulement sur une poignée d'entre eux.

Est-ce que cela fonctionne vraiment ?

Vous pourriez vous demander : « S'il est si rapide, est-il pour autant de bonne qualité ? » Les auteurs l'ont testé rigoureusement. Ils ont comparé les mondes 3D instantanés aux mondes lents et de haute qualité, et même aux séquences vidéo réelles.

• Qualité visuelle : Lorsque les images ont été examinées, la version instantanée était plus nette et plus claire que les autres méthodes rapides. Sur un test standard appelé Waymo Open Dataset, elle a obtenu un score de 2,01 dB supérieur en qualité d'image par rapport à la meilleure méthode rapide suivante. Cela peut sembler être un petit chiffre, mais dans le monde de la qualité d'image, c'est un bond énorme.
• Tests de conduite : Le véritable test, cependant, était de savoir si une voiture autonome pouvait réellement circuler dans ces mondes factices. Les chercheurs ont fait circuler le même logiciel de conduite dans les mondes lents et parfaits et dans les mondes rapides et instantanés. Ils ont constaté que le logiciel prenait exactement les mêmes décisions et avait exactement le même bilan de sécurité dans les deux cas. Les mondes « instantanés » étaient assez bons pour être dignes de confiance pour des tests sérieux.

Le raccourci « Sélectif »

Le document mentionne également une astuce ingénieuse pour rendre les choses encore plus rapides si l'on n'a pas besoin d'un détail parfait. Le modèle peut choisir d'utiliser moins de « points de paillettes » (Gaussians) en se concentrant uniquement sur les parties importantes de la scène. Ils appellent cela la stratégie Sélective. Elle réduit le nombre de points d'environ 3 fois (passant d'environ 351 000 à 120 000 par vue) tout en conservant une qualité presque identique. C'est comme décider que vous n'avez besoin de peindre que les personnages principaux d'une scène de film, et non chaque feuille de chaque arbre, pour obtenir le même effet.

Ce qu'il ne peut pas faire (encore)

Les auteurs sont honnêtes sur les limites. Bien que le modèle soit incroyable pour capturer les mouvements de voitures et de personnes, il ne peut pas capturer parfaitement les petits mouvements agités, comme une personne qui agite les bras ou un chien qui secoue sa fourrure. Il traite les objets en mouvement comme s'ils se déplaçaient le long d'une ligne droite et fluide entre quelques points clés. Si vous avez besoin de voir le mouvement exact du doigt d'un piéton, ce modèle n'est pas encore capable de le faire. De plus, il fonctionne mieux avec les types de caméras spécifiques sur lesquels il a été entraîné ; si vous lui donnez une configuration de caméra inhabituelle qu'il n'a jamais vue, il pourrait avoir besoin d'un entraînement supplémentaire pour bien fonctionner.

L'essentiel

Instant NuRec est une avancée majeure pour rendre les simulations 3D du monde réel rapides et pratiques. Il transforme l'approche passée du « lent et parfait » en une approche « rapide et suffisamment bonne » pour le monde réel. En transformant une attente de 75 minutes en un clin d'œil de 1,5 seconde, il ouvre la porte aux entreprises de voitures autonomes pour tester leur logiciel à une échelle qui était auparavant impossible. Il ne se contente pas de construire un monde ; il construit un terrain de jeu où l'avenir de la conduite peut être testé, affiné et perfectionné à la vitesse de la lumière.