UniWorld-View: Large-Baseline View Synthesis via Video Diffusion Models
UniWorld-View est un cadre unifié qui combine un guidage 3D explicite sensible à l'occlusion avec des modèles de diffusion vidéo afin de parvenir à une synthèse de vues inédites à grande base, fidèle, géométriquement cohérente et précisément contrôlable, à partir d'entrées monoculaires éparses.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous tenez un smartphone, enregistrant une vidéo rapide de votre salon en vous déplaçant. Maintenant, imaginez un tour de magie où vous pourriez instantanément téléporter cette vidéo vers un angle complètement différent — par exemple, flottant près du plafond ou regardant à travers une fenêtre que vous n'avez jamais filmée — et voir la pièce depuis ce nouvel emplacement avec une clarté parfaite. C'est le rêve de la « synthèse de vues inédites » (novel view synthesis), un domaine de l'informatique qui tente d'apprendre aux machines comment comprendre l'espace 3D à partir d'images 2D plates. Pendant longtemps, les ordinateurs ont été très mauvais pour cela. Si vous leur demandiez de deviner ce qui se trouve derrière une chaise sur une photo, ils se trompaient souvent, créant des formes bizarres et étirées ou des trous invisibles. Ils avaient soit besoin de centaines de photos prises sous tous les angles (ce qui est ennuyeux et difficile à faire), soit ils essayaient d'« halluciner » les parties manquantes, ce qui entraînait souvent des cauchemars géométriques où les murs se courbaient comme du caoutchouc. Mais et si nous pouvions combiner le meilleur des deux mondes : les règles strictes de la géométrie (pour que les murs restent droits) avec le pouvoir créatif de l'IA moderne (pour que les parties manquantes paraissent réelles) ? C'est la grande question que les chercheurs tentent de résoudre pour rendre la réalité virtuelle, le jeu vidéo et les réseaux sociaux véritablement immersifs.
Voici UniWorld-View, une nouvelle méthode développée par des chercheurs de l'Université de Pékin et de Rabbitpre AI, qui agit comme un réalisateur super intelligent pour ces films en 3D. Le problème central qu'ils ont résolu est ce qui se passe lorsque vous essayez de regarder une scène sous un angle très différent de celui où vous avez filmé. Pensez à essayer de dessiner la carte d'une ville que vous n'avez vue que depuis un coin de rue. Si vous essayez de deviner ce qui se trouve de l'autre côté d'un bâtiment, vous pourriez accidentellement dessiner la porte d'entrée du bâtiment sur le mur arrière, ou étirer un arbre à travers le ciel. Les méthodes d'IA précédentes commettaient souvent ces erreurs de « déchirure » car elles ne savaient pas quelles parties de la scène étaient cachées (occluses) et lesquelles étaient visibles.
UniWorld-View corrige cela avec une stratégie astucieuse en deux étapes. D'abord, il construit un « nuage de points » grossier (un nuage numérique de points représentant la scène) à partir de votre vidéo. Mais au lieu de simplement projeter ces points sur un nouvel écran, il utilise un tour de « triple reprojection ». Imaginez prendre une photo d'une ombre, puis prendre une photo du reflet de cette ombre, et enfin comparer les deux pour comprendre exactement ce qui est caché derrière l'objet. Cela permet à l'IA de créer un « masque » parfait qui lui indique exactement quels pixels sont réels et lesquels sont de simples trous vides. Il vérifie également les « normales » (la direction vers laquelle une surface fait face) pour s'assurer qu'il ne montre pas accidentellement l'arrière d'un mur.
Une fois que l'IA possède cette carte géométriquement précise de ce qui devrait être là, elle utilise un puissant « modèle de diffusion vidéo » (un type d'IA qui génère de la vidéo en transformant lentement du bruit en une image claire) pour combler les lacunes. Mais voici le plus important : elle ne se contente pas de deviner. Elle utilise un système à « double flux ». Un flux observe la carte géométrique pour s'assurer que la caméra se déplace exactement là où vous le souhaitez, et l'autre flux observe votre vidéo originale pour copier les textures et les couleurs. Cela garantit que si vous déplacez la caméra vers un nouvel endroit, les objets restent solides et la lumière semble réelle, plutôt que de fondre en une soupe de pixels.
Les chercheurs ont testé cela sur le benchmark « WorldScore », un test exigeant pour évaluer la capacité de l'IA à contrôler les mouvements de caméra et à maintenir la cohérence des scènes 3D. UniWorld-View a obtenu le score le plus élevé pour les scènes « statiques » (85,53) et s'est classé deuxième pour les scènes dynamiques, battant ainsi d'autres modèles de pointe. Il a également montré qu'il pouvait générer des vues nouvelles de haute qualité à partir de vidéos uniques sans avoir besoin d'être réentraîné sur ces scènes spécifiques (apprentissage zero-shot). En résumé, UniWorld-View apprend à l'IA à respecter les règles de la physique et de la géométrie tout en étant assez créative pour imaginer ce qui se cache derrière le rideau, ouvant la voie à des mondes virtuels plus réalistes où l'on peut regarder autour de soi librement, même si la vidéo originale n'était qu'un selfie rapide.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.