One2Scene: Geometric Consistent Explorable 3D Scene Generation from a Single Image

Each language version is independently generated for its own context, not a direct translation.

🎨 One2Scene : Transformer une seule photo en un monde 3D exploré

Imaginez que vous avez une seule photo de votre salon. Aujourd'hui, si vous essayez de vous "promener" virtuellement autour de la pièce en changeant d'angle, les méthodes actuelles ressemblent souvent à un cauchemar : les murs se déforment, les meubles s'étirent comme du chewing-gum, et l'illusion de réalité s'effondre.

Les chercheurs de l'Université Polytechnique de Hong Kong ont créé One2Scene, une nouvelle méthode qui résout ce problème. Voici comment cela fonctionne, expliqué avec des analogies du quotidien.

1. Le Problème : Le "Trou Noir" de l'Information

Prendre une seule photo, c'est comme essayer de deviner la forme complète d'un éléphant en ne regardant que sa trompe. Il manque énormément d'informations (le dos, les oreilles, les pattes). Les anciennes méthodes essaient de deviner le reste, mais elles font souvent des erreurs grossières quand on s'éloigne trop de l'angle initial.

2. La Solution : Une Approche en Trois Étapes

Au lieu d'essayer de tout deviner d'un coup (ce qui est impossible), One2Scene décompose le problème en trois étapes logiques, comme un architecte qui construirait une maison.

Étape 1 : Le "Panorama Magique" (L'Exploration Initiale)

L'analogie : Imaginez que vous avez une photo d'un coin de pièce. One2Scene utilise une intelligence artificielle pour "imaginer" et dessiner le reste de la pièce, créant une vue à 360 degrés (un panorama) qui vous entoure complètement.
Le but : On ne reste plus bloqué sur un seul point de vue. On a maintenant une carte complète, même si elle est encore un peu "plate" (2D).

Étape 2 : Le "Squelette Géométrique" (La Structure)

L'analogie : C'est l'étape la plus ingénieuse. Imaginez que vous prenez ce panorama plat et que vous le transformez en un squelette 3D solide.
- Pour cela, l'IA ne regarde pas le panorama comme une seule image. Elle le découpe en 6 faces d'un dé (comme un cube).
- Elle compare ces faces entre elles (comme si vous regardiez un objet sous plusieurs angles) pour calculer la profondeur exacte.
- Le résultat est un échafaudage 3D (un "scaffold") très précis. C'est comme si l'IA construisait le plan d'architecte et les poutres de la maison avant de mettre les murs.
Pourquoi c'est génial ? Ce squelette garantit que la géométrie est correcte. Les murs sont droits, les distances sont réalistes. Même si on bouge beaucoup, le squelette ne se brise pas.

Étape 3 : La "Peinture Réaliste" (Le Rendu Final)

L'analogie : Maintenant que l'architecte a le plan (le squelette 3D), l'artiste peut peindre.
- L'IA utilise ce squelette comme guide pour générer de nouvelles vues. Elle sait exactement où placer les meubles et les ombres.
- Elle utilise une technique spéciale (appelée "Dual-LoRA") qui mélange deux sources d'information : la beauté de l'image originale (les couleurs, les détails) et la solidité du squelette (la forme, la profondeur).
Le résultat : Vous pouvez vous promener dans la pièce, tourner la tête, vous approcher d'un objet, et tout reste cohérent, réaliste et sans déformation bizarre.

3. Pourquoi est-ce une révolution ?

Stabilité : Les méthodes précédentes (comme WonderJourney ou DreamScene360) sont comme des châteaux de sable : elles sont belles au début, mais s'effondrent quand on s'éloigne trop. One2Scene est comme un château en pierre : solide et stable.
Vitesse : Grâce à son "squelette" pré-calculé, le système est très rapide (environ 0,5 seconde pour créer la structure 3D).
Réalisme : Les résultats sont si réalistes que l'œil humain a du mal à distinguer la photo générée d'une vraie vidéo.

En résumé

One2Scene, c'est comme avoir un magicien qui prend une photo unique, imagine tout le monde autour de vous, construit les fondations solides de ce monde en 3D, puis le peint avec une précision photographique.

Cela ouvre la porte à de nouvelles expériences : créer des jeux vidéo à partir d'une simple photo, visiter des musées virtuels réalistes, ou explorer des lieux que vous n'avez jamais vus, simplement en regardant une image.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

La génération de scènes 3D entièrement explorables à partir d'une seule image est un défi majeur en vision par ordinateur. Les méthodes existantes souffrent de plusieurs limitations critiques :

Incohérence géométrique : Lors de grands déplacements de caméra (exploration libre), les méthodes génératives (basées sur la diffusion vidéo ou l'inpainting itératif) produisent souvent des distorsions géométriques sévères, des artefacts et une dérive sémantique (le contenu change de manière incohérente).
Manque de structure 3D explicite : Les approches actuelles peinent à maintenir une cohérence à long terme et à résoudre les ambiguïtés d'échelle, car elles ne reposent pas sur une représentation géométrique globale robuste.
Limites des méthodes de reconstruction : Les méthodes de reconstruction basées sur des vues éparses (sparse-view) manquent souvent de capacité d'extrapolation pour les régions non observées.

L'objectif est de créer un cadre capable de générer une scène 3D photoréaliste et géométriquement cohérente, permettant une navigation libre sans accumulation d'erreurs.

2. Méthodologie : Le cadre One2Scene

One2Scene décompose ce problème mal posé (ill-posed) en trois sous-tâches gérables et séquentielles, comme illustré dans la Figure 2 du papier :

Étape 1 : Génération de vues d'ancrage (Panorama Generation)

Pour pallier le manque d'informations d'une seule image, le modèle génère d'abord une représentation panoramique à 360°.

Outil : Utilisation d'un modèle de génération d'images vers panorama (Hunyuan-Pano-DiT).
Objectif : Étendre le champ de vision pour fournir des indices visuels globaux et transformer le problème en une tâche mieux posée avant la reconstruction 3D.

Étape 2 : Échafaudage géométrique 3D Feed-Forward (Feed-forward 3D Geometric Scaffold)

C'est le cœur de la méthode. Au lieu de traiter le panorama comme une image unique, l'approche le projette en six vues perspectives (cubemap) servant de "vues d'ancrage".

Reformulation du problème : L'estimation de profondeur monoculaire panoramique est reformulée comme un problème de stéréo multi-vues sur des vues très éparses (les faces du cubemap).
Architecture : Un réseau de Gaussian Splatting (GS) feed-forward généralisable est utilisé pour prédire les paramètres des gaussiennes 3D ( $\mu, \alpha, \Sigma, c$ ) directement à partir des vues d'ancrage.
Module de Fusion Bidirectionnelle : Pour garantir la cohérence aux frontières des vues d'ancrage (qui ne se chevauchent que de 2,5°), un module de fusion bidirectionnelle est intégré. Il transforme les caractéristiques des vues cubiques en un espace latent équirectangulaire (C2E) pour fusionner l'information, puis les reprojette (E2C) avec des connexions résiduelles. Cela permet d'aligner la géométrie tout en préservant les détails spécifiques à chaque vue.
Résultat : Un "échafaudage" 3D explicite, géométriquement précis et cohérent, généré en 0,5 seconde.

Étape 3 : Synthèse de nouvelles vues guidée par l'échafaudage (Scaffold-Guided NVS)

La dernière étape utilise l'échafaudage 3D comme prior fort pour générer des vues photoréalistes à partir de n'importe quelle caméra.

Conditionnement : Le problème est reformulé pour conditionner la génération non seulement sur les vues d'ancrage, mais aussi sur les vues rendues depuis l'échafaudage 3D (qui contiennent la géométrie mais peuvent avoir des artefacts).
Stratégie Dual-LoRA : Inspiré par MMDiT, le modèle utilise deux modules LoRA distincts pour traiter séparément les vues d'ancrage (haute qualité d'apparence, géométrie ambiguë) et les vues rendues (géométrie forte, apparition imparfaite). Leurs caractéristiques sont fusionnées via un mécanisme d'attention 3D.
Condition Mémoire : Pour assurer la cohérence temporelle lors de la génération de séquences longues, une "mémoire" (une frame précédente proche en pose) est injectée pour guider la synthèse dans les zones occlues.

3. Contributions Clés

Modèle Feed-Forward 3D GS : Introduction d'un modèle de reconstruction 3D généralisable qui reformule l'estimation de profondeur panoramique en un problème de stéréo multi-vues, permettant une reconstruction géométrique robuste et rapide (0,5s).
Module de Fusion Bidirectionnelle : Une architecture innovante pour assurer la cohérence géométrique entre des vues d'ancrage très éparses, résolvant le problème des artefacts aux frontières.
Stratégie de Synthèse Guidée par Échafaudage (Dual-LoRA) : Une méthode novatrice pour combiner des priors géométriques explicites et des apparences de haute qualité, éliminant les ambiguïtés d'échelle et les dérives sémantiques.
Performance SOTA : Démonstration d'une supériorité significative sur les méthodes existantes en termes de réalisme photométrique et de stabilité géométrique lors de grands déplacements de caméra.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks variés (indoor/outdoor, réel/stylisé) en comparant One2Scene à des méthodes de pointe comme DreamScene360, WonderJourney, SEVA et VMem.

Qualité Visuelle et Cohérence Sémantique : One2Scene obtient les meilleurs scores sur les métriques sans référence (NIQE : 4.43, Q-Align : 4.13) et sur la similarité sémantique (CLIP-I : 89.95), surpassant nettement SEVA et VMem.
Stabilité Géométrique : La méthode réduit considérablement les erreurs de translation (TransErr : 0.326) et de rotation (RotErr : 0.107). Surtout, elle obtient un score de cohérence du mouvement de caméra (CamMC) de 0.389, bien inférieur à celui de VMem (0.998), indiquant une absence de dérive géométrique même sur de longues séquences.
Efficacité : La reconstruction de l'échafaudage 3D est ultra-rapide (0,5s sur GPU H20), offrant un gain de vitesse de 5,6x par rapport à des méthodes concurrentes comme AnySplat.
Estimation de Profondeur : Le modèle dépasse les méthodes SOTA d'estimation de profondeur panoramique (comme Depth Anywhere) sur les jeux de données Stanford2D3D et Matterport3D, prouvant la robustesse de ses priors géométriques.

5. Signification et Impact

One2Scene représente une avancée majeure dans la génération de contenu 3D à partir d'une seule image. En passant d'une approche purement générative (souvent instable) à une approche hybride génération + reconstruction explicite, le papier résout le problème fondamental de l'incohérence géométrique dans les scènes explorables.

Applications potentielles : Création de mondes virtuels pour les jeux vidéo, la réalité mixte (XR), et la visualisation architecturale à partir de simples photos.
Innovation conceptuelle : La démonstration qu'un échafaudage géométrique 3D explicite, généré rapidement, peut servir de "colonne vertébrale" stable pour guider des modèles de diffusion, ouvrant la voie à des systèmes de génération 3D plus fiables et contrôlables.

En résumé, One2Scene établit un nouvel état de l'art en permettant une exploration libre et immersive de scènes 3D générées à partir d'une seule image, sans les distorsions géométriques qui limitaient les approches précédentes.