💻 computer science

360Anything: Geometry-Free Lifting of Images and Videos to 360°

360Anything est un cadre de travail sans géométrie qui exploite des transformateurs de diffusion pré-entraînés pour élever des images et vidéos en perspective vers des panoramas à 360° de manière purement pilotée par les données, éliminant ainsi le besoin de métadonnées de caméra tout en atteignant des performances de pointe et en résolvant les artefacts de bordure grâce à une nouvelle technique d'encodage latent circulaire.

Auteurs originaux : Ziyi Wu, Daniel Watson, Andrea Tagliasacchi, David J. Fleet, Marcus A. Brubaker, Saurabh Saxena

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziyi Wu, Daniel Watson, Andrea Tagliasacchi, David J. Fleet, Marcus A. Brubaker, Saurabh Saxena

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une photographie prise avec un appareil photo standard. Elle capture une tranche étroite du monde, comme si l'on regardait à travers un trou de serrure. Maintenant, imaginez que vous vouliez transformer cette image unique et plate en une vue panoramique à 360 degrés où vous pouvez regarder à gauche, à droite, en haut et en bas, comme si vous étiez debout au cœur même de la scène.

C'est ce que fait le papier 360Anything. Il prend une photo ou une vidéo normale et l'« élève » pour en faire un monde complet et immersif à 360 degrés. Voici comment cela fonctionne, expliqué simplement :

1. L'ancienne méthode : Essayer de faire entrer un pion carré dans un trou rond

Auparavant, les ordinateurs essayaient de faire cela en utilisant une carte mathématique stricte. Ils prenaient la photo étroite et essayaient de l'étirer et de la déformer mathématiquement sur une immense carte plate du monde (appelée « projection équirectangulaire »).

Pour ce faire, l'ordinateur avait besoin de connaître les détails exacts de l'appareil photo qui a pris la photo : Quelle était la largeur de l'objectif ? L'appareil était-il incliné ? Dans quelle direction pointait-il ?

Le problème : La plupart des photos sur Internet (ou provenant de votre téléphone) ne possèdent pas cette information. Si l'ordinateur se trompe dans ses calculs, le résultat semble brisé ou déformé. C'est comme essayer d'assembler un puzzle sans l'image sur la boîte, en s'appuyant uniquement sur un manuel que vous n'avez pas.

2. La nouvelle méthode : Apprendre par l'exemple (l'approche « 360Anything »)

Les auteurs de ce papier disent : « Arrêtons d'essayer de faire les mathématiques manuellement. » Au lieu de cela, ils ont construit un système appelé 360Anything qui apprend la relation entre une photo étroite et un panorama complet simplement en observant des milliers d'exemples.

L'analogie : Imaginez que vous appreniez à un enfant à dessiner une pièce entière à partir d'un petit croquis. Au lieu de lui donner une règle et un rapporteur (la mathématique de la caméra), vous lui montrez des milliers de paires de « petits croquis » et de « dessins de pièces entières ». Finalement, l'enfant apprend le motif intuitivement. Il n'a pas besoin de connaître l'angle exact de la caméra ; il sait juste : « Si je vois une porte ici dans le petit croquis, le reste du mur doit continuer comme ça ».
Le résultat : 360Anything fonctionne sur des données « in-the-wild » (issues du monde réel) — des photos et des vidéos prises par n'importe qui, n'importe où, sans réglages spéciaux. Il déduit de lui-même l'angle et la position de la caméra.

3. Résoudre le problème de la « couture » (le Seam)

Lorsque l'on enveloppe une image plate autour d'une sphère pour créer une vue à 360 degrés, le bord gauche et le bord droit doivent se rejoindre parfaitement. S'ils ne le font pas, on voit une « couture » ou une fissure disgracieuse dans l'image, comme une couverture mal cousue.

L'ancienne solution : Les méthodes précédentes essayaient de corriger cela après la création de l'image, en utilisant des astuces pour flouter la couture ou en faisant pivoter l'image pendant la génération.
La solution de 360Anything : Les auteurs ont réalisé que le problème commençait avant même la création de l'image. Le « traducteur » interne de l'ordinateur (appelé VAE) traitait les bords de l'image comme un mur, plaçant un « zéro » (un espace vide) à côté d'eux. Cela créait un bug.
La solution : Ils ont modifié le traducteur pour utiliser un « Padding Circulaire » (Circular Padding). Imaginez que l'image est une boucle de ceinture. Au lieu de mettre un mur vide à la fin, l'ordinateur connecte directement le bord droit au bord gauche avant le traitement. Cela garantit que la « couture » est fluide dès le début, ce qui produit un cercle parfait et invisible.

4. Ce qu'il peut faire

Le papier démontre que cette méthode est incroyablement puissante :

Pour les photos : Il peut prendre une seule photo et générer une image à 360 degrés complète qui semble réaliste, même si la photo originale a été prise avec un angle étrange ou un objectif grand angle.
Pour les vidéos : Il peut prendre un court clip vidéo et le transformer en une vidéo à 360 degrés complète. Si vous avancez dans la vidéo, le système génère le monde devant vous. Si vous regardez vers le haut, il génère le ciel.
Reconstruction 3D : Comme les vidéos à 360 degrés générées sont très cohérentes, vous pouvez les utiliser pour construire un modèle 3D de la pièce ou de la rue. Vous pouvez ensuite « voler » à travers la scène dans un ordinateur, en explorant des angles qui n'étaient pas présents dans la vidéo d'origine.

5. Pourquoi c'est une avancée majeure

Le papier affirme que la méthode 360Anything est meilleure que les méthodes précédentes, même celles qui possédaient les informations de caméra parfaites. En supprimant le besoin de données de caméra et en réglant le problème de la couture à la racine, elle crée des mondes 3D plus propres, plus précis et plus immersifs à partir de simples photos et vidéos du quotidien.

En résumé : Elle transforme une vue plate et limitée du monde en une expérience complète et explorable à 360 degrés, sans avoir besoin d'un manuel ou d'une carte pour y parvenir.

Résumé Technique : 360Anything

Problématique

La génération de mondes 3D photoréalistes à partir d'images et de vidéos en perspective est une frontière critique pour les applications immersives dans la robotique, la RA/RV et le jeu vidéo. Bien que les avancées récentes des modèles génératifs visuels aient amélioré la synthèse de vues en perspective, les générateurs standards produisent des champs de vision (FoV) étroits, ce qui limite leur utilité pour la création d'environnements immersifs à 360°.

Les approches existantes pour transformer des entrées en perspective en panoramas à 360° reposent généralement sur un alignement géométrique explicite. Ces méthodes projettent l'entrée en perspective dans l'espace de projection équirectangulaire (ERP) afin de fournir un signal de conditionnement aligné sur les pixels. Cependant, cette stratégie nécessite des métadonnées de caméra connues (champ de vision, lacet, tangage, roulis). Dans des scénarios « in-the-wild » (en conditions réelles), ces données de calibration sont souvent absentes ou bruitées. Par conséquent, les modèles actuels peinent face à des entrées non calibrées ou échouent lorsqu'ils dépendent d'estimateurs externes fragiles. De plus, les panoramas générés souffrent souvent d'artefacts de couture aux limites de l'ERP, un problème que les travaux antérieurs tentent d'atténuer par des astuces lors de l'inférence plutôt qu'en traitant la cause profonde.

Méthodologie

Les auteurs proposent 360Anything, un cadre sans géométrie basé sur des Transformers de Diffusion (DiT) pré-entraînés, qui élimine le besoin d'informations de caméra explicites.

1. Concaténation de séquences sans géométrie

Contrairement aux travaux précédents qui imposent une correspondance spatiale en projetant les entrées dans l'espace ERP, 360Anything traite l'entrée en perspective et le panorama cible simplement comme des séquences de tokens.

Mécanisme : L'entrée en perspective ( $X_{pers}$ ) est encodée en tokens latents ( $x_{pers}$ ) et concaténée avec les tokens latents bruités de la cible ( $y^t_{equi}$ ) le long de la dimension de la séquence.
Apprentissage : Le DiT effectue une auto-attention globale sur cette séquence combinée. Le modèle apprend la cartographie perspective-vers-équirectangulaire uniquement à partir des données, en inférant implicitement les intrinsèques et extrinsèques de la caméra pour « placer » l'entrée sur un canevas à 360°.
Canonicité : Pour assurer une génération et un entraînement cohérents, le cadre impose une contrainte de coordonnées canoniques. Le modèle est entraîné pour générer des panoramas dans une orientation verticale standard, alignée sur la gravité, quel que soit le pose de la caméra d'entrée. Cela nécessite un pipeline de prétraitement de données en deux étapes pour les vidéos réelles :
1. Stabilisation : Utilisation de COLMAP pour estimer les poses par image et faire pivoter les images pour éliminer la rotation inter-images.
2. Alignement de la gravité : Utilisation de GeoCalib pour estimer la direction globale de la gravité et faire pivoter la vidéo afin que la gravité s'aligne avec l'axe vertical.

2. Encodage latent circulaire pour une génération sans coutures

L'article identifie la cause profonde des artefacts de couture dans la génération ERP comme étant le remplissage par zéro (zero-padding) dans les couches convolutionnelles de l'auto-encodeur variationnel (VAE) utilisé pour l'encodage latent. Le remplissage par zéro standard introduit des discontinuités de bordure dans la représentation latente, que le modèle de diffusion apprend à reproduire.

Solution : Les auteurs proposent l'Encodage Latent Circulaire. Avant l'encodage, des colonnes sont découpées à gauche et à droite du panorama et ajoutées aux côtés opposés (remplissage circulaire). Après l'encodage, les latents correspondant à ces régions de remplissage sont supprimés.
Résultat : Cela garantit que la représentation latente possède une continuité circulaire, éliminant la discontinuité qui cause les coutures sans introduire de surcharge sur la longueur de la séquence ou le temps d'inférence.

Principales Contributions

Architecture 360Anything : Un nouveau cadre basé sur DiT pour la génération perspective-vers-panorama « in-the-wild » qui infère implicitement les paramètres de la caméra, supprimant la dépendance à la calibration de la caméra.
Analyse de la cause profonde des coutures : Identification du remplissage par zéro du VAE comme source des artefacts de couture et introduction de l'Encodage Latent Circulaire comme remède principled au stade de l'entraînement.
Performance de l'état de l'art : La méthode obtient des résultats supérieurs sur les benchmarks de génération d'images et de vidéos, surpassant les bases de référence utilisant des informations de caméra de vérité terrain.
Compréhension géométrique zero-shot : Le modèle démontre une précision compétitive dans l'estimation zero-shot du FoV et de l'orientation de la caméra, prouvant qu'il apprend des correspondances géométriques profondes malgré l'absence de métadonnées explicites.

Résultats Expérimentaux

Génération d'images panoramiques

Évalué sur les jeux de données Laval Indoor et SUN360, 360Anything surpasse les bases de référence (incluant CubeDiff, PanoDiffusion et Diffusion360) en termes de qualité visuelle (FID, KID, FAED).

Amélioration du FAED : Le modèle réduit l'erreur FAED de près de 50 % par rapport à l'état de l'art, indiquant une bien meilleure géométrie globale et une cohérence à 360°.
Qualitatif : Contrairement aux méthodes basées sur les cubemaps qui étirent les objets lorsque le FoV d'entrée diffère de 90°, 360Anything infère correctement le FoV et l'orientation, produisant des objets non déformés.

Génération de vidéos panoramiques

Évalué sur le jeu de données Argus en utilisant des trajectoires de caméra simulées et réelles.

Métriques : 360Anything obtient les meilleurs scores en PSNR, LPIPS, FVD et métriques VBench (qualité d'image, qualité esthétique, fluidité du mouvement).
Cohérence : Le modèle génère des vidéos canonisées stables qui restent verticales et sans distorsion même avec de grands mouvements de caméra, là où les bases de référence produisent souvent des sorties pivotées ou déformées.
Reconstruction 3D : Les vidéos panoramiques générées permettent une reconstruction de scène 3D de haute qualité via le 3D Gaussian Splatting (3DGS), démontrant une forte cohérence géométrique adaptée à l'exploration de type « fly-through ».

Calibration de caméra Zero-Shot

Malgré un entraînement uniquement pour l'outpainting, le modèle obtient des résultats compétitifs dans l'estimation zero-shot des paramètres de la caméra :

Estimation du FoV : Se classe parmi les trois meilleurs sur NYUv2, ETH3D et iBims-1, surpassant plusieurs bases de référence supervisées et ne dépassant que légèrement les méthodes spécialisées de l'état de l'art (DUSt3R, MoGe).
Estimation de l'orientation : Surpasse la plupart des bases de référence supervisées sur MegaDepth et LaMAR pour l'estimation du roulis et du tangage, avec des erreurs seulement ~0,5 degré plus élevées que le SOTA GeoCalib.

Signification et Revendications

L'article affirme que l'alignement géométrique explicite est inutile pour une génération de panorama de haute qualité. En exploitant la puissance de représentation des Transformers de Diffusion et en traitant la tâche comme un problème séquence-à-séquence, 360Anything atteint une robustesse dans les scénarios « in-the-wild » où la calibration est impossible.

Le travail démontre que :

L'apprentissage des relations géométriques par les données peut surpasser les méthodes reposant sur des priors géométriques explicites et souvent bruités.
Les artefacts de couture sont un problème architectural dans l'espace latent, et non un simple artefact d'inférence, et peuvent être résolus via l'Encodage Latent Circulaire.
Le cadre possède une compréhension géométrique profonde, capable d'inférer les paramètres de la caméra et de maintenir la cohérence 3D (permettant la reconstruction 3DGS) sans supervision explicite.

Les auteurs concluent que cette approche permet de passer à l'échelle les modèles et les données pour la génération de mondes 3D immersifs, dépassant les limitations des générateurs de perspective seule et des pipelines dépendants de la calibration.