💻 computer science

Enhancing In-context Panoramic Generation via Geometric-aware Pretraining

Le document présente Canvas360, un cadre à deux étapes qui exploite un nouvel ensemble de données de 1 million d'échantillons et des techniques de préentraînement sensibles à la géométrie pour atteindre des performances de pointe dans diverses tâches de génération panoramique en contexte, tout en garantissant une cohérence géométrique et une cohérence globale supérieures.

Auteurs originaux : Haoran Feng, Ruiyang Zhang, Longyi Zhang, Dizhe Zhang, Lu Qi

Publié 2026-07-10

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Haoran Feng, Ruiyang Zhang, Longyi Zhang, Dizhe Zhang, Lu Qi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de peindre un panorama parfait à 360 degrés d'une pièce sur une simple feuille de papier. Le problème ? Lorsque l'on enroule une carte plate autour d'une sphère, le haut et le bas se retrouvent écrasés et étirés comme une étrange pizza au fromage fondue. La plupart des générateurs d'images par IA tentent de corriger cela en utilisant des cartes « cubes » spéciales ou des astuces 3D, mais les auteurs de ce document, Canvas360, suggèrent que ces méthodes laissent encore la géométrie un peu bancale. Ils soutiennent que si vous voulez un monde panoramique véritablement fluide et sans distorsion, vous ne pouvez pas simplement regarder l'image ; vous devez comprendre la profondeur et la forme de l'espace lui-même.

Alors, comment ont-ils résolu cela ? Ils ont construit un pipeline d'entraînement à deux étapes qui agit comme un maître architecte, puis comme un peintre polyvalent.

Étape 1 : Le camp d'entraînement de la géométrie
D'abord, l'équipe a appris à leur modèle d'IA à voir le monde en 3D, et non en 2D. Ils n'ont pas seulement montré des images au modèle ; ils ont associé chaque image à une carte de profondeur (un plan montrant la distance de chaque objet). Ils ont injecté 100 000 de ces échantillons appariés dans le modèle.

Pour s'assurer que le modèle ne confondait pas l'image et le plan, ils ont utilisé une astuce ingénieuse : ils ont donné à la carte de profondeur un « décalage positionnel », comme si on donnait un numéro de siège différent dans un théâtre pour qu'elle sache qu'elle n'est pas la même chose que l'image située à côté d'elle. Ils ont également ajouté une règle spéciale appelée « perte de similitude » (similarity loss), qui réprimandait essentiellement le modèle si l'image et la carte de profondeur commençaient à trop se ressembler, le forçant ainsi à rester distinctes.

Le plus cool ? Ils ont introduit le remplissage circulaire de vélocité (velocity circular padding). Imaginez un monde de jeu vidéo où, si vous sortez par le bord droit de l'écran, vous apparaissez instantanément sur le bord gauche. Les auteurs se sont assurés que l'IA comprenne que les bords gauche et droit d'un panorama sont en fait des voisins sur une sphère. Ils n'ont pas simplement fait un copier-coller des bords ; ils ont enseigné au modèle que la « vélocité » (la direction du changement) à l'extrémité doit s'écouler parfaitement vers l'autre côté. Cela a aidé le modèle à apprendre à rendre les coutures invisibles.

Étape 2 : Le peintre polyvalent
Une fois que le modèle a compris la géométrie, ils sont passés à la seconde étape : lui apprendre à être un maître de la génération en contexte. Cela signifie que l'IA peut désormais prendre une image existante et une consigne textuelle pour accomplir toutes sortes de tours de magie sans plus avoir besoin des cartes de profondeur. Ils l'ont entraîné sur un nouvel ensemble de données massif appelé Canvas360Dataset, qui contient 1 million d'échantillons de haute qualité.

Ce jeu de données a été construit en synthétisant 900 000 nouveaux exemples couvrant quatre tâches spécifiques :

Transfert de style : Transformer une photo en un croquis au crayon ou en une peinture (200 000 échantillons).
Outpainting : Étendre la vue au-delà des bordures d'origine (250 000 échantillons).
Inpainting : Combler les trous manquants dans l'image (250 000 échantillons).
Édition : Supprimer des objets (comme un canapé) ou en ajouter de nouveaux (200 000 échantillons).

Les auteurs soutiennent explicitement l'idée qu'il n'est pas nécessaire d'entraîner des modèles séparés pour chacune de ces tâches ou de s'appuyer sur les anciennes méthodes de « carte cube ». Au lieu de cela, ils suggèrent qu'un modèle unique et unifié, pré-entraîné sur la géométrie, peut accomplir tous ces travaux plus efficacement.

Est-ce que ça a marché ?
Les résultats suggèrent une amélioration significative. Lorsqu'ils ont testé le modèle, celui-ci a obtenu le meilleur score sur une métrique spécifique appelée FAED (qui mesure à quel point le panorama est fidèle à la géométrie) et a très bien performé sur d'autres contrôles de qualité. Dans une étude utilisateur impliquant 71 personnes examinant 10 images, Canvas360 a été le favori pour ses bordures les plus fluides et sa meilleure qualité globale.

Les auteurs notent que là où les méthodes précédentes laissaient souvent des bords flous ou distordaient les objets lors de l'édition, Canvas360 a réussi à maintenir la structure 3D intacte. Ils n'ont pas prétendu avoir résolu tous les problèmes de l'univers, mais leurs expériences suggèrent qu'en enseignant à l'IA à respecter la forme sphérique du monde dès le début, ils ont créé un outil capable de générer des images panoramiques beaucoup plus cohérentes et réalistes.

Résumé Technique : Canvas360 – Améliorer la génération panoramique in-context via un pré-entraînement géométrique sensible

Énoncé du Problème

Bien que la génération de panoramas à partir de texte ait progressé de manière significative, la génération panoramique in-context (édition, inpainting, outpainting et transfert de style conditionnés par des images fournies par l'utilisateur) fait face à des défis distincts. La représentation dominante par projection équirectangulaire (ERP) introduit intrinsèquement des distorsions dépendantes de la latitude, ce qui rend difficile la préservation de la cohérence géométrique de la structure 3D sous-jacente lors de l'édition.

Les méthodes existantes tentent d'atténuer ce problème via des conceptions sensibles à la distorsion (par exemple, les cube-maps ou les plongements positionnels sphériques 3D), mais les observations empiriques suggèrent qu'elles peinent encore à maintenir la cohérence géométrique lorsqu'elles opèrent directement sur des panoramas ERP. De plus, le domaine est entravé par une pénurie de données d'entraînement à grande échelle et de haute qualité spécifiquement adaptées aux tâches panoramiques in-context. Une question cruciale demeure : Comment les priors de profondeur peuvent-ils être formulés sous une géométrie sphérique pour préserver la cohérence géométrique dans la génération d'images panoramiques in-context ?

Méthodologie

Les auteurs proposent Canvas360, un cadre en deux étapes qui intègre un pré-entraînement sensible à la géométrie avec un fine-tuning in-context unifié.

1. Pré-entraînement sensible à la géométrie (Étape 1)

Pour insuffler des priors spatiaux et géométriques forts, le modèle est pré-entraîné sur un ensemble de données à grande échelle et augmenté de profondeur en utilisant une architecture Flow Transformer.

Génération de profondeur parallèle : Le modèle génère simultanément des panoramas RGB et des cartes de profondeur sphériques. La profondeur est traitée comme un prior géométrique explicite où la profondeur correspond à la distance radiale du centre de la caméra (espace sphérique) plutôt qu'à l'axe Z cartésien.
Concaténation par jeton et décalages positionnels : Les latents RGB et de profondeur sont concaténés au niveau du jeton (token). Pour éviter que le modèle ne confonde les deux modalités, un décalage constant est appliqué à la première dimension des plongements positionnels rotatifs 3D (RoPE) pour les jetons de profondeur, les séparant des jetons RGB dans l'espace positionnel.
Padding circulaire de vélocité : Pour imposer la continuité sphérique et la cohérence des bordures, les auteurs introduisent un padding circulaire de vélocité. Contrairement au padding standard qui se contente de copier les colonnes de bordure, cette méthode synchronise les champs de vélocité des jetons de bordure (0° et 360°) avec leurs homologues circulaires avant le calcul du transformer. Cela supervise explicitement le modèle pour prédire des vélocités cohérentes aux bordures, assurant un alignement sans couture des coutures.
Régularisation par perte de similitude : Pour empêcher les prédictions RGB et de profondeur de s'effondrer en des sorties dégénérées et excessivement similaires, une perte de similitude est ajoutée. Elle pénalise la corrélation excessive entre les champs de vélocité prédits des deux modalités, encourageant des représentations distinctes et spécifiques à chaque modalité.

2. Fine-tuning in-context unifié (Étape 2)

S'appuyant sur le modèle pré-entraîné, un cadre unifié est entraîné pour quatre tâches en aval : le transfert de style, l'inpainting, l'outpainting et l'édition.

Suppression de la profondeur : Lors du fine-tuning, les entrées de profondeur sont écartées. Le modèle repose uniquement sur les conditions in-context basées sur le RGB (images masquées ou images de référence complètes) et les prompts textuels, héritant implicitement de la structure spatiale apprise lors du pré-entraînement.
Représentation unifiée : Toutes les tâches sont formulées sous un tuple d'entraînement partagé via une concaténation par jeton. Les jetons de contexte et les jetons cibles sont séparés par un décalage positionnel ( $T_c$ ), permettant au modèle de différencier les rôles sémantiques tout en maintenant la correspondance spatiale.

3. Pipeline de données : Canvas360Dataset

Pour remédier à la rareté des données, les auteurs ont constitué le Canvas360Dataset, un ensemble de données de 1 million d'échantillons :

Ensemble de base (Seed Set) : 100K panoramas RGB-profondeur de haute qualité dérivés de Matterport3D, de ressources web et de modèles de génération de pointe.
Pipeline de synthèse : Un pipeline scalable génère 900K échantillons supplémentaires appariés pour les quatre tâches en aval :
- Transfert de style (200K) : Synthétisé avec FLUX.2-dev avec des prompts spécifiques au style.
- Outpainting (250K) : Généré en échantillonnant des paramètres de caméra aléatoires (yaw, pitch, FoV) pour créer des masques de vue en perspective et des projections inverses.
- Inpainting (250K) : Créé avec des masques rectangulaires aléatoires, utilisant à la fois des prompts de scène globale et des prompts de régions locales (générés par des VLM).
- Édition (200K) : Synthétisée en utilisant des VLM et des modèles de localisation (Florence2, GroundingDino) pour localiser les objets, suivi de l'effacement/ajout d'objets via FLUX.2 et d'un raffinement avec NanoBanana.

Résultats Clés

Des expériences approfondies démontrent que Canvas360 atteint des performances supérieures tant dans la génération de texte-vers-panorama de base que dans les tâches in-context.

Performance quantitative : Sur l'ensemble de validation text-to-panorama, Canvas360 atteint le meilleur score FAED (une métrique de fidélité spécifique aux panoramas), surpassant nettement les méthodes antérieures comme DiT360, HunyuanWorld et SMGD. Il domine également en termes de scores IS, QA esthétique et NIQE, tout en restant compétitif en FID et BRISQUE.
Améliorations qualitatives : Les comparaisons visuelles montrent que Canvas360 produit des détails plus nets, des distorsions polaires correctes et des alignements de bordure sans couture par rapport aux bases de référence qui souffrent souvent de flou, d'artefacts ou d'éditions géométriquement incohérentes.
Étude utilisateur : Dans une étude impliquant 71 participants, Canvas360 a reçu les scores de préférence les plus élevés pour la Continuité des bordures (31,1 %), la Conscience du panorama (34,1 %) et la Qualité globale (35,9 %), surpassant Matrix-3D, HunyuanWorld et DiT360.
Études d'ablation : Le retrait de la génération de profondeur parallèle, des décalages positionnels ou de la perte de similitude entraîne des distorsions géométriques, une instabilité de l'entraînement (sorties trop sombres) ou des modalités dégénérées. Le padding circulaire de vélocité s'est révélé critique pour la continuité des bordures.

Signification et Contributions

L'article revendique les contributions suivantes :

Framework Canvas360 : Une approche en deux étapes qui transfère avec succès les priors géométriques issus du pré-entraînement augmenté de profondeur vers une génération in-context unifiée, améliorant la cohérence spatiale et la fidélité géométrique sans nécessiter de supervision géométrique explicite lors des tâches en aval.
Stratégie de pré-entraînement sensible à la géométrie : Une méthode novatrice utilisant la génération parallèle RGB-profondeur, régularisée par une perte de similitude et un padding circulaire de vélocité, pour imposer la continuité sphérique et des représentations de modalités distinctes.
Canvas360Dataset : La publication d'un dataset de l'échelle de 1M d'échantillons couvrant quatre tâches in-context distinctes, que les auteurs notent comme étant le plus complet à ce jour, permettant le passage à l'échelle des modèles dans la génération panoramique.
Performance unifiée : La démonstration qu'un seul modèle peut gérer efficacement diverses tâches (inpainting, outpainting, édition, transfert de style) avec une forte généralisation, surpassant les méthodes précédentes tant en couverture de tâches qu'en flexibilité de modélisation.

Les auteurs concluent que Canvas360 établit une base solide pour le futur passage à l'échelle et les applications plus larges de la génération panoramique en abordant efficacement les défis de la cohérence géométrique et de la rareté des données.