💻 computer science

Feed-Forward Gaussian Splatting from Sparse Aerial Views

Ce papier présente AnyCity, un cadre génératif feed-forward qui reconstruit des scènes urbaines à grande échelle à partir de vues aériennes éparses en combinant une géométrie ancrée dans l'observation avec des priors de diffusion conditionnés par des échafaudages afin de résoudre les déséquilibres de preuves et d'éliminer les artefacts tels que les fantômes et les façades fondues.

Auteurs originaux : Dongli Wu, Zhuoxiao Li, Tongyan Hua, Yinrui Ren, Xiaobao Wei, Rongjun Qin, Wufan Zhao

Publié 2026-05-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dongli Wu, Zhuoxiao Li, Tongyan Hua, Yinrui Ren, Xiaobao Wei, Rongjun Qin, Wufan Zhao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire un modèle 3D d'une ville entière, mais que vous ne disposez que de quelques photos floues prises par un drone volant en hauteur.

Le Problème : L'angle mort « Toit vs Mur »
Lorsqu'un drone vole directement vers le bas ou sous un angle peu prononcé, il voit très clairement les toits des bâtiments et les rues ouvertes. Il les observe encore et encore. En revanche, les côtés des bâtiments (façades), l'arrière des gratte-ciel lointains et tout ce qui est caché derrière d'autres structures sont presque invisibles.

Si vous tentez de construire une ville 3D à partir de ces quelques photos uniquement, les programmes informatiques standards se perdent. Ils pourraient transformer un mur de briques solide en une flaque fondue, étirer la texture d'un bâtiment comme du sucre filé, ou laisser des trous là où les murs devraient se trouver. Cela se produit parce que l'ordinateur essaie de deviner les parties manquantes en se basant sur très peu de preuves.

La Solution : AnyCity
Les chercheurs ont créé un nouvel outil appelé AnyCity. Imaginez-le comme une équipe de construction intelligente qui sait exactement quelles parties de la ville sont réelles et quelles parties ont besoin d'un peu d'aide créative.

Voici comment cela fonctionne, étape par étape :

1. L'« Échafaudage Solide » (La partie soutenue par l'observation)

Tout d'abord, AnyCity examine les photos et construit un « échafaudage » ou un squelette en utilisant uniquement les parties qu'il peut clairement voir.

Analogie : Imaginez un charpentier construisant le cadre d'une maison. Il cloue les poutres et les murs qui sont clairement visibles dans les plans. Il ne devine pas encore où vont les fenêtres ; il sécurise simplement les parties dont il est à 100 % certain.
Résultat : Cela crée une base stable et fiable pour les toits et les zones ouvertes, garantissant que l'ordinateur n'« hallucine » pas de structures fictives là où il dispose de bonnes données.

2. Le « Remplissage Créatif » (Les jetons de complétion)

Une fois l'échafaudage solide construit, AnyCity se tourne vers les parties manquantes — les murs invisibles et les bâtiments lointains.

Analogie : Maintenant, le charpentier fait appel à un « ghostwriter » ou à un architecte créatif. Cet expert examine le cadre solide et dit : « D'accord, je sais qu'il y a un mur ici parce que c'est ainsi que les villes ont généralement l'air, même si je ne le vois pas sur la photo. »
Fonctionnement : Le système utilise un « prior vidéo » (un cerveau entraîné sur des milliers d'heures de vidéos urbaines) pour deviner à quoi devraient ressembler les textures et les formes manquantes. Mais, ce qui est crucial, il ne remplace pas tout le bâtiment par une supposition. Il ajoute uniquement une « mise à jour résiduelle » — une correction douce des points faibles.

3. La « Porte de Sécurité » (Préservation de l'observation)

C'est l'astuce la plus importante. Le système a une règle stricte : « Ne changez pas ce que vous pouvez déjà voir. »

Analogie : Imaginez que l'architecte créatif essaie de réparer le mur invisible, mais qu'il porte un casque qui verrouille ses mains s'il tente de toucher les poutres solides que le charpentier a déjà construites. Il ne peut travailler que sur les espaces vides.
Résultat : Cela empêche le « ghostwriter » de faire fondre accidentellement les murs réels ou de modifier la forme du toit simplement parce qu'il pense en savoir plus. Cela maintient les données réelles réelles et ne remplit que les blancs.

4. L'Entraînement « Maître-Élève »

Pour enseigner ce système, les chercheurs ont utilisé une méthode d'entraînement ingénieuse.

Le Maître : Un ordinateur qui a le droit de voir beaucoup de photos de la ville (vues denses). Il connaît la ville parfaitement.
L'Élève : Le modèle AnyCity, qui ne voit que les quelques photos (vues clairsemées).
La Leçon : Le Maître montre à l'Élève à quoi ressemble la ville lorsqu'elle est entièrement observée. L'Élève essaie de deviner les parties manquantes pour correspondre à la vue du Maître, mais il doit conserver les parties qu'il peut déjà voir exactement identiques. Cela apprend à l'Élève à remplir les blancs sans gâcher les faits connus.

Le Résultat Final

Lorsque vous donnez à AnyCity quelques photos de drone, il produit en quelques secondes un modèle 3D complet et cohérent de la ville.

Le Bon : Les toits et les routes ressemblent exactement aux photos. Les murs invisibles et les bâtiments lointains paraissent réalistes et cohérents, non fondus ni étirés.
La Vitesse : Contrairement aux anciennes méthodes qui prennent des heures pour calculer, AnyCity effectue cela en un seul passage « feed-forward » (comme lire une phrase de début à fin sans s'arrêter pour réfléchir).

En Résumé :
AnyCity est comme un maître bâtisseur qui construit une maison à partir de quelques photos. Il cloue les parties qu'il peut voir avec une précision absolue, puis utilise sa connaissance de l'apparence habituelle des villes pour remplir doucement les parties invisibles, tout en s'assurant de ne jamais modifier accidentellement les parties qu'il a déjà construites. Cela aboutit à une ville 3D réaliste qui est à la fois fidèle aux photos et complète dans sa structure.

Résumé Technique : Splatting Gaussien Feed-Forward à partir de Vues Aériennes Éparses (AnyCity)

Énoncé du Problème
La reconstruction de scènes urbaines à grande échelle à partir de vues aériennes éparse constitue un défi critique pour les jumeaux numériques et la planification urbaine. Cependant, les captures aériennes éparse souffrent d'un déséquilibre de preuves sévère dû à des poses de caméra biaisées, tantôt top-down, tantôt obliques peu prononcées. Alors que les toits et les zones ouvertes sont observés à plusieurs reprises, les façades verticales, les bâtiments lointains et les structures occluses reçoivent peu de support multi-vues. Les méthodes existantes de Splatting Gaussien 3D (3DGS) feed-forward, qui régressent des représentations déterministes directement à partir d'entrées éparse, échouent souvent dans ce contexte, produisant des effets de fantômes, des façades fondues et des textures étirées. À l'inverse, les méthodes génératives récentes qui s'appuient fortement sur des a priori manquent souvent d'une séparation claire entre la géométrie observée et le contenu généré, conduisant à des structures plausibles mais géométriquement incohérentes.

Méthodologie : AnyCity
Les auteurs proposent AnyCity, un cadre de reconstruction générative ancré dans l'observation, conçu pour remédier à ce déséquilibre. L'idée centrale consiste à traiter la reconstruction aérienne éparse comme un problème de raffinement génératif contrôlé, où les a priori génératifs assistent uniquement le contenu faiblement contraint tout en préservant la géométrie soutenue par les observations. Le pipeline opère en un seul passage feed-forward sans optimisation par scène.

Échafaudage Soutenu par l'Observation :
Le modèle prédit d'abord un latent de géométrie ( $Z_{geo}$ ) à partir d'images aériennes éparse non posées en utilisant un backbone multi-vues feed-forward. Ce latent ancre les structures fiables directement soutenues par les observations d'entrée. Lors de la première phase d'entraînement, cette voie est optimisée à l'aide de pertes photométriques et de pertes géométriques légères (alignement de profondeur et aplatissement des normales) pour supprimer les Gaussiens flottants et la fusion des façades.
Jetons de Complétion Aérienne :
Pour gérer le contenu faiblement contraint (par exemple, les façades, les bâtiments lointains), le modèle introduit des jetons de complétion aérienne. Ces jetons lisent le contexte à partir de l'échafaudage soutenu par l'observation et prédisent une mise à jour résiduelle à porte ( $\Delta Z$ ) du latent de géométrie. Cela garantit que l'échafaudage reste responsable de la géométrie fiable, tandis que la branche de complétion gère les régions ambiguës.
Injection de Prior Vidéo à Porte :
Pour fournir des indices d'apparence urbaine fins, AnyCity utilise un backbone de diffusion vidéo figé (Wan 2.2) adapté au domaine aérien via LoRA. Les caractéristiques du prior vidéo sont projetées dans l'espace des jetons de complétion. Crucialement, une porte au niveau du jeton module la force avec laquelle chaque jeton de complétion s'attache au prior vidéo. Cela permet au prior génératif d'affiner le contenu faiblement contraint sans modifier directement le flux de géométrie principal ni altérer les observations fiables.
Stratégie d'Entraînement :
Le modèle emploie une approche d'entraînement progressif en deux étapes :
- Étape I : Stabilise l'échafaudage soutenu par l'observation à l'aide de pertes géométriques.
- Étape II : Active la branche de complétion, le prior vidéo et le conditionnement à porte. Cette étape utilise une distillation de dense à éparse, où un modèle « enseignant » entraîné sur des vues denses guide l'« élève » (entrée éparse) sur les structures manquées par les observations éparse. Une perte de préservation de l'observation garantit que le raffinement résiduel n'altère pas la géométrie déjà soutenue par les entrées éparse.

Contributions Clés

Cadre AnyCity : Un cadre de reconstruction générative feed-forward ciblant spécifiquement les vues urbaines aériennes éparse et non posées, capable de gérer un chevauchement limité, un parallaxe faible et des preuves de scène inégales.
Prior Vidéo Adapté à l'Aérien : L'introduction d'un prior de diffusion vidéo acheminé via des jetons de complétion aérienne conditionnés par l'échafaudage. Cette conception permet aux indices génératifs d'affiner le contenu faiblement contraint avant le décodage Gaussien, plutôt que de former directement la scène, préservant ainsi la cohérence géométrique.
Entraînement Progressif et Préservation de l'Observation : Une stratégie d'entraînement qui stabilise d'abord l'échafaudage soutenu par l'observation, puis supervise le raffinement par prior vidéo en utilisant une distillation de dense à éparse et des objectifs de préservation de l'observation. Cela empêche le modèle d'halluciner des structures là où des preuves fiables existent.
Validation Empirique : Une évaluation approfondie sur des scènes synthétiques, du domaine aérien, texturées par UAV et réelles démontre des améliorations constantes par rapport aux bases feed-forward existantes, en particulier dans les régions faiblement contraintes.

Résultats
Les expériences montrent qu'AnyCity atteint une qualité de synthèse de nouvelles vues supérieure par rapport aux bases feed-forward généralisables (par exemple, NoPoSplat, FLARE, AnySplat) pour divers nombres de vues d'entrée (2, 4 et 16 vues).

Quantitatif : Sur les ensembles de données GoogleEarth et CityNerf, AnyCity surpasse les bases en PSNR, SSIM et LPIPS. Par exemple, avec 4 vues sur GoogleEarth, il atteint un PSNR de 18,466 contre 17,256 pour AnySplat.
Qualitatif : La méthode produit des rendus plus photoréalistes avec une meilleure continuité des façades et moins d'artefacts flottants.
Efficacité : Contrairement aux méthodes d'optimisation par scène (par exemple, CityGaussianV2) qui nécessitent de minutes à des heures, AnyCity reconstruit le 3DGS final en quelques secondes (par exemple, ~3,4 s pour 32 vues) sans nécessiter de poses de caméra précises ni d'initialisation SfM.
Diagnostic : L'analyse par région confirme que la méthode améliore considérablement les régions faiblement contraintes (façades, bâtiments lointains) tout en maintenant une haute fidélité dans les régions soutenues par l'observation.

Signification et Revendications
L'article revendique qu'AnyCity comble avec succès le fossé entre l'efficacité de la reconstruction feed-forward et la puissance générative des modèles de diffusion, spécifiquement adaptés aux défis uniques de l'imagerie aérienne. En découplant la géométrie fiable soutenue par l'observation du raffinement génératif, la méthode évite les pièges « plausibles mais incohérents » des approches purement génératives. Les auteurs positionnent AnyCity comme une étape vers une reconstruction 3D urbaine évolutive et sans pose, capable d'opérer efficacement dans des conditions de déséquilibre de preuves typiques de la collecte de données aériennes. Le travail met en évidence que les priors génératifs sont les plus efficaces lorsqu'ils sont utilisés comme conditionneurs latents pour les mises à jour résiduelles plutôt que comme générateurs directs de scènes.