SplatSuRe: Selective Super-Resolution for Multi-view Consistent 3D Gaussian Splatting

1. Problématique

Le Splatting Gaussien 3D (3DGS) permet une synthèse de vues nouvelles de haute qualité et en temps réel. Cependant, sa performance est étroitement liée à la résolution des images d'entraînement.

• Limitation des entrées basse résolution (LR) : Lorsque le modèle est entraîné uniquement sur des images LR, il manque d'informations haute fréquence, ce qui entraîne des textures floues, des surfaces lissées excessivement et des artefacts de repliement (aliasing) lors du rendu à haute résolution.
• Échec des approches de Super-Résolution (SR) classiques : Une stratégie naturelle consiste à appliquer un modèle de SR sur chaque vue d'entraînement avant l'entraînement 3D. Cependant, la SR monoculaire (Single-Image SR) génère des détails de manière indépendante pour chaque vue, créant des incohérences multi-vues (hallucinations de textures dépendantes de la vue).
• Problème des méthodes existantes : Les méthodes précédentes (comme SRGS) appliquent la super-résolution de manière uniforme sur toute l'image. Cela introduit des incohérences géométriques et texturales inutiles dans les régions qui sont déjà bien contraintes par les vues LR proches, dégradant la qualité globale du modèle 3D.

2. Méthodologie : SplatSuRe

L'idée centrale de SplatSuRe est que les vues d'une scène n'échantillonnent pas le contenu 3D de manière uniforme. Une vue LR prise de près contient souvent suffisamment de détails haute fréquence pour superviser le rendu d'une vue plus éloignée observant la même région. Par conséquent, la SR ne devrait être appliquée que là où elle est réellement nécessaire (zones sous-échantillonnées).

Le framework propose une approche sélective et consciente de la géométrie :

A. Score de Fidélité par Gaussienne

Pour déterminer où la SR est nécessaire, les auteurs calculent un score de fidélité pour chaque gaussienne 3D :

1. Un modèle 3DGS est d'abord entraîné sur les images LR pour obtenir une géométrie stable.
2. Pour chaque gaussienne $G_i$, on calcule son rayon à l'écran ($r_i$) dans chaque vue d'entraînement.
3. On calcule le rapport $\rho_i$ entre le rayon maximal et minimal de la gaussienne à travers toutes les vues : $\rho_i = r_{i}^{max} / r_{i}^{min}$.
   • Un rapport élevé indique que la gaussienne est vue avec des résolutions très différentes (une vue proche fournit des détails haute fréquence). Elle est donc bien contrainte.
   • Un rapport proche de 1 indique un échantillonnage uniforme et faible, signifiant que la région manque d'informations haute fréquence et a besoin de SR.
4. Ce rapport est transformé en un score de fidélité (entre 0 et 1) via une fonction sigmoïde. Un score faible indique un besoin élevé de SR.

B. Cartes de Poids par Vue

Pour chaque vue d'entraînement, une carte de poids spatiale est générée :

• Elle met en évidence les régions où la fidélité est faible (sous-échantillonnées).
• Elle supprime la supervision SR dans les régions déjà bien résolues par d'autres vues proches.
• Les gaussiennes qui ne sont pas vues par d'autres vues (maximales dans la vue courante) reçoivent également un poids SR, car aucune autre vue ne fournit d'information supérieure.

C. Fonction de Perte Combinée

L'entraînement du modèle 3DGS haute résolution utilise deux signaux de supervision :

1. Perte LR ($L_{LR}$) : Comparaison du rendu haute résolution (sous-échantillonné) avec les images LR originales pour assurer la cohérence globale.
2. Perte SR pondérée ($L_{SR}$) : Comparaison du rendu haute résolution avec l'image générée par un modèle de SR monoculaire (ex: StableSR), mais pondérée spatialement par les cartes de poids calculées précédemment.
   • Les régions sous-échantillonnées reçoivent une forte supervision SR.
   • Les régions bien échantillonnées voient la supervision SR atténuée, évitant ainsi les incohérences.

3. Contributions Clés

1. Score de fidélité par gaussienne : Une métrique quantitative qui estime la disponibilité des informations haute fréquence pour chaque élément 3D en exploitant la géométrie LR.
2. Cartes de sélection de région SR : Des cartes de poids par vue qui modulent la supervision de la super-résolution, injectant des détails génératifs uniquement là où ils sont bénéfiques.
3. Framework d'entraînement sélectif : Une méthode qui optimise conjointement le modèle 3DGS avec des supervisions LR et SR pondérées, atteignant des résultats state-of-the-art sans ajouter de composants neuronaux complexes ni modifier le pipeline 3DGS de base.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois ensembles de données réels : Tanks & Temples, Deep Blending et Mip-NeRF 360, avec un facteur de super-résolution de 4x.

• Qualité Visuelle : SplatSuRe produit des reconstructions nettement plus nettes que les méthodes de base (3DGS LR, Mip-Splatting) et les méthodes SR uniformes (SRGS). Il préserve les détails fins (texte, motifs, objets lointains) tout en réduisant les artefacts de flou et d'incohérence.
• Métriques Quantitatives :
  • Sur Tanks & Temples et Deep Blending, SplatSuRe obtient les meilleurs scores sur presque toutes les métriques (PSNR, SSIM, LPIPS, FID, DreamSim).
  • Sur Mip-NeRF 360, il surpasse SRGS sur la plupart des métriques, bien que Mip-Splatting reste compétitif dans les scènes très bien échantillonnées (trajectoires circulaires denses).
• Comparaison : La méthode surpasse SRGS (qui applique la SR uniformément) en évitant les incohérences multi-vues, tout en surpassant Mip-Splatting (qui ne fait que filtrer) en termes de récupération de détails haute fréquence.

5. Signification et Impact

SplatSuRe adresse un problème fondamental dans la synthèse de vues 3D à partir d'images basse résolution : le compromis entre l'ajout de détails (via la SR) et le maintien de la cohérence géométrique.

• Efficacité : Contrairement aux approches précédentes qui nécessitent des modules neuronaux supplémentaires pour forcer la cohérence ou des optimisations conjointes lourdes, SplatSuRe utilise une logique géométrique simple et efficace.
• Généralité : La méthode est agnostique au modèle de SR utilisé (compatible avec SwinIR, StableSR, etc.) et peut être combinée avec d'autres techniques d'amélioration 3D.
• Apport principal : Elle démontre que l'application sélective de la super-résolution, guidée par la géométrie de la scène et la densité d'échantillonnage multi-vues, est supérieure à une application uniforme, permettant d'obtenir des rendus haute fidélité et cohérents sans coût computationnel excessif.