Less Gaussians, Texture More: 4K Feed-Forward Textured Splatting

1. Problématique et Contexte

Le domaine de la synthèse de vues nouvelles (Novel View Synthesis - NVS) repose de plus en plus sur le Gaussian Splatting (3DGS), qui permet un rendu en temps réel. Cependant, les méthodes existantes de reconstruction 3DGS feed-forward (sans optimisation par scène) rencontrent une limite fondamentale de scalabilité en résolution.

• Croissance quadratique : Les méthodes actuelles prédisent des primitives alignées sur les pixels. Lorsque la résolution d'entrée augmente (par exemple, passer de 512x288 à 4K), le nombre de gaussiennes nécessaires augmente de manière quadratique (64 fois plus pour le 4K).
• Coût prohibitif : Cette explosion du nombre de primitives rend le prédiction réseau et le rendu extrêmement coûteux en mémoire et en temps de calcul, rendant la synthèse 4K intractable pour les méthodes feed-forward.
• Couplage géométrie-apparence : Dans le 3DGS standard, l'apparence (couleur) et la géométrie sont couplées dans chaque primitive. Représenter des textures riches nécessite un nombre excessif de gaussiennes, même pour des surfaces géométriquement simples.
• Limitation des méthodes texturées : Bien que des approches utilisant des textures par primitive aient été proposées, elles nécessitent généralement une optimisation par scène, ce qui les empêche d'être utilisées dans un cadre feed-forward généralisable.

2. Méthodologie : LGTM (Less Gaussians, Texture More)

LGTM est un cadre feed-forward conçu pour surmonter la barrière de la résolution en découplant la complexité géométrique de la résolution de rendu.

Architecture Dual-Network

Le cœur de LGTM repose sur une architecture à deux réseaux qui sépare la prédiction de la géométrie de celle de l'apparence :

1. Réseau de Primitives ($f_{prim}$) :

   • Entrée : Images basse résolution.
   • Fonction : Prédit un ensemble compact de primitives géométriques 2DGS (position $\mu$, échelle $s$, rotation $r$, opacité $o$).
   • Stratégie d'entraînement : Utilise une supervision haute résolution. Le réseau reçoit une entrée basse résolution mais est entraîné à rendre et superviser les résultats à pleine résolution (ex: 4K). Cela force le réseau à apprendre des échelles de prédiction appropriées pour éviter les trous et les artefacts d'aliasing.

2. Réseau de Texture ($f_{texture}$) :

   • Entrée : Images haute résolution + caractéristiques géométriques du réseau de primitives.
   • Fonction : Prédit des cartes de texture par primitive (couleur $T^c$ et alpha $T^\alpha$) de haute fréquence.
   • Mécanisme clé :
     • Patchification : Extraction de caractéristiques locales haute résolution à partir des images.
     • Projection Projective : Utilisation d'une transformation inverse pour "projeter" l'image source haute résolution directement sur les cartes de texture des gaussiennes. Cela fournit des détails texturaux précis sans nécessiter de calculs lourds.
     • Fusion : Combinaison des caractéristiques géométriques, des patches d'image et des projections pour générer les textures finales.

Stratégie d'Entraînement (Staged Training)

Pour stabiliser l'apprentissage, LGTM utilise une approche progressive en deux étapes :

1. Pré-entraînement : Entraînement du réseau de primitives seul pour établir une base géométrique robuste.
2. Entraînement Joint : Entraînement simultané des deux réseaux. Les paramètres du réseau de primitives sont gelés ou entraînés avec un taux d'apprentissage réduit pour maintenir la stabilité géométrique, tandis que le réseau de texture apprend à enrichir l'apparence. Les textures de couleur sont initialisées à zéro et ajoutées à la couleur de base (Spherical Harmonics).

3. Contributions Clés

• Premier réseau feed-forward de Gaussiennes texturées : LGTM est la première méthode capable de prédire des gaussiennes avec des textures par primitive sans optimisation par scène.
• Découplage Géométrie/Apparence : En séparant la prédiction des primitives (basse résolution) et des textures (haute résolution), LGTM permet un rendu haute fidélité (jusqu'en 4K) avec un nombre de primitives considérablement réduit.
• Scalabilité et Efficacité : La méthode permet de passer du 1K au 4K avec une augmentation marginale de la mémoire et du temps de calcul, contrairement aux méthodes traditionnelles qui échouent (OOM - Out Of Memory) au-delà du 2K.
• Généralité : Le cadre est compatible avec diverses méthodes de base (monoculaire, deux vues, multi-vues) et fonctionne avec ou sans poses de caméra connues.

4. Résultats Expérimentaux

Les expériences ont été menées sur les datasets RealEstate10K (RE10K) et DL3DV-10K avec des résolutions allant jusqu'à 4K.

• Performance en 4K : LGTM réussit à synthétiser des vues nouvelles en 4K (4096x2304) là où les méthodes de base (NoPoSplat, DepthSplat) échouent totalement en raison de contraintes de mémoire.
• Qualité d'image : LGTM surpasse systématiquement les variantes 3DGS et 2DGS sur toutes les métriques (PSNR, SSIM, LPIPS).
  • Réduction significative de l'erreur perceptuelle (LPIPS) : de 23% à 75% par rapport aux baselines.
  • Meilleure préservation des détails fins et des textures complexes.
• Efficacité (Benchmark) :
  • Pour une augmentation de 64x du nombre de pixels (de 512x288 à 4096x2304), LGTM ne nécessite que 1,80x de mémoire GPU et 1,47x de temps total par rapport à un modèle 2DGS standard à basse résolution.
  • Mémoire d'entraînement maximale : ~28 Go pour le 4K (contre >60 Go pour les tentatives d'adaptation des méthodes existantes).
• Études Ablatives : L'ajout progressif des composants (supervision haute résolution, patchification, texture couleur, texture alpha) confirme que chaque élément est essentiel, la texture alpha étant cruciale pour la qualité finale.

5. Signification et Impact

Ce travail représente une avancée majeure pour le rendu 3D feed-forward :

• Faisabilité du 4K : Il rend possible la reconstruction et le rendu de scènes complexes en haute résolution (4K) en temps réel, une tâche auparavant réservée aux méthodes d'optimisation par scène (lentes).
• Applications Réelles : Cela ouvre la voie à des applications exigeantes comme la Réalité Augmentée (AR) et Virtuelle (VR), où la haute fidélité visuelle et la faible latence sont critiques.
• Paradigme de Conception : LGTM établit un nouveau paradigme où la complexité géométrique n'a pas besoin de suivre la résolution de rendu, exploitant la séparation naturelle des fréquences dans les scènes (géométrie basse fréquence vs texture haute fréquence).

Limitations notées : La qualité de la reconstruction dépend toujours fortement de la précision de la géométrie prédite (performances meilleures en monoculaire ou avec poses connues qu'en multi-vues sans poses). De plus, la résolution de texture doit être définie manuellement, nécessitant un compromis entre qualité et coût.