CuriGS: Curriculum-Guided Gaussian Splatting for Sparse View Synthesis

CuriGS est un cadre d'apprentissage guidé par un curriculum qui améliore la reconstruction 3D à partir de vues éparses en utilisant des vues étudiantes générées de manière progressive et régulées pour surmonter le manque de supervision et le surajustement.

L'essentiel

Imaginez que vous essayez de reconstruire un château de sable magnifique, mais on ne vous donne que trois photos prises sous des angles très limités. C'est le défi de la "synthèse de vue sparse" (peu de vues) en 3D.

Habituellement, les ordinateurs, en voyant si peu d'images, ont tendance à "halluciner" : ils inventent des détails faux, ou le château s'effondre parce qu'ils ne savent pas comment relier les pièces entre elles. C'est comme essayer de dessiner un portrait complet en ne voyant que le nez et une oreille.

Voici comment CuriGS (le nouveau système présenté dans l'article) résout ce problème, expliqué simplement :

1. Le Problème : Le Professeur et l'Élève

Dans le monde de l'intelligence artificielle 3D, on a souvent un "Professeur" (les vraies photos que l'on possède). Le problème, c'est que le Professeur ne donne que très peu de leçons. L'IA (l'Élève) apprend trop vite ces quelques leçons par cœur (on appelle ça le surapprentissage), mais elle échoue dès qu'on lui demande de regarder le château sous un angle qu'elle n'a jamais vu.

2. La Solution : La Méthode "Curriculum" (Programme Scolaire)

CuriGS utilise une astuce géniale appelée l'apprentissage par curriculum. C'est comme si on ne laissait pas l'élève sauter directement aux exercices difficiles.

• L'idée des "Élèves Pseudo" : Au lieu de seulement montrer les 3 vraies photos à l'IA, le système crée des photos fantômes (des vues artificielles) autour des vraies photos.
• Le jeu de la perturbation :
  • D'abord, le système crée des photos fantômes très proches des vraies (l'élève bouge juste un tout petit peu la tête). C'est facile, l'élève comprend bien.
  • Ensuite, comme un bon professeur, il augmente progressivement la difficulté. Il crée des photos fantômes où la caméra est un peu plus décalée, puis encore plus.
  • C'est comme apprendre à faire du vélo : d'abord sur un terrain plat, puis avec un petit vent, puis sur une pente.

3. Le Tri : Garder les Meilleurs

Le système ne garde pas toutes les photos fantômes. Il y a un jury qui les note à chaque étape.

• Si la photo fantôme ressemble trop à la réalité et a l'air naturelle, elle est promue et ajoutée au cours officiel.
• Si elle est floue ou bizarre, elle est jetée à la poubelle.

C'est comme si l'IA se créait elle-même un manuel de cours plus épais, en ajoutant uniquement les pages qui sont vraies et utiles, pour mieux comprendre la forme globale du château.

4. Les Règles de Sécurité (Les "Ancre" et la "Discipline")

Pour éviter que l'IA ne commence à inventer des dragons dans le château de sable, CuriGS utilise deux garde-fous :

1. L'Ancre : Le système vérifie constamment les 3 vraies photos originales. C'est comme un ancre de bateau qui empêche l'IA de dériver vers des inventions folles.
2. La Discipline Géométrique : Le système demande à deux versions de l'IA de travailler ensemble. Si elles sont d'accord sur la forme d'un objet, c'est bon. Si l'une dit "c'est une boule" et l'autre "c'est un cube", le système corrige l'erreur.

En Résumé

CuriGS, c'est comme un professeur très intelligent qui dit à son élève : "Je ne te donne que 3 photos, mais je vais t'en fabriquer d'autres, de plus en plus variées, pour t'entraîner. Je ne garde que celles qui sont parfaites, et je vérifie tout le temps que tu ne perds pas le fil des vraies photos."

Le résultat ?
Grâce à cette méthode, l'IA peut reconstruire des scènes 3D incroyablement réalistes et précises, même avec très peu de photos de départ. Elle évite les erreurs, garde les détails fins (comme les branches d'un arbre ou les bords d'un bâtiment) et permet de regarder la scène sous n'importe quel angle, comme si on y était vraiment.

C'est une avancée majeure pour la réalité virtuelle, la conservation du patrimoine (reconstruire des monuments en 3D avec peu de photos) et l'impression 3D, car cela rend le processus beaucoup plus rapide et fiable.

Résumé technique

1. Problématique

La synthèse de vues 3D à partir d'un nombre très restreint d'images d'entrée (vue sparse) est un défi majeur pour la reconstruction de scènes. Bien que le 3D Gaussian Splatting (3DGS) ait révolutionné le rendu en temps réel grâce à sa représentation explicite et efficace, son application en mode "vue sparse" se heurte à deux obstacles fondamentaux :

• La rareté des signaux de supervision : Le manque de vues multiples empêche une contrainte géométrique suffisante.
• Le surapprentissage (overfitting) : Le modèle a tendance à mémoriser les vues d'entraînement existantes au détriment de la généralisation, entraînant une géométrie instable, des artefacts et une incohérence visuelle lors du rendu de nouvelles vues.

Les méthodes existantes (basées sur NeRF ou 3DGS) tentent souvent de résoudre ce problème en ajoutant des régularisations externes (comme des priors de profondeur) ou des contraintes de cohérence, mais elles ne s'attaquent pas à la racine du problème : l'insuffisance intrinsèque des données d'entraînement.

2. Méthodologie : CuriGS

Les auteurs proposent CuriGS, un cadre d'apprentissage guidé par un curriculum (pédagogie progressive) qui enrichit dynamiquement l'ensemble de données d'entraînement via la génération et la sélection de vues étudiantes (pseudo-vues).

A. Génération de Vues Étudiantes (Student Views)

Le concept central repose sur la distinction entre :

• Vues Enseignant (Teacher) : Les vues réelles d'entrée (poses ground-truth).
• Vues Étudiantes : Des vues synthétiques (pseudo-vues) générées autour des poses des enseignants avec des perturbations contrôlées (déplacements angulaires et radiaux).
  Pour chaque enseignant, plusieurs groupes d'étudiants sont créés avec différents niveaux de perturbation ($\sigma$), allant de très faibles (proches de la vue originale) à plus élevés.

B. Planification du Curriculum (Curriculum Scheduling)

Au lieu d'introduire toutes les vues étudiantes simultanément, CuriGS suit un calendrier progressif :

1. Phase initiale : Seules les vues étudiantes avec de faibles perturbations sont activées pour stabiliser l'apprentissage local.
2. Déverrouillage progressif : Au fur et à mesure que l'entraînement avance, le système déverrouille des niveaux de perturbation plus importants, exposant le modèle à une diversité de points de vue croissante.
3. Échantillonnage : À chaque itération, un sous-ensemble d'étudiants est échantillonné aléatoirement depuis le niveau de perturbation actif pour assister l'entraînement.

C. Évaluation et Promotion (Evaluation and Promotion)

Un mécanisme rigoureux filtre les vues étudiantes pour éviter d'introduire du bruit :

• Métrique Multi-Signal : Chaque vue étudiante est évaluée par rapport à son enseignant en utilisant une combinaison de :
  • SSIM (Similarité Structurelle).
  • LPIPS (Distance Perceptuelle).
  • Une métrique de qualité d'image sans référence (No-Reference).
• Promotion : Seules les vues étudiantes qui surpassent un seuil de qualité prédéfini et qui sont les meilleures pour un niveau de perturbation donné sont "promues" et ajoutées officiellement à l'ensemble de données d'entraînement. Cela permet une augmentation stable et fiable des vues d'entraînement.

D. Fonction de Perte et Régularisation

L'objectif d'optimisation ($L_{total}$) combine trois composantes :

1. Perte de Reconstruction Dynamique ($L_{train}$) : Calculée sur l'ensemble des vues (originales + étudiants promus).
2. Perte d'Ancrage ($L_{anchor}$) : Appliquée strictement aux vues originales (enseignants) pour empêcher la dérive sémantique et garantir la fidélité géométrique de base.
3. Régularisation des Étudiants ($L_{reg}$) : Puisque les vues étudiantes n'ont pas de vérité terrain, elles sont contraintes par :
   • Corrélation de profondeur : Utilisation d'un estimateur de profondeur monoculaire pré-entraîné pour aligner la géométrie 3DGS avec les indices visuels.
   • Co-régularisation (Dual-Model) : Deux modèles indépendants sont entraînés et contraints à produire des rendus photométriques cohérents pour la même vue étudiante, éliminant ainsi les artefacts stochastiques.

3. Contributions Clés

1. Premier cadre 3DGS guidé par curriculum : Une approche novatrice qui génère et promeut dynamiquement des vues étudiantes pour élargir la couverture de supervision sans surapprentissage.
2. Mécanisme unifié d'apprentissage de vues virtuelles : Un cadre principiel pour générer, évaluer et intégrer des pseudo-vues, ouvrant une nouvelle direction pour l'apprentissage de vues virtuelles en reconstruction 3D.
3. Performance supérieure : Démonstration expérimentale que cette méthode surpasse les méthodes de l'état de l'art (NeRF et 3DGS) en termes de fidélité de rendu, de qualité perceptuelle et de cohérence géométrique.

4. Résultats Expérimentaux

Les auteurs ont évalué CuriGS sur trois benchmarks standards : LLFF (scènes réelles face avant), MipNeRF-360 (scènes intérieures/extérieures non bornées) et DTU (objets centraux en laboratoire).

• Comparaison Quantitative : CuriGS obtient les meilleurs résultats ou des résultats comparables aux meilleures méthodes existantes sur les métriques PSNR, SSIM et LPIPS.
  • Exemple (LLFF, 3 vues) : PSNR de 21.10 dB (vs 20.76 pour DropGaussian, le précédent meilleur).
  • Exemple (DTU, 3 vues) : PSNR de 20.45 dB et SSIM de 0.873.
• Analyse Qualitative : Les rendus montrent une meilleure préservation des détails fins, une réduction des artefacts de texture et une géométrie plus stable, même dans des conditions extrêmes (2 ou 3 vues).
• Études d'Abalation :
  • L'ajout du curriculum améliore significativement les performances par rapport à une version sans curriculum (gain de +2 à +4 dB en PSNR sur DTU).
  • La suppression de la perte d'ancrage ou de la régularisation étudiante entraîne une dégradation marquée, prouvant la nécessité de chaque composante pour éviter la dérive géométrique et le surapprentissage.

5. Signification et Impact

CuriGS représente une avancée significative dans le domaine de la synthèse de vues 3D à partir de données rares. En passant d'une approche statique de régularisation à une stratégie d'expansion dynamique des données, le papier démontre qu'il est possible de surmonter le manque de supervision intrinsèque.

• Généralisation : La méthode améliore la capacité du modèle à généraliser à des vues non vues, un point faible critique des méthodes actuelles en vue sparse.
• Efficacité : Elle offre une alternative robuste aux méthodes lourdes basées sur NeRF, tout en conservant les avantages de vitesse et de manipulation du 3DGS.
• Futur : Ce travail ouvre la voie à l'utilisation de l'apprentissage par curriculum et de l'auto-évaluation pour d'autres tâches de reconstruction 3D où les données sont limitées.

En résumé, CuriGS résout le problème fondamental de la rareté des données en "enseignant" au modèle à généraliser progressivement à partir de vues synthétiques de haute qualité, garantissant ainsi une reconstruction géométrique stable et photoréaliste.