CuriGS: Curriculum-Guided Gaussian Splatting for Sparse View Synthesis

CuriGS is een curriculum-gestuurd framework dat 3D Gaussian Splatting verbetert voor synthese vanuit weinig beelden door het gebruik van geleidelijk uitdagender 'student'-weergaven en selectieve augmentatie om overfitting te voorkomen en de reconstructiekwaliteit te verhogen.

De kern

CuriGS: Het Slimme Leren van een 3D-Meesterknecht

Stel je voor dat je een 3D-model van een kamer wilt maken, maar je hebt maar een paar foto's. Normaal gesproken is dat als proberen een compleet raadsel op te lossen met slechts één stukje van de puzzel. De computer raakt dan in de war, maakt fouten en "hallucineert" dingen die er niet zijn. Dit is het probleem dat de onderzoekers van de Zhejiang Sci-Tech University wilden oplossen met hun nieuwe methode: CuriGS.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: Te weinig foto's, te veel gissen

Stel je voor dat je een beeldhouwer bent (de computer) en je moet een standbeeld maken, maar je mag alleen naar drie foto's kijken. Als je alleen op die drie foto's leert, ga je waarschijnlijk het standbeeld zo maken dat het er perfect uitziet van die drie hoeken, maar van de andere kanten ziet het eruit als een rommelige brij. Dit heet "overfitting": je leert de foto's uit je hoofd, maar niet het echte object.

2. De Oplossing: Een Meester en zijn Leerlingen

CuriGS gebruikt een slimme strategie die lijkt op een schoolklas met een strenge leraar en een klas vol leerlingen.

• De Leraar (Teacher): Dit zijn de echte foto's die je al hebt. Ze zijn de enige waar we zeker van zijn dat ze kloppen.
• De Leerlingen (Student Views): De computer maakt nu zelf nieuwe, nep-foto's (pseudo-views) van de kamer. Maar deze zijn niet willekeurig; ze zijn gemaakt door de camera net een heel klein beetje te verschuiven of te draaien rondom de echte foto's.

3. Het Curriculum: Stap voor Stap Leren

Het slimme aan CuriGS is dat het niet alle leerlingen tegelijk laat meedoen. Het volgt een leerplan (curriculum):

1. Beginnend: Eerst laat de computer alleen leerlingen toe die de camera heel weinig hebben verschoven. Dit is makkelijk; de computer kan de vorm van het object nog goed volgen omdat het er bijna hetzelfde uitziet als de echte foto.
2. Voortgang: Naarmate de computer beter wordt, "ontgrendelt" het de volgende groep leerlingen. Deze hebben de camera iets meer verschoven.
3. Uitdaging: Uiteindelijk mag de computer zelfs kijken naar foto's die de camera flink hebben verschoven.

Dit is als een sporter die eerst lichte gewichten tilt om zijn spieren te trainen, en pas later zware gewichten aanpakt. Als je direct met de zware gewichten begint, val je om. Door stap voor stap te gaan, bouwt de computer een stevige basis op.

4. De Selectie: Alleen de Beste Leerlingen

Niet elke nep-foto is goed. Sommige nep-foto's zijn wazig of hebben rare artefacten (fouten).

• De computer kijkt naar elke nep-foto en zegt: "Is dit er net zo goed uit als de echte foto?"
• Als een nep-foto goed genoeg is, wordt hij gepromoveerd tot een officiële foto in de les.
• Als hij slecht is, wordt hij weggegooid.

Zo groeit het aantal foto's dat de computer heeft om te leren, maar alleen met foto's die betrouwbaar zijn. Het is alsof je een team van detectives bouwt: je neemt alleen die agenten aan die echt goede bewijzen hebben gevonden.

5. Waarom werkt dit zo goed?

Door deze methode te gebruiken, leert de computer niet alleen de drie foto's uit zijn hoofd. Het leert de echte structuur van het object.

• Geen meer gissen: Omdat de computer stap voor stap nieuwe hoeken heeft geoefend, weet hij hoe het object eruitziet van kanten waar hij geen echte foto's van had.
• Scherpere details: De resultaten laten zien dat de 3D-modellen veel scherper zijn en minder "drukkende" of vage plekken hebben dan eerdere methoden.

Samenvattend

CuriGS is als een slimme tutor die een student (de computer) niet laat worstelen met te weinig informatie. In plaats daarvan creëert hij een veilige omgeving waar de student eerst met simpele variaties oefent en langzaam wordt blootgesteld aan moeilijkere situaties. Alleen de oefeningen die de student perfect beheerst, worden toegevoegd aan de officiële lesstof. Het resultaat is een 3D-wereld die eruitziet alsof je er zelf bent geweest, zelfs als je maar een paar foto's had.

Technische samenvatting

Probleemstelling

3D Gaussian Splatting (3DGS) heeft zich onlangs bewezen als een uiterst efficiënte en hoogwaardige representatie voor real-time scenesynthese en reconstructie. Echter, het toepassen van 3DGS op sparse-view settings (situaties met zeer weinig invoerbeelden) blijft een groot uitdaging.

• Oorzaak: De beperkte dekking van viewpoints leidt tot een tekort aan supervisie (supervision scarcity).
• Gevolg: Dit veroorzaakt ernstig overfitting, waarbij het model de beperkte invoerbeelden "leert" maar faalt in het generaliseren naar nieuwe hoeken. Het resultaat is vaak een instabiele geometrie, texturen die vervagen of drift, en inconsistenties tussen verschillende weergaven.
• Bestaande oplossingen: Huidige methoden (zoals FSGS of DNGaussian) proberen dit op te lossen door extra priors (zoals monocular depth) of regularisatiemechanismen toe te voegen. Deze lossen echter niet de fundamentele oorzaak op: het inherente gebrek aan supervisiële signalen door de extreme data-schaarste.

Methodologie: CuriGS

CuriGS introduceert een curriculum-geleide framework dat de supervisie uitbreidt door het genereren en selectief integreren van "student views" (pseudobeelden) rondom de echte camera-posities ("teacher views"). Het proces verloopt in drie hoofdfasen:

1. Generatie van Student Views:

   • Voor elke echte camera (teacher) worden meerdere groepen van pseudocamera's gegenereerd met gecontroleerde perturbaties (rotatie en translatie).
   • Deze perturbaties variëren in intensiteit (kleine tot grote afwijkingen).
   • De intrinsieke camera-calibratie blijft gelijk, maar de extrinsieke parameters worden verstoorde om nieuwe viewpoints te simuleren.

2. Curriculum Scheduling (Leerplan):

   • In plaats van alle student views direct te introduceren, volgt het model een geleidelijk leerplan.
   • Het trainingstraject begint met student views met kleine perturbaties (dicht bij de teacher) om lokale geometrische consistentie te waarborgen.
   • Na een vastgesteld aantal iteraties worden de toegestane perturbatieniveaus stapsgewijs vergroot ("ontgrendeld"). Hierdoor past het model zich geleidelijk aan aan steeds diversere viewpoints.

3. Evaluatie en Promotie:

   • Tijdens het training wordt elke gegenereerde student view geëvalueerd met een multi-signaal metric die SSIM (structurele gelijkenis), LPIPS (perceptuele afstand) en een no-reference beeldkwaliteitscore combineert.
   • Alleen de beste presterende student per perturbatieniveau wordt bewaard.
   • Als een student een vooraf gedefinieerde kwaliteitsdrempel overschrijdt, wordt deze gepromoveerd naar de officiële trainingsset. Hierdoor wordt de trainingsset dynamisch uitgebreid met betrouwbare, geometrisch consistente pseudobeelden.

4. Optimalisatie en Regularisatie:

   • De totale loss functie bestaat uit drie delen:
     • Dynamic Training Loss: Drijft de optimalisatie op de huidige trainingsset (inclusief gepromoveerde studenten).
     • Anchor Loss: Een strikte consistentieconstraint op de originele, vaste "teacher" views om te voorkomen dat het model afdwaalt van de grondwaarheid (geen semantische drift).
     • Student Regularization Loss: Omdat studenten geen ground-truth hebben, worden ze geregulariseerd via:
       • Depth-correlation: Vergelijking van de gerenderde diepte met een proxy-depth map van een vooraf getraind monocular model.
       • Co-regularization: Twee onafhankelijk geïnitieerde modellen worden getraind; hun renderings van dezelfde student view moeten fotometrisch consistent zijn om hallucinaties te onderdrukken.

Belangrijkste Bijdragen

1. Curriculum-geleide expansie: Het is het eerste framework dat dynamisch student views genereert en promoot binnen 3DGS, waardoor supervisie direct uit de schaarse invoer wordt uitgebreid zonder overfitting.
2. Unificatie van pseudoview-learning: Het biedt een gestructureerde methode voor het genereren, evalueren en integreren van virtuele viewpoints, wat een nieuwe richting opent voor reconstructietaken.
3. Superieure prestaties: De methode lost het kernprobleem van supervisie-tekort op in plaats van alleen symptomen te bestrijden, wat leidt tot betere generalisatie.

Resultaten

CuriGS is uitgebreid getest op drie benchmarks: LLFF (real-world scenes), MipNeRF-360 (grootschalige, onbeperkte scènes) en DTU (object-centric, gecontroleerde omgevingen).

• Kwantitatieve resultaten: CuriGS overtreft state-of-the-art baselines (zoals RegNeRF, SparseNeRF, FSGS, CoR-GS) consistent op PSNR, SSIM en LPIPS in zowel extreme 3-view als 24-view scenario's.
  • Voorbeeld (LLFF, 3 views): CuriGS bereikte een PSNR van 21.10 dB en SSIM van 0.732, wat hoger is dan de beste concurrenten.
• Kwalitatieve resultaten:
  • LLFF: Scherpere details en minder textuur-drift vergeleken met andere methoden.
  • MipNeRF-360: Betere perceptuele kwaliteit en geometrische stabiliteit in grote, complexe scènes.
  • DTU: Behoud van fijne geometrische structuren en dunne details (zoals randen en uitsteeksels) die bij andere methoden vaak verloren gaan of vervormd zijn.
• Ablatiestudies:
  • Het verwijderen van het curriculum leidt tot een significante daling in prestaties (bijv. -2.6 dB PSNR op LLFF met 2 views), wat het belang van de geleidelijke introductie van perturbaties aantoont.
  • Het verwijderen van de "Anchor Loss" veroorzaakt geometrische drift, en het verwijderen van de "Student Regularization" leidt tot overfitting en hallucinaties.

Betekenis en Impact

CuriGS biedt een fundamentele doorbraak in het probleem van sparse-view 3D reconstructie. Door het tekort aan supervisie aan te pakken door de hoeveelheid en diversiteit van de trainingsdata intelligent uit te breiden (via curriculum learning), in plaats van alleen te vertrouwen op externe priors, bereikt het:

• Robuustheid: Betere prestaties onder extreme data-schaarste.
• Generalisatie: Het model kan zich beter aanpassen aan ongezette viewpoints.
• Geometrische consistentie: Het voorkomt de veelvoorkomende artefacten en instabiliteit die 3DGS normaal gesproken heeft bij weinig invoer.

Deze aanpak maakt 3DGS nog praktischer toepasbaar in situaties waar het verzamelen van veel beelden moeilijk of onmogelijk is, zoals in cultureel erfgoed, digitale tweelingen en augmented reality.