SIC3D: Style Image Conditioned Text-to-3D Gaussian Splatting Generation

Probleemstelling

Recente doorbraken in tekst-naar-3D-generatie, die gebruikmaken van 2D-diffusiemodellen en differentieerbare 3D-representaties (zoals 3D Gaussian Splatting of 3DGS), hebben de synthese van gedetailleerde geometrie mogelijk gemaakt. Echter, deze methoden kampen met twee belangrijke beperkingen:

1. Beperkte controleerbaarheid: De tekstmodaal is vaak te vaag om specifieke visuele stijlen nauwkeurig te definiëren.
2. Ambiguïteit in textuur: Bestaande methoden voor stijloverdracht (vaak gebaseerd op NeRF of post-hoc reconstructie) leiden vaak tot geometrische vervormingen, inconsistenties tussen verschillende weergaven (multi-view inconsistencies) en artefacten. Bestaande 3DGS-stijlmethoden missen vaak de balans tussen sterke stijloverdracht en geometrische stabiliteit.

Het doel van dit paper is een efficiënt en controleerbaar framework te ontwikkelen dat 3D-objecten genereert op basis van tekst, maar waarbij de visuele stijl wordt overgenomen van een referentieafbeelding, zonder de geometrie te verstoren.

Methodologie: SIC3D

SIC3D introduceert een tweestapsframework dat de constructie van de geometrie ontkoppelt van de verfijning van de uiterlijke verschijning (stijl). Dit voorkomt de verstrengeling die vaak leidt tot instabiele optimalisatie.

Fase 1: Objectgeneratie vanuit Tekst

• Doel: Het creëren van een geometrisch consistent basisobject ($O_1$) puur op basis van een tekstprompt.
• Techniek: Het gebruikt Variational Score Distillation (VSD). In plaats van de standaard Score Distillation Sampling (SDS), die vaak leidt tot onscherpe geometrie, introduceert VSD een trainbare LoRA-module (Low-Rank Adaptation) die camerainformatie in de geleiding integreert.
• Resultaat: Een stabiel, 3DGS-gebaseerd object met een ruwe geometrie en basisuiterlijk, klaar voor stijloverdracht.

Fase 2: Stijldistillatie vanuit Afbeelding

• Doel: De stijl van een referentieafbeelding ($I_s$) overbrengen op het basisobject ($O_1$) om een gestileerd resultaat ($O_s$) te verkrijgen dat consistent is met zowel de tekst als de stijlafbeelding.
• Kerncomponenten:
  1. IP-Adapter als Image Condition Processor: Een vooraf getrainde IP-Adapter wordt gebruikt om stijlkenmerken uit de referentieafbeelding te extraheren en deze te injecteren in het diffusiemodel via een ontkoppelde cross-attention-mechanisme. Hierdoor wordt het model voorwaarde gesteld op zowel tekst als afbeelding.
  2. Variational Stylized Score Distillation (VSSD): Dit is de nieuwe verliesfunctie. VSSD combineert de stijlvoorwaarde (via IP-Adapter) met objectspecifieke informatie (via LoRA) en cameraparameters. Het optimaliseert de 3DGS-parameters zodat de gerenderde weergaven consistent zijn met de stijl van de bronafbeelding, terwijl de geometrie behouden blijft.
  3. Schalingsbeperking (Scaling Constraint): Om artefacten te voorkomen waarbij Gaussians te groot worden en onscherpe randen veroorzaken, wordt een regularisatieterm toegevoegd. Deze straft de variantie in de benaderde oppervlakte van de Gaussians af, waardoor de invloed van elke primitief beperkt en consistent blijft op het beeldvlak. Dit zorgt voor scherpe contouren.

Belangrijkste Bijdragen

1. SIC3D Framework: Het eerste framework voor beeld-geconditioneerde stijloverdracht specifiek ontworpen voor 3D Gaussian Splatting. Het maakt efficiënte en controleerbare generatie mogelijk.
2. VSSD (Variational Stylized Score Distillation): Een nieuwe verliesfunctie die VSD uitbreidt met een stijlinjectiemechanisme. Dit zorgt voor stabiele optimalisatie en consistente stijloverdracht over meerdere weergaven.
3. Gradient-based Regularisatie: Een innovatieve strategie om artefacten te verminderen die ontstaan door inconsistenties tussen geometrie en textuur, wat resulteert in robuuste en schone gestileerde oppervlakken.

Resultaten

De auteurs hebben SIC3D geëvalueerd tegenover state-of-the-art methoden (zoals StyleGaussian, G-Style, SGSST) en een baseline met "gestileerde prompts" (tekst + beschrijving van de stijl).

• Kwalitatieve resultaten: SIC3D behoudt de onderliggende geometrie beter dan concurrenten en toont fijnere details uit de stijlafbeelding. Het vermijdt de geometrische vervormingen die vaak voorkomen bij tekst-baselines en de multi-view inconsistenties van NeRF-gebaseerde methoden.
• Kwantitatieve resultaten:
  • NNFM (Style Similarity): SIC3D behaalde de laagste score (0.151), wat aangeeft dat de stijl het beste overeenkomt met de referentieafbeelding.
  • RMSE & LPIPS: De methode scoorde het beste op perceptuele verschillen (LPIPS: 0.877) en pixel-niveau afwijkingen, wat wijst op een evenwichtige en gecontroleerde stijloverdracht.
• Human Evaluation (GPT-4o proxy): In een paarsgewijze vergelijking behaalde SIC3D de hoogste ELO-scores voor zowel "Object Kwaliteit" als "Stijlalignement", wat bevestigt dat de methode de beste trade-off biedt tussen 3D-plausibiliteit en trouwe stijloverdracht.

Betekenis en Toekomst

SIC3D is significant omdat het de kloof overbrugt tussen tekst-naar-3D-generatie en visuele stijloverdracht binnen het snelle en efficiënte 3DGS-paradigma. Het lost het probleem op van geometrische vervorming tijdens stijloptimalisatie, wat een groot obstakel was bij eerdere NeRF-gebaseerde benaderingen.

Beperkingen en Toekomstig Werk:
De huidige methode is afhankelijk van een vooraf getraind tekst-naar-afbeelding diffusiemodel dat geen expliciete multi-view consistentie heeft, wat kan leiden tot lokale textuurartefacten in overlappende gebieden. Toekomstig werk richt zich op de integratie van multi-view consistente diffusiemodellen om de cross-view stijlconsistentie verder te verbeteren.

Kortom, SIC3D biedt een krachtige, flexibele en efficiënte oplossing voor het genereren van gestileerde 3D-content, met brede toepassingsmogelijkheden in game-ontwikkeling, VR/AR en digitale kunst.