💻 computer science

M2StyleGS: Multi-Modality 3D Style Transfer with Gaussian Splatting

M2StyleGS is een nieuwe real-time techniek voor 3D-stijloverdracht die 3D Gaussian Splatting combineert met CLIP-gebaseerde multimodale kennis om consistente, gestileerde 3D-scènes te genereren op basis van zowel tekstuele beschrijvingen als afbeeldingen.

Oorspronkelijke auteurs: Xingyu Miao, Xueqi Qiu, Haoran Duan, Yawen Huang, Xian Wu, Jingjing Deng, Yang Long

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Xingyu Miao, Xueqi Qiu, Haoran Duan, Yawen Huang, Xian Wu, Jingjing Deng, Yang Long

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een foto van je woonkamer hebt, maar je wilt dat het eruitziet alsof het door Van Gogh is geschilderd, of misschien als een oude Japanse prent. Dat is wat we "stijloverdracht" noemen. Tot nu toe was dit voor 3D-werelden (zoals in virtual reality) erg lastig. Je kon vaak alleen een foto als voorbeeld gebruiken, en als je iets anders wilde, zoals "maak het eruitzien als een dromerige droom", lukte dat niet goed.

De auteurs van dit paper hebben een nieuwe uitvinding bedacht genaamd M2StyleGS. Laten we uitleggen hoe dit werkt met een paar simpele vergelijkingen.

1. Het Probleem: De "Ruwe Vertaler"

Stel je voor dat je een tekst wilt vertalen van Engels naar een heel oud, complex dialect. De oude methoden (zoals ConRF) waren als een beginnende vertaler die woorden letterlijk overneemt. Het resultaat? De zinnen zijn grammaticaal correct, maar de betekenis is raar, de kleuren zijn vreemd en het voelt niet echt als het dialect dat je wilde. In de 3D-wereld zorgde dit voor gekke kleuren en wazige beelden.

2. De Oplossing: M2StyleGS

Deze nieuwe methode is als een meestervertaler die niet alleen woorden vertaalt, maar ook de gevoelens en de stijl perfect overbrengt. Ze gebruiken een slimme techniek genaamd "Gaussian Splatting" (een manier om 3D-werelden heel snel en scherp te tekenen) en koppelen die aan een slimme AI die zowel tekst als plaatjes begrijpt (CLIP).

Hier zijn de drie belangrijkste "trucs" die ze gebruiken:

A. De "Subdivisive Flow" (De Stap-voor-Stap Trap)

Stel je voor dat je van punt A (een tekst of foto) naar punt B (de 3D-wereld) moet lopen.

De oude manier: Je probeerde in één grote sprong van A naar B te vliegen. Vaak landde je dan in de verkeerde tuin of viel je in een modderpoel (verkeerde kleuren).
De nieuwe manier (Subdivisive Flow): Ze bouwen een trap met heel veel kleine treden. Je loopt niet in één keer, maar stap voor stap. Op elke trede checken ze: "Zit ik nog op het juiste pad?" Zo zorgen ze dat de vertaling van tekst naar 3D-stijl perfect en vloeiend verloopt, zonder rare kleuren of gaten.

B. De "Observatie" (De Kunstcriticus)

Tijdens het schilderen van de 3D-wereld, kijken ze niet alleen naar het eindresultaat, maar vergelijken ze het continu met een perfecte 2D-schilderij dat een andere AI heeft gemaakt.

Het is alsof je een schilderij maakt en er een strenge kunstcriticus naast staat die zegt: "Nee, die blauwe tint is net iets te fel, kijk naar het origineel." Dit zorgt ervoor dat de 3D-wereld er echt uitziet als een kunstwerk, en niet als een wazige foto.

C. De "Onderdrukking" (De Filter voor Ruis)

Soms probeert de computer dingen te doen die niet passen, zoals kleuren die eruit springen waar ze niet horen.

De nieuwe methode heeft een ruisfilter (suppression loss). Dit is als een doordringende neus die ruikt: "Ah, hier ruikt het naar verkeerde kleuren!" en die kleuren direct weghaalt. Zo blijft de 3D-wereld schoon en consistent, zelfs als je er vanuit verschillende hoeken naar kijkt.

Waarom is dit cool?

Vroeger moest je een specifieke foto hebben om een 3D-wereld in een bepaalde stijl te zetten. Met M2StyleGS kun je nu gewoon typen: "Maak deze kamer eruitzien als een sprookje uit de 19e eeuw" of "Geef dit landschap de stijl van een cyberpunk-film".

Het werkt zo snel dat je het bijna in real-time kunt zien (denk aan Virtual Reality of games), en het resultaat is veel scherper en natuurlijker dan wat we eerder hadden.

Kort samengevat:
M2StyleGS is de nieuwe, slimme vertaler die 3D-werelden moeiteloos omtovert in kunst, of je nu een foto of een simpele zin als opdracht geeft. Geen rare kleuren meer, maar prachtige, consistente kunstwerken die je vanuit elke hoek kunt bewonderen.

Probleemstelling

Bestaande methoden voor 3D-stijltransfer zijn vaak beperkt tot het gebruik van een vaste referentieafbeelding om artistieke patronen op 3D-scènes toe te passen. In praktische toepassingen, zoals Virtual Reality (VR) en Augmented Reality (AR), wensen gebruikers echter flexibele invoer, waaronder tekstuele beschrijvingen en diverse afbeeldingen.

De huidige state-of-the-art methoden (zoals ConRF) die proberen tekst en afbeeldingen te combineren, ondervinden twee hoofdproblemen:

Ruwe feature-alignatie: De verdeling van CLIP-features (tekst-visual) komt niet goed overeen met de VGG-stijlfeatures, wat leidt tot onnauwkeurige mapping.
Kwaliteitsverlies: Dit resulteert in abnormale kleuren, vage texturen en inconsistenties tussen de gewenste tekst/afbeelding en het gegenereerde 3D-resultaat.

Daarnaast zijn veel bestaande 3D-stijltransfer-methoden gebaseerd op NeRF (Neural Radiance Fields), wat vaak ten koste gaat van de real-time renderingcapaciteit.

Methodologie: M2StyleGS

De auteurs stellen M2StyleGS voor, een nieuwe techniek voor real-time stijltransfer die gebruikmaakt van 3D Gaussian Splatting (3DGS) als 3D-representatie en CLIP voor multi-modale kennis (tekst en afbeelding). Het doel is om de kleur van elke 3D-Gaussian te transformeren terwijl de geometrische structuur behouden blijft.

De kerncomponenten van de methode zijn:

1. Subdivisive Flow (Subdivisieve Stroom)

Om het probleem van de ruwe alignatie tussen CLIP-features en VGG-stijlfeatures op te lossen, introduceren de auteurs een nieuwe strategie genaamd "subdivisive flow".

Principe: In plaats van een directe mapping (wat vaak leidt tot fouten), wordt de overgang van het CLIP-domein naar het VGG-domein gemodelleerd als een traject dat wordt geleid door een Ordinary Differential Equation (ODE).
Implementatie: De stroom wordt opgedeeld in meerdere stappen (subdivisies) via de Euler-methode. Hierdoor worden tussentijdse features gegenereerd die de alignatie verfijnen.
Effect: Dit zorgt voor een preciezere projectie van de CLIP tekst-visual features naar de VGG-stijlfeature-ruimte, waardoor de kans op kleurafwijkingen en vage texturen aanzienlijk wordt verminderd.

2. Geavanceerde Verliesfuncties (Auxiliary Losses)

Om de kwaliteit van de transfer te verbeteren en multi-view consistentie te garanderen, worden twee extra verliesfuncties toegevoegd:

Observation Loss ( $L_{obs}$ ): Deze loss fungeert als een "observatie-prior". Het vergelijkt het gegenereerde 3D-beeld met een vooraf getraind 2D-stijltransfer-resultaat (gegenereerd door een generator $G$ ). Dit zorgt ervoor dat de globale kleureigenschappen van het 3D-scène dichter bij de echte kunstwerken liggen.
Suppression Loss ( $L_{sup}$ ): Deze loss gebruikt een multi-scale discriminator om misleidende kleurinformatie te onderdrukken. Het helpt om de afwijkingen in de kleurverdeling op het niveau van het hele 3D-scène te corrigeren en zorgt voor een scherpere scheiding tussen de gewenste stijl en de originele inhoud.

3. Training en Inference

Het systeem gebruikt een AdaIN-module (Adaptive Instance Normalization) om de stijl te transfereren. Tijdens de training worden de geometrie en opaciteit van de Gaussians vastgehouden; alleen de kleur wordt getransformeerd. Na training kan het model direct werken met zowel afbeeldingen als tekst als referentie.

Belangrijkste Bijdragen

Analyse van Feature-Distributie: De auteurs identificeren dat de oorzaak van kleurafwijkingen in eerdere werken ligt in de discrepantie tussen de CLIP- en VGG-feature-distributies, wat leidt tot een ruwe domein-overdracht.
Subdivisive Flow: Een nieuwe methode gebaseerd op ODE's die een preciezere alignatie mogelijk maakt door het traject tussen bron- en doelfeatures te segmenteren en te verfijnen.
Nieuwe Loss-functies: Introductie van Observation Loss en Suppression Loss om de visuele kwaliteit te optimaliseren en multi-view consistentie te waarborgen zonder de rendering te verstoren.
SOTA Prestaties: Het is de eerste methode die multi-modale (tekst/afbeelding) stijltransfer combineert met 3DGS voor instant rendering, wat leidt tot state-of-the-art resultaten.

Resultaten

De auteurs hebben M2StyleGS geëvalueerd op openbare datasets (LLFF en Tanks & Temples) en vergeleken met state-of-the-art methoden zoals ConRF, StyleGaussian, CLIPNeRF en CLIPStyler.

Kwaliteit: M2StyleGS levert scherpere texturen en nauwkeurigere kleuren op dan concurrenten. Het vermijdt de "blurry" effecten die vaak voorkomen bij NeRF-gebaseerde methoden.
Consistentie: In termen van multi-view consistentie (gemeten via RMSE en LPIPS) presteert M2StyleGS significant beter.
- Voor afbeeldingsgebaseerde transfer is de korte-afstand LPIPS met 32,92% verbeterd ten opzichte van ConRF.
- Het systeem behoudt de inhoudsintegriteit beter dan methoden die te veel focus leggen op tekst (zoals CLIPStyler).
Ablatie Studies: Experimenten tonen aan dat het verwijderen van de subdivisive flow of de extra loss-functies leidt tot een duidelijke verslechtering van de prestaties (hogere RMSE/LPIPS en lagere feature-overeenkomst).

Significantie

M2StyleGS is een doorbraak in het veld van 3D-content creatie. Door de beperking van vaste referentieafbeeldingen te doorbreken en tekstuele beschrijvingen te ondersteunen, maakt het de creatie van artistieke 3D-omgevingen toegankelijker en flexibeler. De combinatie van 3DGS voor real-time rendering en de nieuwe alignatiemethoden voor multi-modale input opent nieuwe mogelijkheden voor toepassingen in VR, AR en game-ontwikkeling, waarbij gebruikers direct hun visie kunnen vertalen naar een gestileerde 3D-wereld.