🤖 AI

Intrinsic decomposition and editing of 3D Gaussian splats

Dit artikel stelt een methode voor voor de intrinsieke decompositie en bewerking van 3D Gaussian splats door onafhankelijke Gaussian-primitieven voor albedo en schaduwwerking te modelleren, hun ontwarring te optimaliseren via datagestuurde voorspellingen, en textuurbewerkingen op vlakke oppervlakken mogelijk te maken die een plausibele verlichting behouden vanuit willekeurige gezichtspunten.

Oorspronkelijke auteurs: Alexandre Lanvin, Jeffrey Hu, Simon Lucas, Adrien Bousseau, George Drettakis

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Alexandre Lanvin, Jeffrey Hu, Simon Lucas, Adrien Bousseau, George Drettakis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een magische, ultra-realistische 3D-foto van een kamer hebt. Je kunt eromheen lopen, vanuit elke hoek naar kijken en het ziet er perfect uit. Maar er is een addertje onder het gras: de kleuren en schaduwen zijn "ingebakken". Als je een rode muur blauw wilt maken, moet je de hele kamer overschilderen, inclusief de schaduwen die door de meubels worden geworpen. Als je alleen de schaduwen zou overschilderen, zouden ze er vreemd en plat uitzien.

Dit artikel introduceert een nieuwe manier om deze 3D-foto's te bouwen met behulp van "3D Gaussian Splatting" (een chique term voor een verzameling kleine, wazige 3D-stippen die het beeld vormen). De auteurs hebben ontdekt hoe ze de kleur van de objecten kunnen scheiden van de verlichting en schaduwen, waardoor je de kleur kunt veranderen zonder de schaduwen te verpesten.

Hier is hoe ze het hebben gedaan, uitgelegd met eenvoudige analogieën:

1. Het Probleem: De "Gebakken Taart"

Normaal gesproken, wanneer je een 3D-scène creëert, zijn de kleur (albedo) en de verlichting (schaduwwerking) gemengd als ingrediënten in een taart. Zodra de taart gebakken is, kun je de chocoladestukjes (de textuur) er niet meer uithalen zonder de taart te verpesten. Eerdere methoden probeerden ze wel te scheiden, maar gebruikten vaak één enkele set 3D-stippen voor alles. Dit is alsof je probeert een HD-textuur (zoals een bakstenen muur) en een zachte schaduw (zoals een wolk) te beschrijven met exact hetzelfde aantal kleine stipjes. Het is een compromis; je krijgt ofwel wazige texturen, ofwel blokkerige schaduwen.

2. De Oplossing: Drie Afzonderlijke Lagen

De auteurs besloten de scène op te bouwen met drie afzonderlijke sets 3D-stippen in plaats van één grote mix:

De Albedo-laag (De Verf): Deze laag bevat alleen de pure kleur en textuur van de objecten, zoals een plat schilderij zonder schaduwen of highlights.
De Schaduwlaag (Licht & Schaduw): Deze laag bevat alleen de verlichtingsinformatie — waar de zon schijnt en waar de schaduwen vallen. Het is als een grijswaardenkaart van licht.
De Residuele Laag (De Glans): Deze vangt lastige, glimmende effecten op die veranderen afhankelijk van waar je staat, zoals een reflectie op een natte vloer of een glinstering op een metalen lepel.

Door deze drie "schilderijen" apart te houden, kan het systeem meer stippen gebruiken voor de gedetailleerde texturen (de bakstenen) en minder voor de zachte schaduwen, wat het geheel efficiënter en realistischer maakt.

3. Hoe Ze Het Hebben Gebouwd: De "Magische Videobewerker"

Om deze lagen in de eerste plaats te scheiden, moet de computer raden hoe de "pure verf" eruitziet voordat hij weet waar de schaduwen zijn.

Het Raadspelletje: Het team gebruikte een krachtige AI (een "video diffusion model") die fungeert als een superintelligente kunstcriticus. Je voert het een video van de kamer, en het voorspelt hoe de muren en objecten eruit zouden zien als de zon niet zou schijnen.
De Lijm: Omdat de gok van de AI een beetje wazig of inconsistent kan zijn, gebruikte het team een "dieptekaart" (een 3D-blauwdruk van de vorm van de kamer) om de voorspellingen van de AI in de juiste 3D-ruimte te plakken. Dit zorgt ervoor dat de "pure verf"-laag consistent blijft, ongeacht vanuit welke hoek je kijkt.

4. De Bewerkingskracht

Zodra de scène in deze drie lagen is gesplitst, wordt bewerken een fluitje van een cent.

Het Scenario: Stel je voor dat je een houten tafel wilt veranderen in een glanzende rode metalen tafel.
De Oude Manier: Je zou de hele 3D-modellen opnieuw moeten schilderen, en de schaduwen zouden er fout uitzien omdat de "verf" en het "licht" gemengd waren.
De Nieuwe Manier: Je pakt simpelweg de "Albedo-laag" (de verf) en vervangt de houttextuur door rood metaal. De "Schaduwlaag" (de schaduwen) blijft precies waar hij is.
Het Resultaat: Wanneer je om de 3D-scène heen loopt, ziet de tafel eruit als rood metaal, maar de schaduwen die hij op de vloer werpt zijn perfect natuurlijk, net alsof de echte zon op een rode metalen tafel schijnt.

5. Hoe Ze Het Consistent Houden

Het lastige deel is dat als je de tafel slechts vanuit één hoek schildert, de computer in de war kan raken als je van opzij kijkt. Om dit op te lossen, gebruikt het systeem een "proxy plane" (een tijdelijk, onzichtbaar plat vlak) om je schilderwerk vanuit meerdere hoeken tegelijk op de 3D-stippen te projecteren. Dit zorgt ervoor dat wanneer je om het object heen loopt, de nieuwe kleur consistent blijft en niet flikkert of glitcht.

Samenvatting

Kortom, dit artikel leert computers hoe ze een 3D-foto kunnen nemen, de "objectkleur" kunnen scheiden van de "verlichting", en je vervolgens de mogelijkheid geven om de kleur van een object te veranderen terwijl de verlichting en schaduwen perfect realistisch blijven. Het is alsof je een 3D-foto hebt waarbij je het behang kunt veranderen zonder het huis te hoeven herbouwen of de schaduwen te hoeven overschilderen.

Technische Samenvatting: Intrinsieke Decompositie en Bewerking van 3D Gaussian Splats

1. Probleemstelling

Intrinsieke beelddecompositie, waarbij de kleuren van een afbeelding worden gescheiden in diffuse albedo (textuur) en shading (verlichting/schaduwen), is een fundamentele taak voor beeldbewerking. Het stelt gebruikers in staat om de kleuren en texturen van objecten aan te passen zonder de onderliggende lichtomstandigheden te veranderen. Hoewel dit uitgebreid is bestudeerd voor 2D-beelden, video's en Neural Radiance Fields (NeRFs), brengt het uitbreiden naar 3D Gaussian Splatting (3DGS) unieke uitdagingen met zich mee.

Bestaande benaderingen voor intrinsieke decompositie in 3DGS voegen doorgaans een enkele set Gaussian-primitieven toe met intrinsieke hoeveelheden (albedo, shading, residuen). Deze monolithische benadering worstelt echter omdat verschillende intrinsieke componenten verschillende ruimtelijke resoluties vereisen en afzonderlijke kenmerken vertonen:

Albedo bevat vaak hoogfrequente details (texturen), maar mist geometrische aanwijzingen in uniforme gebieden.
Shading bevat scherpe randen (harde schaduwen), maar is elders vaak vloeiend.
Residuen vangen kijkafhankelijke effecten op.

Een enkele set Gaussians kan zich niet tegelijkertijd aanpassen aan de variërende ruimtelijke vereisten van deze lagen, wat leidt tot een suboptimale reconstructie en bewerkingsmogelijkheden. Bovendien verstrengelt het direct bewerken van 3DGS vaak verlichting en textuur, wat het moeilijk maakt om de kleur van een oppervlak te veranderen zonder de schaduwen of highlights te vervormen.

2. Methodologie

De auteurs stellen een pipeline voor die het radianceveld ontkoppelt in drie onafhankelijke sets Gaussian-primitieven: één voor Albedo ( $G_A$ ), één voor Shading ( $G_S$ ) en één voor Kijkafhankelijke Residuen ( $G_R$ ). Het beeldvormingsmodel wordt gedefinieerd als:
$I = A \times S + R$
waarbij $I$ het geobserveerde beeld is, $A$ de albedo, $S$ de shading en $R$ het residu.

2.1 Modellering

In tegenstelling tot standaard 3DGS, dat Spherical Harmonics (SH) gebruikt voor kijkafhankelijke kleur in alle primitieven, past deze methode de representatie aan:

Albedo en Shading Gaussians ( $G_A, G_S$ ): Gebruiken eenvoudige RGB-triplets ( $c \in \mathbb{R}^3$ ) aangezien zij kijkonafhankelijke hoeveelheden vertegenwoordigen.
Residu Gaussians ( $G_R$ ): Gebruiken Spherical Harmonics om kijkafhankelijke effecten te modelleren.
Gescheiden Optimalisatie: Elke set wordt onafhankelijk geoptimaliseerd, waardoor het aantal en de distributie van de primitieven kunnen worden aangepast aan de specifieke frequentie en geometrische behoeften van elke laag.

2.2 Reconstructie Pipeline

Het reconstructieproces vindt plaats in drie hoofdfases:

Data-gedreven Albedo Schatting:
- De invoervideo wordt verwerkt door DiffusionRenderer (een video-diffusiemodel) om tijdelijk consistente albedo-kaarten voor alle frames te voorspellen.
- Om lange video's te verwerken, maken de auteurs gebruik van Brick Diffusion, waarbij het denoising-proces over overlappende segmenten wordt verspreid om vloeiende overgangen te garanderen en randartefacten te voorkomen.
- De video wordt gesubsampleerd om een multi-view dataset te creëren voor 3D-reconstructie.
Albedo Veld Reconstructie ( $G_A$ ):
- De albedo Gaussians worden geoptimaliseerd met behulp van de voorspelde albedo-beelden.
- Uitdaging: Albedo-beelden missen vaak geometrische aanwijzingen (stuksgewijs constante kleuren), wat 3D-plaatsing bemoeilijkt.
- Oplossing: De optimalisatie wordt geregulariseerd met behulp van monoculaire diepte-inschattingen (van Depth Anything V2) en een schaal-regularisatieterm om de primitieven aan te moedigen af te vlakken en scherpe grenzen te vormen. Dit zorgt ervoor dat het albedo-veld de scènegeometrie volgt, ondanks het gebrek aan textuur in de albedo-input.
Shading en Residu Reconstructie ( $G_S, G_R$ ):
- Zodra $G_A$ is bevroren, wordt eerst het shading-veld geoptimaliseerd met behulp van het model $I = A \times S$ .
- Vervolgens wordt het residu-veld geoptimaliseerd om niet-diffuse effecten te vangen.
- Regularisatie: Om te voorkomen dat shading willekeurig groot wordt in donkere albedo-regio's, wordt een "grijsheid"-regularisatie toegepast om de shading Gaussians een neutrale kleur te laten behouden.
- Initialisatie: Residu Gaussians worden geplaatst op locaties met grote verschillen tussen het invoerbeeld en de samengestelde diffuse render.

2.3 Bewerkingsworkflow

Het systeem maakt interactieve bewerking van de albedo-laag mogelijk terwijl de verlichting behouden blijft:

Gebruikersinput: De gebruiker selecteert een oppervlak en schildert een nieuwe textuur of kleur op een specifiek aanzicht.
Proxy Oppervlak: Omdat de diepte van 3DGS onbetrouwbaar is voor reprojectie, past het systeem een proxy-vlak toe op het geselecteerde oppervlak met behulp van RANSAC op de bijdragende Gaussians.
Multi-View Synthese: De bewerkte textuur wordt vanuit meerdere nabijgelegen gezichtspunten op het proxy-vlak gerenderd om een set "bewerkte" albedo-beelden te genereren.
Re-optimalisatie: De albedo Gaussians ( $G_A$ ) worden opnieuw geoptimaliseerd met behulp van deze gesynthetiseerde beelden. Nieuwe Gaussians worden op het proxy-vlak geplaatst om de hoogfrequente details die door de bewerking zijn geïntroduceerd, te vangen.
Resultaat: De uiteindelijke scène kan vanuit willekeurige gezichtspunten worden genavigeerd met de nieuwe textuur, terwijl de originele shading en schaduwen (opgeslagen in $G_S$ en $G_R$ ) intact blijven.

3. Belangrijkste Bijdragen

Gescheiden Gaussian Representaties: Een nieuwe representatie van radiance-velden met gebruik van drie onderscheidende sets Gaussians voor albedo, shading en residuen, waardoor elke laag zijn primitiefdistributie kan aanpassen aan de signaalkenmerken.
Video-Diffusie Gebaseerde Reconstructie: Een methode om intrinsieke velden te reconstrueren uit multi-view foto's met behulp van een video-diffusie prior (DiffusionRenderer) om tijdelijke consistentie te waarborgen, geregulariseerd door diepte- en schaalbeperkingen om de ambiguïteit van albedo-reconstructie aan te pakken.
Intrinsieke Bewerkingsworkflow: Een systeem waarmee gebruikers oppervlaktexturen en kleuren in een 3D-scène kunnen bewerken terwijl realistische verlichting en schaduwen behouden blijven, bereikt door de intrinsieke componenten te ontkoppelen en proxy-gebaseerde reprojectie te gebruiken voor multi-view consistentie.

4. Resultaten en Evaluatie

De methode werd geëvalueerd op drie real-world scènes en één synthetische scène (met ground truth).

Decompositie Kwaliteit: Op de synthetische scène behaalde de methode een hogere kwaliteit albedo-reconstructie (PSNR 29.4 vs. 13.7 voor GI-GS) vergeleken met state-of-the-art inverse rendering methoden (GI-GS, R3GS), hoewel het meer primitieven vereiste. Het slaagde erin textuur van shading te scheiden, terwijl concurrerende methoden vaak shading-artefacten in de albedo-laag behielden.
Bewerkingsmogelijkheden: In vergelijkende bewerkingstaken tegenover ReCoGS en SplatShop, toonde de voorgestelde methode een superieur vermogen om texturen te wijzigen zonder de schaduwen te veranderen.
- ReCoGS behield textuurinformatie bij het herkleuren, waardoor het oorspronkelijke patroon niet werd verwijderd.
- SplatShop overschreef zowel de textuur als de schaduwen.
- De voorgestelde methode verwijderde de originele textuur succesvol en paste een nieuwe toe, terwijl de originele schaduw- en shading-effecten behouden bleven.
Prestaties: De methode is trager dan de standaard 3DGS vanwege de noodzaak om drie aparte velden te renderen tijdens optimalisatie en inferentie. Echter, het bereikt real-time renderingsnelheden (ca. 96–128 FPS) op het uiteindelijke samengestelde resultaat.

5. Betekenis en Claims

Het artikel stelt dat door albedo en shading te ontkoppelen in onafhankelijke Gaussian-sets, het mogelijk is om een fysisch plausibele bewerking van 3D-scènes uit te voeren. De betekenis ligt in:

Multi-View Consistentie: In tegenstelling tot single-view bewerkingsmethoden, zorgt de voorgestelde workflow ervoor dat bewerkingen consistent blijven over verschillende camerahoeken door gebruik te maken van diepte-gebaseerde reprojectie en multi-view optimalisatie.
Behoud van Verlichting: De scheiding maakt het mogelijk om textuur aan te passen zonder de "uitwassing" of vervorming van schaduwen die typisch is bij het bewerken van verstrengelde radiance-velden.
Praktische Bruikbaarheid: De aanpak vermijdt de verbijsterende computationele kosten van volledige inverse rendering voor complexe scènes door te vertrouren op getrainde diffusiemodellen voor de initiële decompositie, wat volledige scène-bewerking haalbaar maakt in plaats van alleen geïsoleerde objecten.

De auteurs erkennen beperkingen, waaronder de "vage" aard van 3DGS die niet-planare bewerking complex maakt, de afhankelijkheid van de kwaliteit van diffusie-priors (die wazig kunnen zijn), en de huidige onmogelijkheid om volledige relighting (het veranderen van lichtbronnen) uit te voeren, waarbij de focus ligt op albedo-modificatie.