💻 computer science

InvSplat: Inverse Feed-Forward Scene Splatting

InvSplat is een feed-forward multi-view reconstructiekader dat direct een gestructureerde 3D Gaussische representatie met intrinsieke materialeigenschappen voorspelt, wat fysiek gefundeerde inverse rendering, nauwkeurige materiaalherstel en stabiele synthese van nieuwe gezichtspunten mogelijk maakt in één enkele forward pass.

Oorspronkelijke auteurs: Polina Karpikova, Wenjing Bian, Haofei Xu, Hendrik Lensch, Andreas Geiger

Gepubliceerd 2026-07-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Polina Karpikova, Wenjing Bian, Haofei Xu, Hendrik Lensch, Andreas Geiger

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een reeks foto's hebt gemaakt van een kamer vanuit verschillende hoeken. Meestal heb je, als je een 3D-model wilt maken van deze foto's, twee keuzes:

De Langzame, Perfecte Manier: Je brengt uren (of dagen) door met het handmatig verfijnen van het 3D-model totdat het er perfect uitziet. Dit is als het beeldhouwen van een standbeeld met de hand, waarbij je langzaam stukje bij beetje materiaal weghakt. Het is nauwkeurig, maar het duurt eeuwig voor elke nieuwe kamer.
De Snelle, "Platte" Manier: Je gebruikt een slimme AI die naar de foto's kijkt en direct een 3D-model uitspuugt. Maar dit model is vaak slechts een "huid" die met kleuren is beschilderd. Het begrijpt niet echt dat een glimmende bal van metaal is gemaakt of dat een muur van ruw stucwerk is. Als je de camera beweegt of de belichting verandert, ziet het model er vreemd uit of valt het uit elkaar.

InvSplat is een nieuwe methode die de snelheid van de tweede aanpak combineert met het diepe begrip van de eerste. Denk aan InvSplat als een supersnelle, instant 3D-beeldhouwer die ook de natuurkunde begrijpt.

Zo werkt het, met behulp van enkele alledaagse analogieën:

1. De "Magische Wolk" van Kleine Orbs

In plaats van een 3D-model te bouwen uit driehoeken (zoals een low-poly videogamepersonage), bouwt InvSplat de scène op uit miljoenen kleine, onzichtbare 3D-wolken (genaamd Gaussians).

Stel je een mistige kamer voor waarin elke druppel mist precies weet waar hij is, hoe groot hij is en hoe hij draait.
In het verleden wisten deze "wolken" alleen hoe ze licht moesten reflecteren om eruit te zien als een foto.
De Twist van InvSplat: Elke van deze kleine wolken is nu "slim". Het draagt een volledige ID-kaart met specifieke eigenschappen:
- Albedo: Wat is de kleur van het object als er geen schaduwen zijn? (Zoals de ware kleur van een rode appel).
- Metallic: Is het glimmend zoals een auto of dof zoals een rots?
- Roughness (Ruwheid): Is het glad zoals glas of bobbelig zoals schuurpapier?
- Geometry (Geometrie): Waar bevindt het zich en welke vorm heeft het?

2. Het "Eén-Klik" Recept

Oude methoden die probeerden deze eigenschappen te achterhalen (zoals "is dit glimmend?") moesten voor elke scène een trage, stap-voor-stap berekening uitvoeren. Het was als een chef die een soep proeft, zout toevoegt, opnieuw proeft en dit een uur lang herhaalt.

InvSplat is als een high-tech magnetron. Je stopt de foto's erin (de "ingrediënten"), drukt op een knop en binnen 1,5 seconde serveert het je een volledig bereide 3D-maaltijd. Het proeft niet telkens opnieuw; het gebruikt een enorme bibliotheek aan kennis (getraind op duizenden scènes) om het recept direct te raden.

3. Waarom "Consistentie" Belangrijk Is

Als je naar een glimmende lepel in een foto kijkt, kan een "platte" AI de reflectie op de lepel schilderen. Maar als je je hoofd beweegt, zou de reflectie moeten bewegen. Platte AI's raken hier vaak van in de war, waardoor de reflectie eruitziet als een sticker die niet correct meebeweegt.

Omdat InvSplat een echt 3D-object bouwt met echte materialen, gedragen de reflecties en schaduwen zich correct, ongeacht waar je staat.

De Analogie: Stel je een plat schilderij van een spiegel voor versus een echte spiegel. Als je langs een schilderij loopt, blijft de reflectie in het schilderij hetzelfde. Als je langs een echte spiegel loopt, verandert de reflectie. InvSplat bouwt de "echte spiegel", zodat de reflecties natuurlijk veranderen terwijl je beweegt.

4. De "Relighting" Superkracht

Omdat de AI het materiaal (waar het object van gemaakt is) scheidt van de verlichting (waar het licht vandaan komt), kun je iets magisch doen: Relighting (Herbelichting).

Stel je voor dat je een foto hebt gemaakt van een kamer met een lamp aan. InvSplat begrijpt dat de muur "witte verf" is en de lamp "felgeel".
Zodra de AI dit weet, kun je de computer vertellen: "Oké, zet die lamp uit en zet een blauw neonbord aan."
De computer berekent direct hoe het blauwe licht op de witte verf valt, waardoor een volledig nieuw beeld ontstaat dat er fysiek echt uitziet, zonder dat je een nieuwe foto hoeft te maken.

Samenvatting van Wat Het Doet

Input: Een paar foto's van een scène met bekende camerastandpunten.
Proces: Eén snelle passage door een neuraal netwerk (geen traag wachten).
Output: Een 3D-scène gemaakt van "slimme wolken" die hun eigen kleur, glans en ruwheid kennen.
Resultaat: Je kunt door deze 3D-scène lopen, de lichten aanpassen en realistische reflecties en schaduwen zien, die allemaal in realtime worden gegenereerd.

Kortom, InvSplat is de eerste tool die uit een paar foto's direct een fysiek accurate 3D-wereld kan bouwen die je kunt bewerken en verkennen, waarbij het in seconden doet wat vroeger uren duurde of onmogelijk consistent te doen was.

Technische Samenvatting: InvSplat: Inverse Feed-Forward Scene Splatting

Probleemstelling

Inverse rendering heeft als doel 3D-geometrie en fysiek betekenisvolle oppervlaktereffecten te herstellen uit afbeeldingen, een vereiste voor toepassingen zoals herbelichting, materiaalbewerking en realistische AR/VR-inhoudplaatsing. Bestaande methoden kampen met een afweging tussen efficiëntie, fysieke interpreteerbaarheid en multi-view consistentie:

Optimalisatiegebaseerde benaderingen (bijv. IRIS) bereiken een hoge getrouwheid, maar vereisen computationeel dure per-scène aanpassingen, wat het praktische nut beperkt.
Leergebaseerde benaderingen (bijv. DiffusionRenderer, MVInverse) bieden snellere inferentie, maar opereren voornamelijk in de beeldruimte. Ze missen expliciete 3D-scène-representaties, wat leidt tot inconsistenties tussen verschillende gezichtspunten (multi-view) en het onvermogen om robuuste synthese van nieuwe gezichtspunten of fysiek onderbouwde bewerking te ondersteunen.
Feed-forward 3D-reconstructiemethoden (bijv. pixelSplat, MVSplat) genereren efficiënt expliciete 3D-representaties (zoals 3D Gaussians), maar richten zich op het synthetiseren van RGB-verschijning in plaats van het ontleden van intrinsieke materiaaleigenschappen (albedo, metalliciteit, ruwheid). Ze slagen er vaak niet in om scherpe speculaire highlights te reproduceren of expliciete herbelichting toe te staan.

Methodologie

InvSplat introduceert een feed-forward framework dat direct een gestructureerde 3D Gaussian-representatie met intrinsieke materiaaleigenschappen voorspelt vanuit geposeerde multi-view afbeeldingen in één enkele forward pass.

Scène-representatie

De scène wordt gerepresenteerd door $M$ 3D Gaussian-primitieven. In tegenstelling tot standaard 3DGS die spherical harmonics gebruikt voor verschijning, wordt elke Gaussian $j$ in InvSplat geparametriseerd door:

Geometrie: Gemiddelde ( $\mu_j$ ), Rotatie ( $q_j$ ), Schaal ( $s_j$ ), Opaciteit ( $\sigma_j$ ) en Oppervlaktenormaal ( $n_j$ ).
Intrinsieke Materialen: Diffuus Albedo ( $a_j$ ), Metalliciteit ( $m_j$ ) en Ruwheid ( $r_j$ ).

Dit maakt een ontleedde, fysiek onderbouwde representatie mogelijk waarbij verlichting gescheiden is van materiaaleigenschappen.

Architectuur

Het model maakt gebruik van een dual-branch feed-forward netwerk:

Geometrie-tak: Geïnspireerd door ReSplat, gebruikt het een ResNet-backbone om multi-schaal features te extraheren. Een Multi-view Geometry Encoder (transformer) aggregeert cross-view informatie, gevolgd door een Multi-view Feature Matching module die een depth-candidate cost volume construeert.
Intrinsieke tak: Maakt gebruik van een DINOv2 ViT-L/14 backbone om input-views te coderen. Een Multi-view Intrinsic Translator (een 36-block transformer) verfijnt deze features via intra-view en inter-view self-attention om cross-view intrinsieke features te extraheren.
Decoding Heads: De features van beide takken worden verwerkt door zes decoding heads:
- Diepte (Depth): Geschat via een DPT head met gecombineerde features.
- Gaussian Parameters: Rotatie, schaal en opaciteit worden verfijnd met behulp van een Point Transformer die 2D features naar 3D-context tilt op basis van de voorspelde diepte.
- Materialen & Normalen: Albedo, metalliciteit, ruwheid en normalen worden voorspeld via DPT heads. De albedo-voorspelling bevat skip-verbindingen naar hogere-resolutie beeldkenmerken.
Unprojection & Rendering: Voorspelde dieptekaarten worden naar 3D ongeprojecteerd om Gaussian-centra te vormen. De scène wordt gerenderd met een differentiabele Gaussian rasterizer om kaarten te produceren voor albedo, metalliciteit, ruwheid, normaal en diepte.

Training

Het model wordt getraind op de InteriorVerse dataset met een combinatie van pixel-wise en perceptuele losses:

Materiaal-supervisie: $L_1$ en LPIPS losses voor albedo, metalliciteit en ruwheid.
Diepte-supervisie: Een affine-invariante loss (geïnspireerd door MoGe) om schaalambiguïteit aan te pakken.
Normaal-supervisie: Cosine similarity loss.
De training optimaliseert gezamenlijk de geometrie-encoder, de intrinsic translator en de decoding heads.

Belangrijkste Bijdragen

Eerste Feed-Forward Inverse Rendering Framework: InvSplat is de eerste methode die fysiek gebaseerde 3D Gaussian-primitieven met intrinsieke materiaalparameters voorspelt vanuit multi-view afbeeldingen in één enkele forward pass, waardoor per-scène optimalisatie overbodig wordt.
Verenigde 3D-representatie: Door priors te integreren van beeldgebaseerde materiaalschatting en 3D-reconstructiemodellen, produceert het hoogwaardige 3D-materiaaleigenschappen met een sterke generalisatie naar real-world data.
Mogelijk maken van Herbelichting en Consistente NVS: De ontleedde 3D Gaussian-representatie ondersteunt novel view synthesis met gedeconstrueerde materialen, wat fysiek gebaseerde herbelichting en view-afhankelijke effectmodellering mogelijk maakt die consistent is over verschillende gezichtspunten.

Resultaten

Experimenten werden uitgevoerd op synthetische (InteriorVerse, Structured3D) en real-world (RealEstate10K, DL3DV) datasets.

Kwantitatieve Prestaties: Op de InteriorVerse testset bereikt InvSplat prestaties die vergelijkbaar zijn met 2D-baselines (zoals MVInverse) wat betreft PSNR, SSIM en LPIPS voor albedo en normalen, terwijl het een expliciete 3D-representatie biedt.
Multi-View Consistentie: Op de Structured3D dataset demonstreert InvSplat een superieure cross-view consistentie (lagere reprojectie RMSE) vergeleken met 2D-methoden, met name voor uitdagende attributen zoals metalliciteit en ruwheid.
Kwalitatieve Resultaten: Visualisaties laten zien dat InvSplat reflecties niet "bakt" in het albedo, waardoor het fijnere details en meer consistente voorspellingen over verschillende views produceert vergeleken met 2D-baselines, die vaak drift vertonen rond reflecterende oppervlakken.
Efficiëntie: De methode bereikt reconstructie in ongeveer 1,5 seconde, wat real-time rendering mogelijk maakt.

Betekenis

Het artikel stelt dat InvSplat de kloof overbrugt tussen efficiënte feed-forward inferentie en hoogwaardige inverse rendering. Door over te stappen van beeldruimte-voorspellingen naar een expliciete 3D Gaussian-representatie met intrinsieke parameters, overwint de methode de problemen met multi-view inconsistentie van eerdere leergebaseerde benaderingen en de computationele knelpunten van optimalisatiegebaseerde methoden. Dit maakt instantane scène-decompositie mogelijk, wat downstream-toepassingen faciliteert zoals herbelichting en materiaalbewerking die voorheen moeilijk te bereiken waren met feed-forward modellen.