💻 computer science

SplatPainter: Interactive Authoring of 3D Gaussians from 2D Edits via Test-Time Training

SplatPainter is een toestandbewust feedforward-model dat interactieve, hoogwaardige bewerking van 3D Gaussian-assets mogelijk maakt via 2D gebruikersinvoer door gebruik te maken van test-time training voor snelle, precieze en identiteitsbehoudende verfijningen.

Oorspronkelijke auteurs: Yang Zheng, Hao Tan, Kai Zhang, Peng Wang, Leonidas Guibas, Gordon Wetzstein, Wang Yifan

Gepubliceerd 2026-06-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yang Zheng, Hao Tan, Kai Zhang, Peng Wang, Leonidas Guibas, Gordon Wetzstein, Wang Yifan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een prachtig, fotorealistisch 3D-model hebt van een personage of object, gemaakt met een technologie die 3D Gaussian Splatting wordt genoemd. Denk niet aan dit model als een massief standbeeld, maar als een wolk van miljoenen kleine, gloeiende, gekleurde puntjes (Gaussians) die, wanneer je er vanuit elke hoek naar kijkt, eruitzien als een perfecte foto.

Het probleem is dat zodra deze "wolk" is gecreëerd, het moeilijk is om deze te repareren. Als je een specifiek detail wilt toevoegen — zoals een traindruppel onder een oog, een graffiti-tag op een muur, of de verlichting wilt veranderen zodat het lijkt op een zonsondergang — zijn de huidige hulpmiddelen ofwel te traag (het duurt minuten of uren) of ze breken het model, waardoor het wazig wordt of delen verandert die je niet wilde aanraken.

SplatPainter is een nieuw hulpmiddel dat dit oplost. Zo werkt het, uitgelegd via eenvoudige analogieën:

1. De "Slimme Compressor" (Fase I)

Voordat je kunt bewerken, organiseert het systeem jouw enorme wolk van miljoenen puntjes.

De Analogie: Stel je voor dat je 3D-model een enorme, rommelige bibliotheek is met miljoenen boeken die overal verspreid liggen. Om snel te vinden wat je nodig hebt, deelt SplatPainter de boeken eerst in in nette, gelabelde dozen (genaamd voxels).
Wat het doet: Het stapelt de boeken niet alleen op; het leest de belangrijkste boeken in elke doos en maakt een "samenvattingskaart" (een compacte latente representatie) die de essentie van dat gebied vastlegt. Dit maakt het model klein en snel werkbaar, maar houdt alle hoogwaardige details veilig binnen die samenvattingskaarten.

2. De "Instant Learner" (Fase II: Test-Time Training)

Dit is het magische deel. Meestal worden AI-modellen één keer getraind en daarna bevroren. Als je ze iets nieuws wilt leren, moet je ze vanaf nul opnieuw trainen, wat eeuwen duurt.

De Analogie: Stel je een meesterkok voor die weet hoe hij een perfect biefstuk moet bereiden. Als je hem vraagt om een specifieke kruid toe te voegen die je van huis uit hebt meegenomen, zou een normale kok misschien een week naar de culinaire opleiding moeten gaan om het te leren.
SplatPainter's Chef: Deze chef heeft een speciale "instant leervermogen". Wanneer je hem jouw specifieke kruid geeft (jouw 2D-bewerking, zoals een tekening of een foto), proeft hij deze direct, past zijn interne recept voor juist dit moment aan, en past die verandering onmiddellijk toe op het biefstuk. Hij vergeet niet hoe hij biefstuk moet bereiden; hij past zich alleen tijdelijk aan aan jouw nieuwe ingrediënt.
In technische termen: Dit wordt Test-Time Training (TTT) genoemd. Het systeem bekijkt jouw 2D-bewerking (zoals een ingezoomde foto van een gezicht), werkt onmiddellijk een klein deel van zijn "brein" bij (de snelle gewichten) om jouw specifieke verzoek te begrijpen, en past die verandering vervolgens toe op het 3D-model.

3. Wat kun je ermee doen?

Het artikel benadrukt drie belangrijke manieren waarop je dit "instant learning" hulpmiddel kunt gebruiken:

Super-Resolutie (De "Inzoom"-fix):
- Scenario: Je hebt een 3D-model van een gezicht, maar de ogen zien er een beetje wazig uit. Je neemt een foto van hoge kwaliteit van alleen het oog en laat deze aan SplatPainter zien.
- Resultaat: De tool werkt de 3D-punten in dat specifieke gebied onmiddellijk bij om overeen te komen met je scherpe foto. Het is alsof je een wazig schilderij neemt en alleen de ogen onmiddellijk met perfect detail overschildert, terwijl de rest van het gezicht exact hetzelfde blijft.
Lokale Schildering (De "Graffiti"-tool):
- Scenario: Je wilt een blauwe traan onder het oog van het personage tekenen of een sticker op een helm plakken.
- Resultaat: Je tekent het op een 2D-scherm en SplatPainter "tilt" die tekening naar de 3D-ruimte. Cruciaal is dat het precies weet waar het moet staan. Het zal de traan niet per ongeluk aan de andere kant van het hoofd plaatsen of de kleur van de hele helm veranderen. Het behoudt de identiteit van het object perfect.
Globale Relighting (De "Zonsondergang"-schakelaar):
- Scenario: Je 3D-scène ziet eruit alsof het in een fel kantoor is, maar je wilt dat het lijkt alsof het in een kamer met een warme zonsondergang is.
- Resultaat: Je laat de tool één of twee foto's van de scène zien met de nieuwe verlichting. De tool past de verlichting en schaduwen over de gehele 3D-model onmiddellijk aan, zodat het vanuit elke hoek consistent oogt, zonder dat je uren aan berekeningen hoeft te wachten.

Waarom is dit een grote zaak?

Snelheid: Het werkt in seconden (interactieve snelheid). Andere methoden duren honderden seconden of minuten.
Veiligheid: Het vernietigt het originele model niet. Het is also kind aan het bewerken van een foto in Photoshop waarbij je onmiddellijk kunt ongedaan maken of van gedachten kunt veranderen, in plaats van dat je het hele canvas opnieuw moet schilderen.
Precisie: Het begrijpt precies wat je wilt. Als je om een traan onder het linker oog vraagt, plaatst het die daar. Het raakt niet in de war en zet het op de neus of het voorhoofd.

Kortom, SplatPainter verandert het moeilijke, trage proces van het repareren van 3D-modellen in een snelle, intuïtieve ervaring waarbij je 3D-werelden kunt beschilderen, inzoomen en verlichten net zoals je dat met een 2D-tekentablet zou doen.

Technische Samenvatting: SplatPainter

Probleemstelling

Hoewel 3D Gaussian Splatting (3DGS) een revolutie heeft teweeggebracht in de creatie van fotorealistische 3D-assets, blijft er een kritieke kloof bestaan in interactieve verschijningsverfijning en bewerking. Bestaande workflows worden geconfronteerd met drie primaire uitdagingen:

Identiteitsbehoud: Huidige methoden falen vaak in het behouden van de oorspronkelijke identiteit en de complexe structurele details van een asset bij het toepassen van bewerkingen, wat leidt tot "identiteitsdrift" of onbedoelde globale veranderingen.
Precisie en Controle: Benaderingen die vertrouwen op intermediaire multiview-generatie of diffusiemodellen lijden vaak aan "ruimtelijke bewerkingslekken" (spatial edit leakage), waarbij lokale bewerkingen doorsijpelen naar onbedoelde regio's, of er niet in slagen een specifieke gebruikersintentie te evenaren door wazige reconstructies.
Latentie: State-of-the-art methoden gebaseerd op iteratieve diffusie-sampling of per-scene optimalisatie zijn prohibitief traag (vaak honderden seconden verlangend), wat het vloeiende creatieve proces dat vereist is voor realtime interactie doorbreekt.

Er is behoefte aan een framework dat gebruikers in staat stelt om nauwkeurige, fijnmazige aanpassingen te maken met vertrouwde 2D-tools, terwijl de oorspronkelijke 3D-structuur strikt wordt behouden en er op interactieve snelheden wordt geëffectueerd.

Methodologie

SplatPainter is een state-aware feedforward framework ontworpen voor de continue, hoogwaardige bewerking van 3DGS-assets. Het omzeilt de noodzaak voor destructieve multiview-regeneratie of per-scene optimalisatie door direct updates te voorspellen voor Gaussian-attributen vanuit 2D-beeldruimte-bewerkingen. De pipeline bestaat uit twee hoofdfasen:

1. Compacte en Kenmerkrijke 3DGS-representatie (Fase I)

Om efficiënte bewerking mogelijk te maken, transformeert de methode de input 3DGS-asset eerst naar een compacte, gestructureerde latente representatie:

Gaussian LRM Initialisatie: De input 3DGS wordt gerenderd vanuit canonieke gezichtspunten en verwerkt door een Gaussian Large Reconstruction Model (LRM) om een dichte, kenmerkrijke wolk van Gaussians te genereren.
Voxelisatie: De dichte Gaussian-wolk wordt georganiseerd in een regelmatige latente grid door nabijgelegen Gaussians te groeperen in lokale voxel-cellen.
Lokale Voxel Transformer: Een transformer-gebaseerde module comprimeert de informatie binnen elke voxel. Het aggregeert intra-voxel relaties via self-attention en destilleert vervolgens de informatie door de top- $K$ meest significante Gaussians (gebaseerd op opaciteit) te selecteren om als queries te dienen in een cross-attention mechanisme. Dit resulteert in een compacte, gestructureerde set voxel-latents die de globale context behouden terwijl de geheugenoverhead wordt verminderd.

2. Verfijning via Test-Time Training (TTT) (Fase II)

De kerninnovatie voor interactieve bewerking is het gebruik van Test-Time Training (TTT) om het model state-aware te maken:

Slow vs. Fast Weights: Het verfijningsnetwerk bestaat uit transformer-blokken die "slow weights" (bevroren backbone) en "fast weights" (aanpasbare mapping netwerken) bevatten.
Adaptatiemechanisme: Wanneer een gebruiker een nieuwe 2D-bewerking verstrekt (bijv. een ingezoomd beeld of een geschilderde streek), voert het model één stap van gradiëntafdaling uit op een zelfgesuperviseerde loss met behulp van de nieuwe input-tokens om de fast weights bij te werken.
Iteratieve Toepassing: Eenmaal aangepast, worden de bijgewerkte fast weights parallel toegepast op zowel de beeld-tokens als de 3D-voxel-latents. Dit stelt het netwerk in staat om nieuwe verschijningsinformatie on-the-fly te integreren zonder de kennis van de oorspronkelijke asset te overschrijven.
Lokale vs. Globale Updates:
- Lokale Bewerkingen: Ray tracing identificeert zichtbare voxels die overeenkomen met de bewerkte view. Updates worden alleen toegepast op deze voxels, en de token-set wordt uitgebreid om fijnmazige structuren te introduceren.
- Globale Bewerkingen: De bijgewerkte fast weights worden toegepast op alle Gaussian-tokens, wat coherente globale veranderingen mogelijk maakt (bijv. herbelichting) terwijl de geometrie behouden blijft.

Belangrijkste Bijdragen

Nieuw Feedforward Bewerkingsframework: SplatPainter introduceert een state-aware, feedforward model voor interactieve 3DGS-bewerking. Door gebruik te maken van TTT, worden 2D-bewerkingen iteratief geïntegreerd om Gaussian-attributen direct bij te werken zonder destructieve regeneratie.
Veelzijdige Toepassingen: De verenigde architectuur ondersteunt diverse taken, waaronder:
- Hoogwaardige Lokale Detailverfijning: Het herstellen van ontbrekende details vanuit schaarse, ingezoomde views.
- Interactieve Creatieve Bewerking: Het integreren van door gebruikers aangebrachte paint-overs, graffiti of generatieve bewerkingen (bijv. van Nano Banana) terwijl de identiteit van de asset strikt wordt behouden.
- Consistente Globale Herbelichting: Het propageren van verlichtingsveranderingen door de gehele scène op basis van few-shot relit views.
State-of-the-Art Prestaties bij Interactieve Snelheden: Uitgebreide experimenten tonen aan dat SplatPainter bestaande methoden aanzienlijk overtreft in zowel visuele kwaliteit als snelheid, waarbij het opereert op interactieve snelheden (ongeveer 0,3s per lokale bewerking) vergeleken met honderden seconden voor optimalisatie-gebaseerde baselines.

Experimentele Resultaten

De auteurs evalueerden SplatPainter op drie primaire taken met behulp van datasets uit Objaverse en TexVerse:

Lokale Verfijning: De methode behaalde superieure PSNR, SSIM en LPIPS scores vergeleken met directe reconstructie (GS-LRM), feedforward densificatie (GenDen) en optimalisatie-gebaseerde benaderingen (3DGS, SRGS). Cruciaal is dat het deze kwaliteit bereikte in ~0,3 seconden per bewerking, terwijl optimalisatiemethoden 300–500 seconden vereisten.
Creatieve Bewerking: In vergelijking met VoxHammer en VineDresser3D demonstreerde SplatPainter een aanzienlijk beter identiteitsbehoud. Baseline-methoden vertoonden "spatial leakage" en globale identiteitsdrift (bijv. het vervormen van gezichtsstructuren bij het bewerken van een specifiek gebied), terwijl SplatPainter onbewerkte regio's bit-exact gelijk hield aan het origineel. Kwantitatieve metrieken op niet-bewerkte regio's toonden aan dat SplatPainter een PSNR van 33,02 behaalde vergeleken met 13,86 voor VoxHammer.
Globale Herbelichting: De methode presteerde beter dan ReLitLRM en 3DGS-optimalisatie in reconstructienauwkeurigheid (PSNR 25,03 met 4 views versus 21,68 voor ReLitLRM) en produceerde meer consistente schaduwwerking zonder kleurtoon-mismatches.
Ablatie-studies: De tweestaps-pipeline werd gevalideerd, waarbij werd aangetoond dat Fase I agressieve compressie bereikt (reductie van het aantal Gaussians met ~70%) met minimale kwaliteitsverlies, terwijl Fase II de details effectief verfijnt. Het TTT-updatemechanisme bleek superieur aan standaard cross-attention baselines in het handhaven van coherentie.

Betekenis en Claims

Het artikel claimt dat SplatPainter de fundamentele beperkingen van huidige 3D-bewerkingsworkflows aanpakt door een niet-destructief, snel en precies alternatief te bieden. De betekenis ligt in:

Het overbruggen van de kloof: Het maakt een vloeiende, realtime creatieve workflow mogelijk waarbij kunstenaars intuïtieve 2D-tools kunnen gebruiken om 3D-assets te verfijnen, een capaciteit die voorheen ontbrak in het 3DGS-ecosysteem.
Behoud van Asset-identiteit: Door direct op de Gaussian-representatie te opereren met state-aware adaptatie, lost het het "identiteitsdrift"-probleem op dat gebruikelijk is bij generatieve en optimalisatie-gebaseerde methoden.
Schaalbaarheid: Het feedforward karakter van de aanpak maakt onmiddellijke feedback mogelijk, wat het een praktische oplossing maakt voor het ontsluiten van realtime 3D-contentcreatie in sectoren variërend van gaming tot e-commerce.

De auteurs merken op dat het huidige ontwerp zich richt op verschijningsupdates en geen nieuwe geometrie introduceert, waardoor geometrische bewerking een richting voor toekomstig werk is.