CustomTex: High-fidelity Indoor Scene Texturing via Multi-Reference Customization

CustomTex is een nieuw raamwerk dat via een dubbele distillatie-methode binnen een VSD-optimatiekader, hoge-kwaliteit en aanpasbare texturen voor 3D-interieurs genereert die nauwkeurig corresponderen met referentieafbeeldingen en superieur zijn aan bestaande methoden qua scherpte en artifactreductie.

De kern

Het Probleem: De "Platte" Wereld van 3D

Stel je voor dat je een prachtig 3D-model van een woonkamer hebt. Het ziet eruit als een poppenhuis, maar dan digitaal. Het probleem is dat de muren, de bank en het tapijt er nu uitzien als een saaie, grijze leegte. Ze hebben geen textuur, geen stofstructuur, geen houtnerf.

Vroeger konden mensen deze kamers "opfleuren" door tekst te typen (bijvoorbeeld: "maak de bank van fluweel"). Maar dat werkt vaak niet goed genoeg. Het is alsof je tegen een schilder zegt: "Maak iets moois," zonder te laten zien hoe. Het resultaat is vaak wazig, onnatuurlijk of het lijkt alsof de schaduw al in de verf is "gebakken" (zoals een foto die je niet meer kunt herschilderen).

Andere methoden proberen een foto als voorbeeld te gebruiken, maar dan krijgen ze vaak de hele kamer in één stijl, zonder te begrijpen dat de bank er anders uit moet zien dan het tapijt.

De Oplossing: CustomTex (De Slimme Textiel-Designer)

CustomTex is een nieuwe, slimme manier om 3D-kamers van textuur te voorzien. Het werkt als een meester-ontwerper die precies weet wat je wilt, gebaseerd op foto's die jij aanlevert.

Stel je voor dat je een 3D-model van een kamer hebt en je wilt:

• Een bank van een specifiek blauw fluweel (met een foto van dat fluweel).
• Een houten tafel met een specifieke nerf (met een foto van dat hout).
• Een behang met een bloemenpatroon (met een foto van dat behang).

CustomTex neemt al deze losse foto's en "naait" ze perfect op de juiste plek in het 3D-model. Het resultaat is een kamer die eruitziet alsof hij echt bestaat, met scherpe details en geen rare schaduwen.

Hoe werkt het? De "Dubbele Distillatie"

De auteurs gebruiken een slimme truc die ze dubbele distillatie noemen. Je kunt dit vergelijken met het leren van een kunstenaar in twee stappen:

1. Stap 1: De "Smaakmaker" (Semantische Distillatie)

   • Analogie: Stel je voor dat je een kok hebt die eerst alleen de receptuur moet leren. Hij kijkt naar jouw foto's en zegt: "Oké, deze hoek is voor de bank, die voor de muur." Hij zorgt dat de soort materiaal op de juiste plek komt.
   • In de paper: Dit zorgt ervoor dat de bank echt op de bank staat en niet op de vloer, en dat het de juiste stofkleur heeft. Het gebruikt een speciale "cross-attention" (zoals een laserpointer) om te zeggen: "Kijk naar deze foto voor dit specifieke object."

2. Stap 2: De "Detail-Verfijner" (Pixel-distillatie)

   • Analogie: Nu de kok weet wat hij moet maken, moet hij het ook mooi maken. Hij pakt een vergrootglas en zorgt dat elke vezel van het fluweel en elke nerven van het hout scherp en helder is. Hij verwijdert de wazigheid.
   • In de paper: Dit zorgt voor de hoge kwaliteit. Het maakt de textuur scherp, zonder wazige plekken of rare artefacten.

Deze twee stappen werken samen in één proces, zodat het eindresultaat zowel de juiste vorm heeft als de perfecte kwaliteit.

Waarom is dit beter dan de rest?

• Geen "Gebakken Schaduwen": Veel oude methodes maken textuur die eruitziet alsof het al verlicht is (alsof er een lamp op staat). Als je de kamer dan in het donker zet, ziet het er raar uit. CustomTex maakt "schone" textuur, net als een stuk stof of hout dat je in een winkel koopt. Je kunt het later zelf verlichten zoals je wilt.
• Precisie: Waar andere methoden zeggen "maak de hele kamer houten", zegt CustomTex: "Deze bank is fluweel, die stoel is leer, en de vloer is parket." Het begrijpt elk object apart.
• Scherpte: De resultaten zijn haarscherp, alsof je door een raam kijkt in plaats van door een wazig raam.

Conclusie

Kortom, CustomTex is als een magische textielmachine die een leeg 3D-poppenhuis omtovert in een levensechte kamer. Je geeft het foto's van de materialen die je wilt, en het plakt ze perfect, scherp en zonder fouten op het model. Het maakt het mogelijk voor iedereen om prachtige, realistische 3D-interieurs te maken, zonder dat je zelf een expert hoeft te zijn in 3D-modelleren.

Technische samenvatting

1. Het Probleem

Het creëren van fotorealistische en stijlconsistent 3D-texturen voor binnenruimtes blijft een grote uitdaging. Bestaande methoden hebben de volgende beperkingen:

• Tekst-gedreven methoden: Hoewel flexibel, missen ze de precisie voor fijnmazige, instance-level controle (bijv. specifieke weefselstructuur of houtnerf). Tekstprompts zijn vaak ambigu.
• Kwaliteitsproblemen: Veel huidige methoden produceren texturen die onscherp, wazig of onnatuurlijk uniform zijn. Ze missen de scherpte en rijkdom van handgemaakte of fysiek gescande texturen.
• "Baked-in" verlichting: Diffusiemodellen kopiëren vaak de verlichting en dieptecues uit hun trainingsdata. Dit resulteert in texturen met vaste schaduwen en highlights die niet geschikt zijn voor rendering onder verschillende lichtomstandigheden.
• Gebrek aan instance-controle: Bestaande referentie-gebaseerde methoden bieden vaak slechts globale, grove controle en kunnen niet specifieke attributen per object (zoals een bank, kast of muur) nauwkeurig aansturen.

2. Methodologie: CustomTex

CustomTex is een nieuw raamwerk dat een ongetextureerde 3D-scene en een set referentieafbeeldingen (één per object-instantie) omzet in een geünificeerde, hoogwaardige textuurkaart. De kern van de methode is een dubbele distillatie-aanpak (dual-distillation) binnen een Variational Score Distillation (VSD) optimalisatiekader.

De methode splitst het proces op in twee parallelle distillatiestromen:

A. Semantische-niveau Distillatie (Semantic-level Distillation)

• Doel: Zorgen voor semantische plausibiliteit en nauwkeurige uitlijning tussen de gegenereerde textuur en de specifieke referentieafbeeldingen per object.
• Mechanisme: Gebruik maakt van een Instance-guided Variational Score Distillation (InsVSD).
• Techniek: Een diepte-naar-afbeelding diffusiemodel (Depth-to-Image) wordt gebruikt als prior. Om te voorkomen dat de modelverwarring ontstaat tussen verschillende objecten, wordt een Instance Cross-Attention mechanisme ingezet.
  • Instance masks (maskers per object) worden gebruikt om de features van de referentieafbeeldingen precies te koppelen aan de corresponderende delen van het gerenderde RGB-beeld.
  • Dit zorgt ervoor dat de textuur van de bank bijvoorbeeld exact overeenkomt met de referentie van de bank, en niet met die van de muur.
• Optimalisatie: Een lichtgewicht LoRA-model wordt getraind om de prior van het gefrozen diffusiemodel te leren, terwijl de texture-parameters worden geoptimaliseerd via een alternatieve twee-staps strategie.

B. Pixel-niveau Distillatie (Pixel-level Distillation)

• Doel: De visuele kwaliteit, scherpte en hoge-frequentie details van de textuur verbeteren zonder de semantische structuur te verstoren.
• Mechanisme: Gebruik maakt van een voorgeïnstalleerde Super-Resolution (SR) diffusiemodel.
• Techniek: In plaats van de textuur na het genereren te upscalen (wat vaak leidt tot artefacten op UV-kaarten), wordt de SR-model direct in het distillatieproces geïntegreerd. De gradient van het SR-model wordt gecombineerd met de VSD-gradient om de textuur te updaten.
• Resultaat: Dit levert texturen op die scherp zijn, rijk aan details en vrij van de wazigheid die vaak voorkomt bij standaard diffusiemethoden.

C. Representatie en Optimisatie

• De textuur wordt weergegeven als een implicit multi-resolution texture field (gebaseerd op Instant-NGP hash grids) in de UV-ruimte.
• Het totale verlies is een gewogen som van de VSD-gradient (semantiek) en de SR-gradient (pixelkwaliteit).

3. Belangrijkste Bijdragen

1. Nieuw Raamwerk: Een textuurgeneratieframework dat flexibele, instance-level aanpassing mogelijk maakt met meerdere referentieafbeeldingen als prompts.
2. Dubbele Distillatie: Een trainingsaanpak die semantische inhoud effectief behoudt terwijl het de pixel-niveau fideliteit verbetert, wat resulteert in texturen zonder "baked-in" verlichting.
3. Instance-Guided VSD: Een aanpak die de meerdere modi in referentieafbeeldingen vastlegt door instance-masks te gebruiken in de cross-attention, wat zorgt voor precieze controle per object.

4. Resultaten

De auteurs hebben CustomTex geëvalueerd tegen state-of-the-art methoden (zoals SceneTex, Paint3D, HY3D-2.1, TEXture) op zowel tekst- als afbeelding-gedreven taken.

• Kwantitatieve Resultaten:
  • CustomTex behaalde de hoogste scores op alle metrieken voor beeld-naar-textuur (CLIP-I, CLIP-FID, Q-Align IQA/IAA).
  • Het presteerde ook superieur bij tekst-naar-textuur taken, met name in het behoud van semantische consistentie en beeldkwaliteit.
• Kwalitatieve Resultaten:
  • Instance-consistentie: De texturen tonen een hoge overeenkomst met de specifieke referentieafbeeldingen per object (bijv. de juiste houtnerf op de tafel, de juiste stof op de bank).
  • Kwaliteit: De gegenereerde texturen zijn aanzienlijk scherper en bevatten minder artefacten dan concurrenten.
  • Geen "Baked-in" Shading: Door de multi-reference conditioning en instance-masks worden globale schaduwen voorkomen, waardoor de textuur geschikt is voor dynamische belichting.
• User Study: Een studie met 60 deelnemers bevestigde dat CustomTex werd verkiest boven andere methoden op zowel visuele kwaliteit als consistentie met de prompts.

5. Betekenis en Toekomst

CustomTex biedt een directere en gebruiksvriendelijker pad naar hoogwaardige, aanpasbare 3D-scene bewerking. Het lost het probleem op van het genereren van realistische texturen zonder de beperkingen van tekstprompts of de kwaliteitseisen van handmatige texturing.

Beperkingen en Toekomstig Werk:

• Het trainingsproces voor 4K-texturen is rekenintensief (ongeveer 48 uur op één GPU).
• De methode focust momenteel alleen op diffuse albedo-texturen en genereert nog geen andere materiaalkaarten zoals normal maps of roughness maps.

Samenvattend stelt CustomTex een nieuwe standaard neer voor instance-gedreven, fotorealistische texturering van 3D-interieurs, waarbij de balans tussen semantische controle en visuele fideliteit voor het eerst optimaal wordt beheerst.