StableMaterials: Enhancing Diversity in Material Generation via Semi-Supervised Learning

StableMaterials is een nieuwe semi-supervised learning-methode die Latent Diffusion Models combineert met adversarial training en een verfijningmodel om diverse, fotorealistische PBR-materialen te genereren die naadloos tegelbaar zijn en in slechts vier stappen worden gegenereerd.

De kern

Stel je voor dat je een videospel, een film of een 3D-ontwerp aan het maken bent. Alles ziet er perfect uit, maar de muren zijn saai, de vloer is glad als plastic en de metalen deuren voelen aan als karton. Om dit op te lossen, moeten "materialen" worden gemaakt: de textuur, het glans, de ruwheid en de diepte van een oppervlak.

Vroeger was dit een heel moeilijk klusje waar alleen experts met speciale vaardigheden aan konden werken. Nu proberen computers dit zelf te doen, maar ze hebben vaak een probleem: ze hebben te weinig voorbeelden om van te leren.

StableMaterials is een nieuwe, slimme oplossing die dit probleem oplost. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Kopieer- en Plak" Methode (Semi-supervised Learning)

Stel je voor dat je een kok bent die wil leren koken. Je hebt een receptenboek met 6.000 perfecte recepten (de "geannoteerde data"), maar je wilt ook nieuwe, spannende gerechten bedenken. Het probleem is dat je niet genoeg nieuwe recepten hebt om te oefenen.

StableMaterials doet iets slim:

• Het kijkt naar een enorme, populaire kookschool (een groot AI-model genaamd SDXL) die miljoenen foto's van eten en gerechten kent.
• Die school kan prachtige foto's van eten maken, maar weet niet precies hoe het eruit ziet als je het aanraakt (is het zacht? is het hard?).
• StableMaterials leert van die school door te zeggen: "Oké, maak een foto van 'roestig metaal'. Ik ga die foto nu niet gebruiken om te koken, maar ik ga er wel van leren hoe 'roestig' eruit moet zien."
• Het combineert de echte recepten (waar het precies weet hoe het werkt) met de foto's van de school (waar het alleen de sfeer ziet). Zo leert het AI-model veel sneller en creatiever te zijn, zonder dat er duizenden nieuwe receptenhandboeken nodig zijn.

2. De "Sfeer-Verfijner" (Refiner Model)

Soms maakt de AI een mooie schets, maar is het nog wat wazig of onduidelijk.
StableMaterials werkt in twee stappen:

1. De Schets: Het maakt eerst een klein, snel plaatje (512x512 pixels).
2. De Verfijning: Vervolgens neemt een tweede, gespecialiseerd model dit plaatje en "verfijnt" het. Het doet alsof het een schilder is die over de schets heen schildert om de details (zoals de glans op een nat pad of de groeven in hout) scherp en haalbaar te maken. Hierdoor krijg je een haalbare, hoge-resolutie textuur die er echt uitziet.

3. De "Oneindige Tapijt" Techniek (Tileability)

In videospellen moeten materialen vaak eindeloos herhaald worden (zoals een tapijt of een tegelvloer). Als je een afbeelding herhaalt, zie je vaak een lelijke "naad" of een patroon dat plotseling onderbreekt.

Normaal gesproken moet een AI heel lang nadenken (veel stappen) om die naad weg te werken. StableMaterials is echter een snelheidswonder.

• Het gebruikt een truc genaamd "Features Rolling".
• De Analogie: Stel je voor dat je een muur bepleisterd. In plaats van dat je elke steen apart legt en wacht tot de lijm droogt, schuif je de hele muur een stukje op, bepleister je de randen, en schuif je hem terug. De AI "schuift" de interne details van het plaatje tijdens het maken, zodat de randen perfect in elkaar grijpen.
• Hierdoor kan het model in slechts 4 stappen een perfect herhaalbaar materiaal maken, terwijl andere modellen 50 stappen nodig hebben. Het is alsof je van 50 minuten reistijd naar 4 minuten gaat.

Waarom is dit geweldig?

• Verscheidenheid: Omdat het leert van grote foto-databases, kan het materialen maken die nog nooit eerder zijn gemaakt (bijvoorbeeld "vissen schubben die in alle kleuren van de regenboog glanzen").
• Snelheid: Het is razendsnel, waardoor je in een videospel of film direct kunt zien hoe een nieuw materiaal eruit ziet.
• Realisme: Het maakt niet alleen een plaatje, maar berekent ook hoe het licht erop valt, hoe ruw het is en of het metaal of plastic is.

Kortom: StableMaterials is als een super-snelle, creatieve assistent die niet alleen zijn eigen kennis gebruikt, maar ook leert van de hele wereld van foto's, om in een handomdraai perfecte, realistische materialen voor je te creëren.

Technische samenvatting

Probleemstelling

Het authoring van materialen voor computergraphics (zoals voor videogames en architectuur) is traditioneel een complex proces dat gespecialiseerde vaardigheden vereist. Hoewel er recentelijk leer-gebaseerde methoden zijn ontwikkeld om materialen te genereren op basis van afbeeldingen of tekst, kampen deze methoden met twee belangrijke beperkingen:

1. Gebrek aan diversiteit en data: Bestaande datasets voor PBR-materialen (Physically Based Rendering) zijn beperkt in omvang en diversiteit in vergelijking met grote beelddatasets (zoals LAION). Dit leidt tot generatiemodellen die moeite hebben met complexe of zeldzame materialen.
2. Afhankelijkheid van gelabelde data: Bestaande modellen vereisen vaak grote hoeveelheden gelabelde data (SVBRDF-kaarten), wat schaars is. Het fine-tunen van grote beeldmodellen (zoals SDXL) op het domein van materialen is lastig vanwege het domeinverschil tussen 2D-afbeeldingen en multi-map materialen.

Methodologie: StableMaterials

StableMaterials is een nieuw diffusion-based model dat semi-supervised learning combineert met Latent Diffusion Models (LDMs) om fotorealistische PBR-materialen te genereren. De architectuur en trainingsstrategie omvatten de volgende kerncomponenten:

1. Representatie en Compressie

• Het model genereert SVBRDF-kaarten (Basecolor, Normal, Height, Roughness, Metallic) die een Cook-Torrance microfacet-model representeren.
• In plaats van een multi-encoder VAE (zoals in eerdere werken), gebruikt StableMaterials een efficiëntere single-encoder VAE. Deze comprimeert de samengevoegde materialenkaarten in een gedeelde, ontkoppelde (disentangled) latent space. Dit vermindert het aantal parameters aanzienlijk (van 271M naar 101M) zonder in te leveren op reconstructiekwaliteit.

2. Semi-supervised Adversarial Distillation
Dit is de kerninnovatie om de kloof tussen grote beeldmodellen en materialen te overbruggen:

• Doel: Het gebruik van ongelabelde data (texturen gegenereerd door SDXL via tekstprompts) om de diversiteit te vergroten.
• Uitdaging: SDXL genereert 2D-texturen, terwijl StableMaterials meerdere PBR-kaarten moet produceren. Directe supervisie is dus niet mogelijk.
• Oplossing: Het model wordt getraind met een hybride loss-functie:
  • Supervised Loss ($L_{sup}$): Zorgt voor fysiek plausibele reconstructie op gelabelde data.
  • Adversarial Loss ($L_{adv}$): Een latent discriminator (LD) onderscheidt tussen echte materialen en gegenereerde samples. Deze loss dwingt het model om ook ongelabelde textuur-samples te vertalen naar realistische materialen-features in de gedeelde latent space. Hierdoor "distilleert" het model kennis van SDXL zonder directe supervisie.

3. Snelle en Hoge-resolutie Generatie

• Latent Consistency Model (LCM): Om de inferentie te versnellen, wordt een LCM gedistilleerd. Dit stelt het model in staat om materialen te genereren in slechts 4 stappen per fase.
• Features Rolling: Traditionele "noise rolling" voor tegelbaarheid (tileability) faalt vaak bij zo'n weinig stappen. StableMaterials introduceert een nieuwe "features rolling" techniek. In plaats van de input-noise te verschuiven, worden de feature maps binnen de convolutionele en attention lagen van de U-Net zelf verschoven. Dit behoudt de randcontinuïteit en elimineert zichtbare naden (seams) bij snelle generatie.
• Refiner Model: Voor hoge resoluties wordt een twee-staps pijplijn gebruikt. Eerst wordt een basisgeneratie gemaakt van 512x512, waarna een refiner-model (gebaseerd op SDEdit en patched diffusion) de resolutie opschroeft en details verfijnt, terwijl globale consistentie wordt behouden.

Kernbijdragen

1. StableMaterials Model: Een nieuw diffusion-model voor PBR-materialen dat semi-supervised learning gebruikt om ongelabelde data te integreren.
2. Adversarial Distillation: Een innovatieve techniek om kennis over te dragen van grote beeldmodellen (SDXL) naar het materialen-domein, waardoor de diversiteit van gegenereerde materialen toeneemt zonder extra gelabelde data.
3. Features Rolling: Een nieuwe methode voor tegelbaarheid die artefacten minimaliseert bij generatie met weinig diffusion-stappen, wat essentieel is voor snelle inferentie.
4. State-of-the-art Prestaties: Het model levert hogere kwaliteit en diversiteit dan bestaande methoden, met snellere generatietijden dankzij LCM.

Resultaten en Evaluatie

De auteurs evalueren het model zowel kwalitatief als kwantitatief:

• Vergelijking: StableMaterials wordt vergeleken met state-of-the-art methoden zoals MatFuse, MatGen, Material Palette en Adobe Substance 3D Sampler.
• Kwalitatief: Het model produceert realistischere materialen, volgt prompts nauwkeuriger (zowel tekst als afbeelding) en kan beter omgaan met "out-of-domain" concepten (materialen die niet in de oorspronkelijke trainingsset zaten).
• Kwantitatief:
  • User Study: Met 20 experts werd StableMaterials significant vaker verkozen dan de concurrenten (105 keer vs. 66 voor de opvolger). Het scoorde ook het hoogst op realisme en prompt-accuraatheid (gemiddeld 3.50/5).
  • Metrieken: Gebaseerd op CLIP Score en CLIP-IQA scoort het model beter of gelijk aan methoden die op grotere datasets zijn getraind.
• Snelheid: Generatie van een 2048x2048 textuur duurt slechts 4,9 seconden (met 4 stappen + refinering), vergeleken met meer dan 20 seconden voor traditionele LDM-methoden.

Significantie

StableMaterials is een doorbraak in het veld van computergeneratie van materialen. Het lost het probleem van schaarste aan gelabelde data op door slim gebruik te maken van ongelabelde data en grote voorgeöordeelde modellen. Door de combinatie van semi-supervised learning, adversarial distillation en geavanceerde technieken voor tegelbaarheid en snelheid, maakt het de creatie van diverse, hoogwaardige en fysiek correcte materialen toegankelijker voor toepassingen in games, simulatie en media. Het biedt een blauwdruk voor hoe domeinspecifieke generatoren kunnen leren van grote, algemene modellen zonder de fysieke plausibiliteit te verliezen.