Technische Samenvatting: Neurale Textuurcompressie met Hypernetwerken

Probleemstelling

Physically Based Rendering (PBR) vertrouwt op meerdere texturen (zoals diffuse, normal, roughness) om realistische materiaalinteracties te simuleren. Deze kaarten verbruiken aanzienlijke opslag en bandbreedte, vooral in real-time toepassingen zoals videogames. Hoewel recente neurale textuurcompressiemethoden (NTC) de capaciteit hebben getoond om compacte, per-materiaal representaties te leren met behulp van Multi-Layer Perceptrons (MLP's) en latente texturen, lijden ze aan een kritieke flessenhals: optimalisatietijd. Bestaande benaderingen vereisen een apart, computationeel duur gradiëntafdaling-optimalisatieproces voor elk individueel materiaal om de optimale latente kenmerken en MLP-gewichten te vinden. Deze per-materiaal optimalisatie is traag en belemmert de schaalbaarheid.

Methodologie

Het artikel stelt een nieuwe aanpak voor die per-materiaal optimalisatie vervangt door een enkel getraind hypernetwerk. In plaats van parameters voor elke texturenset afzonderlijk te optimaliseren, leert het hypernetwerk om elke invoer-texturenset direct naar zijn gecomprimeerde representatie te mappen.

Kernarchitectuur

Het systeem bestaat uit een monolithisch hypernetwerk dat een genormaliseerde texturenset $T$ als invoer neemt en twee componenten genereert:

1. Latente Kenmerken ($l_0, ..., l_N$): Een set blokgecomprimeerde texturen (specifiek gebruikmakend van de BCF1-variant, die BC1-compressie gebruikt).
2. Decoder Gewichten ($wb$): De gewichten en biases voor een kleine MLP-decoder.

De reconstructie wordt uitgevoerd via de formule:
$$\text{mlp}([l(i,j)_0, ..., l(i,j)_N]; wb) \simeq T_{i,j}$$

Netwerkontwerp

De auteurs maken gebruik van een Diffusion Transformer (DiT) architectuur met cross-attention mechanismen, gestructureerd in drie blokken:

• t-Encoder: Een gemengde convolutionele en attention module die de invoer-texturenset downscaleert en een set globale tokens ($t$) extraheert. Deze tokens representeren de globale kenmerken van het materiaal.
• DiT Blocks: De kernverwerkingseenheid past cross-attention toe tussen beeld-tokens (afgeleid van $4\times4$ texel-blokken van de input) en de latente tokens ($t$). Dit stelt het netwerk in staat om lokale textuurdetails te correleren met globale materiaaleigenschappen.
• BC1 Conversie Module: De laatste fase decodeert de tokens naar de specifieke outputs:
  • Een lineaire laag zet de latente tokens om in de MLP-gewichten ($wb$).
  • Een gespecialiseerde module zet beeld-tokens om in BC1 latente texturen ($l_i$). Dit omvat het reshapen van tokens, het toepassen van convoluties om 22 kanalen te genereren (die RGB-endpoints en blending parameters representeren), en het toepassen van sigmoid-functies met offsets om endpoint-instorting tijdens kwantisatie te voorkomen.

Trainingsstrategie

Het hypernetwerk wordt getraind op een dataset van diverse texturensets (van Polyhaven en Sketchfab) met een combinatie van een $L_1$-norm en DISTS (een perceptuele verliesmetriek). Het trainingsdoel minimaliseert het verschil tussen de originele texturenset en de set die gereconstrueerd wordt door de MLP met behulp van de door het hypernetwerk voorspelde gewichten en latenten. Het model is getraind om te generaliseren over verschillende materialen zonder dat per-materiaal gradiëntafdaling nodig is.

Belangrijkste Bijdragen

1. Hypernetwerk voor NTC: De introductie van een enkel hypernetwerk dat zowel latente kenmerken als decodergewichten voor elk gegeven materiaal genereert, waardoor de noodzaak voor per-materiaal optimalisatie wordt geëlimineerd.
2. Kwaliteit en Efficiëntie: De methode bereikt een compressiekwaliteit die vergelijkbaar is met huidige referentie neurale texture compressors (die afhankelijk zijn van gradiëntafdaling), maar vermindert de tijd die nodig is om gecomprimeerde representaties te generen aanzienlijk.
3. Veelzijdigheid en Hergebruik: Het artikel demonstreert dat het getrainde hypernetwerk kan worden aangepast voor taken buiten standaardcompressie:
   • Gedeelde MLP's: Het netwerk kan worden gefinetuned om een enkele gedeelde MLP te produceren voor alle texturensets, waarbij alleen de latente texturen variëren. Dit vereenvoudigt de runtime-executie door de noodzaak voor tile-gebaseerde classificatie om workgroups te homogeniseren weg te nemen.
   • Super-resolutie: Door het netwerk te trainen met gedownscaleerde inputs ($T^l$) en full-resolutie targets ($T^h$), leert het hypernetwerk hoge-frequentie details af te leiden, waardoor het effectief super-resolutie uitvoert voor SVBRDF's, zelfs wanneer hoge-resolutie grondwaarheid niet beschikbaar is tijdens de inferentie.

Resultaten

• Kwalitatief: Visuele vergelijkingen tonen aan dat de gedecomprimeerde outputs hoge-frequentie details (zoals krassen en houtnerven) behouden en visueel niet te onderscheiden zijn van de input in diverse scenario's, inclus\n bij materialen uit de training, materialen uit de testset, en materialen die volledig buiten de trainingsdataset vallen. Dit bevestigt het sterke generalisatievermogen van het model.
• Kwantitatief/Prestaties: De auteurs rapporteren dat hun ongekwantiseerde modelgewichten 294MB op de schijf innemen. De aanpak comprimeert $4096 \times 4096$ texturensets succesvol naar een neurale representatie (BCF1-formaat) die in real-time gedecodeerd kan worden.
• Generalisatie: Het systeem produceert kwalitatief hoogwaardige resultaten voor texturensets die niet in de trainingsdata aanwezig waren, wat valideert dat het hypernetwerk een generaliseerbare mapping leert in plaats van te overfitten op specifieke assets.

Betekenis

Het artikel stelt dat deze aanpak een belangrijke stap voorwaarts is om neurale textuurcompressie praktisch bruikbaar te maken voor real-time toepassingen. Door de computationele last te verschuiven van een per-materiaal optimalisatiefase (die traag en niet-schaalbaar is) naar een eenmalige training van een hypernetwerk, maakt deze methode de snelle generatie van gecomprimeerde neurale materialen mogelijk. Bovendien benadrukt het vermogen om dezelfde architectuur te hergebruiken voor super-resolutie en scenario's met gedeelde decoders de flexibiliteit van de hypernetwerk-aanpak bij het aanpakken van diverse uitdagingen binnen materiaalrepresentatie en rendering.