Sintesi Tecnica: Compressione di Texture Neurali tramite Hypernetwork

Problema

Il Rendering Basato su Fisica (PBR) si affida a molteplici mappe di texture (ad esempio, diffusiva, normale, rugosità) per simulare interazioni realistiche dei materiali. Queste mappe consumano una quantità significativa di memoria e larghezza di banda, particolarmente nelle applicazioni in tempo reale come i videogiochi. Sebbene i recenti metodi di compressione di texture neurali (NTC) abbiano dimostrato la capacità di apprendere rappresentazioni compatte per ogni materiale utilizzando Multi-Layer Perceptrons (MLP) e texture latenti, essi soffrono di un collo di bottiglia critico: il tempo di ottimizzazione. Gli approcci esistenti richiedono un processo di ottimizzazione separato e computazionalmente costoso tramite discesa del gradiente per ogni singolo materiale, al fine di trovare le caratteristiche latenti e i pesi dell'MLP ottimali. Questa ottimizzazione per singolo materiale è lenta e ostacola la scalabilità.

Metodologia

Il paper propone un approccio innovativo che sostituisce l'ottimizzazione per singolo materiale con una singola hypernetwork addestrata. Invece di ottimizzare i parametri per ogni set di texture individualmente, l'hypernetwork impara a mappare direttamente qualsiasi set di texture di input nella sua rappresentazione compressa.

Architettura Core

Il sistema consiste in una hypernetwork monolitica che prende in input un set di texture normalizzato $T$ e restituisce due componenti:

1. Caratteristiche Latenti ($l_0, ..., l_N$): Un insieme di texture compresse a blocchi (specificamente utilizzando la variante BCF1, che utilizza la compressione BC1).
2. Pesi del Decoder ($wb$): I pesi e i bias per un piccolo decoder MLP.

La ricostruzione viene eseguita tramite la formula:
$$\text{mlp}([l(i,j)_0, ..., l(i,j)_N]; wb) \simeq T_{i,j}$$

Design della Rete

Gli autori utilizzano un'architettura Diffusion Transformer (DiT) con meccanismi di cross-attention, strutturata in tre blocchi:

• t-Encoder: Un modulo misto di convoluzione e attenzione che riduce la scala del set di texture in input ed estrae un insieme di token globali ($t$). Questi token rappresentano le caratteristiche globali del materiale.
• Blocchi DiT: L'unità di elaborazione centrale applica la cross-attention tra i token d'immagine (derivati da blocchi di texel $4\times4$ dell'input) e i token latenti ($t$). Ciò consente alla rete di correlare i dettagli locali della texture con le proprietà globali del materiale.
• Modulo di Conversione BC1: Lo stadio finale decodifica i token nei risultati specifici:
  • Uno strato lineare converte i token latenti nei pesi dell'MLP ($wb$).
  • Un modulo specializzato converte i token d'immagine in texture latenti BC1 ($l_i$). Questo processo comporta il reshaping dei token, l'applicazione di convoluzioni per generare 22 canali (che rappresentano gli endpoint RGB e i parametri di miscelazione) e l'applicazione di funzioni sigmoid con offset per prevenire il collasso degli endpoint durante la quantizzazione.

Strategia di Addestramento

L'hypernetwork è addestrata su un dataset di set di texture diversificati (da Polyhaven e Sketchfab) utilizzando una combinazione di norma $L_1$ e DISTS (una metrica di perdita percettiva). L'obiettivo di addestramento minimizza la differenza tra il set di texture originale e il set ricostruito dall'MLP utilizzando i pesi e le latenti predetti dall'hypernetwork. Il modello è addestrato per generalizzare tra diversi materiali senza richiedere la discesa del gradiente per singolo materiale.

Contributi Chiave

1. Hypernetwork per NTC: L'introduzione di una singola hypernetwork che restituisce sia le caratteristiche latenti che i pesi del decoder per qualsiasi dato materiale, eliminando la necessità di ottimizzazione per singolo materiale.
2. Qualità ed Efficienza: Il metodo raggiunge una qualità di compressione comparabile agli attuali compressori di texture neurali di riferimento (che si basano sulla discesa del gradiente), ma riduce significativamente il tempo necessario per generare le rappresentazioni compresse.
3. Versatilità e Riutilizzo: Il paper dimostra che la hypernetwork addestrata può essere adattata per compiti oltre la compressione standard:
   • MLP Condivisi: La rete può essere perfezionata per restituire un singolo MLP condiviso per tutti i set di texture, variando solo le texture latenti. Ciò semplifica l'esecuzione a runtime eliminando la necessità di classificazione basata su tile per omogeneizzare i workgroup.
   • Super-Risoluzione: Addestrando la rete con input scalati verso il basso ($T^l$) e target a risoluzione completa ($T^h$), l'hypernetwork impara a inferire dettagli ad alta frequenza, eseguendo efficacemente la super-risoluzione per gli SVBRDF anche quando la ground truth ad alta risoluzione non è disponibile durante l'inferenza.

Risultati

• Qualitativi: I confronti visivi mostrano che gli output decompressi preservano i dettagli ad alta frequenza (come graffi e venature del legno) e sono visivamente indistinguibili dall'input in vari scenari, inclusi i materiali visti durante l'addestramento, i materiali nel set di test e i materiali completamente esterni al dataset di addestramento. Ciò conferma le forti capacità di generalizzazione del modello.
• Quantitativi/Performance: Gli autori riportano che i pesi del modello non quantizzato occupano 294MB su disco. L'approccio comprime con successo set di texture $4096 \times 4096$ in una rappresentazione neurale (formato BCF1) che può essere decodificata in tempo reale.
• Generalizzazione: Il sistema produce risultati di alta qualità per set di texture non presenti nei dati di addestramento, convalidando il fatto che l'hypernetwork apprenda una mappatura generalizzabile piuttosto che un overfitting su asset specifici.

Significato

Il paper sostiene che questo approccio rappresenti un passo avanti significativo nel rendere pratica la compressione di texture neurali per applicazioni in tempo reale. Spostando il carico computazionale da una fase di ottimizzazione per singolo materiale (lenta e non scalabile) all'addestramento una tantum di un'hypernetwork, il metodo consente la rapida generazione di materiali neurali compressi. Inoltre, la capacità di riutilizzare la stessa architettura per la super-risoluzione e per scenari con decoder condiviso evidenzia la flessibilità dell'approccio hypernetwork nel rispondere a diverse sfide nella rappresentazione e nel rendering dei materiali.