8DNA: 8D Neural Asset Light Transport by Distribution Learning

1. Probleemstelling

Realistische 3D-objecten vertonen vaak complexe globale verlichtingseffecten (GI) zoals subsurface scattering, glanzende interreflexies en scattering op microscopisch niveau van vezels. Het simuleren van deze effecten met standaard Monte Carlo path tracing (PT) is rekenkundig duur vanwege lange lichtpaden en hoge variantie.

Bestaande neurale benaderingen proberen lichttransport te "voorbakken" in neurale representaties om rendering te versnellen. Deze methoden stuiten echter op twee kritieke beperkingen:

1. Dimensiereductie: De meeste eerdere werken (bijv. Mullia et al., Tg et al.) gaan uit van ver-veldverlichting, waardoor de lichttransportfunctie wordt gereduceerd tot een 6D-functie (afhankelijk alleen van uitgaande positie/richting en inkomende richting). Deze benadering faalt onder dichtbijzijnde verlichting (bijv. area lights dicht bij het object), wat leidt tot onnauwkeurige occlusie en shading.
2. Trainingsinstabiliteit: Het trainen van een volledige 8D-lichttransportfunctie (afhankelijk van uitgaande positie/richting $x_o, \omega_o$ en inkomende positie/richting $x_i, \omega_i$) via standaard regressie (minimaliseren van MSE tegen de ground truth) is extreem moeilijk. Dit vereist enorme steekproefbudgetten om de ground truth te schatten voor interacties met hoge variantie en sterk spiegelend gedrag, wat resulteert in trage convergentie en slechte nauwkeurigheid.

2. Methodologie: 8D Neural Asset (8DNA)

De auteurs stellen 8DNA voor, een neurale representatie die de volledige 8D lichttransportverdeling leert met behulp van een verdelingsleerframework in plaats van directe regressie.

A. Wiskundige Formulering

De lichttransportfunctie $F(x_o, \omega_o, x_i, \omega_i)$ wordt ontleed in twee componenten:

1. Albedo (Overlevingswaarschijnlijkheid) $\alpha(x_o, \omega_o)$: De totale energie die het object verlaat voor een gegeven uitgaande richting.
2. Scatteringverdeling $p(x_i, \omega_i | x_o, \omega_o)$: Een conditionele waarschijnlijkheidsverdeling die beschrijft waar en uit welke richting licht het object binnenkomt.

$$F = \alpha \cdot p$$

B. Verdelingsleer Framework

In plaats van $F$ direct te regresseren, leert het model $p$ en $\alpha$ apart met behulp van voorwaarts gepathtraceerde steekproeven:

• Scatteringverdeling ($p$): Gemodelleerd met een Vector-valued Normalizing Flow. Het model leert de kansdichtheid van inkomend licht $(x_i, \omega_i)$ te voorspellen gegeven een uitgaande straal $(x_o, \omega_o)$.
  • Input Reparameterisatie: Om om te gaan met het niet-Euclidische karakter van oppervlakpunten en richtingen, worden inkomende stralen getraceerd naar een as-gealigneerde omhullende doos (of convex hull) om een geldige Euclidische parameterisatie te creëren.
  • Architectuur: Een autoregressive flow met Rational Quadratic Splines (RQS), geïmplementeerd via MLP's.
• Albedo ($\alpha$): Gemodelleerd als een standaard MLP die de totale doorvoer (overlevingswaarschijnlijkheid) voorspelt.
• Trainingsdoel:
  • Verdelingsverlies: Minimaliseert de negatieve log-likelihood van de path-traceerde steekproeven onder de geleerde verdeling $p$. Dit komt overeen met het renderen van het object met $-\log p$ als inkomend licht.
  • Albedo-verlies: Minimaliseert het L2-verschil tussen de voorspelde $\alpha$ en het empirische gemiddelde van de doorvoer van de path-steekproeven.
  • Kernvoordeel: In tegenstelling tot regressie zijn de gradienten voor dit verlies laag-variatie omdat ze direct worden geschat vanuit de path-steekproeven (importance sampling), waardoor duizenden steekproeven per query nodig zijn om de ground truth te schatten.

C. Direct-Indirect Scheiding

Om sterk spiegelende grenzen (bijv. glas) te hanteren, scheidt de methode directe scattering (analytisch afgehandeld via de BSDF) van indirecte scattering (geleerd door het neurale netwerk). Dit voorkomt dat het netwerk worstelt met het leren van scherpe delta-achtige functies, waardoor het zijn capaciteit richt op complexe volumetrische en inter-reflexie-effecten.

D. Inference (Rendering)

Tijdens rendering wordt het model geïntegreerd in een path tracer:

1. Steek een inkomende locatie $u_i$ op de omhullende doos uit met de geleerde flow $p$.
2. Gebruik Multiple Importance Sampling (MIS) om de steekproeven van het neurale object te combineren met standaard emitter-steekproeven.
3. Als directe scattering is gescheiden, kies stochastisch tussen het afnemen van de directe BSDF-lobe of het neurale object voor de volgende bounce.

3. Belangrijkste Bijdragen

1. Volledige 8D Lichttransportrepresentatie: De eerste methode die succesvol de volledige 8D lichttransport (inclusief dichtbijzijnde positie $x_i$) voorbakt in een neurale asset, wat nauwkeurige rendering mogelijk maakt onder area lights en complexe dichtbijzijnde configuraties.
2. Verdelingsleer Training: Een nieuwe trainingsformulering die voorwaartse path tracing benut om de scatteringverdeling te leren. Deze aanpak bereikt lagere optimalisatievariantie en snellere convergentie dan regressie-baselines, en vereist slechts 1 steekproef per query voor training.
3. Efficiënt Voorbakken: De methode stelt objecten in staat om één keer "voor te bakken" en vervolgens in willekeurige scènes te worden gerenderd zonder de interne lichttransport opnieuw te simuleren, terwijl hoge fideliteit ten opzichte van de oorspronkelijke scatteringmodellen behouden blijft.

4. Experimentele Resultaten

De auteurs hebben 8DNA geëvalueerd op diverse objecten (bijv. Jade Seal, Dragon, Hair, Fur) tegen standaard Path Tracing (PT) en een 6D Ver-veld-baseline.

• Nauwkeurigheid: 8DNA bereikt een significant lagere Mean Squared Error (MSE) vergeleken met de Ver-veld-baseline, vooral in dichtbijzijnde scenario's waar de baseline faalt in het vastleggen van occlusie (bijv. schaduwen op de achterkant van een zegel). Het komt nauw overeen met de ground-truth PT.
• Vermindering van Variantie:
  • Bij objecten met volumetrische interieurs (bijv. Milk, Seal) vermindert 8DNA de renderingvariantie met 2x–20x ten opzichte van standaard PT bij gelijke steekproefaantallen.
  • Bij alleen oppervlakte-objecten met fijne details (bijv. Hair, Fabric) vermindert het de variantie met 1,4x–4x.
• Snelheid:
  • Inference: 8DNA is 2–20x sneller dan PT voor volumetrische objecten en 1,4–4x sneller voor fijnmazige oppervlaktescattering.
  • Training: Hoewel de evaluatie van de neurale flow trager is dan een eenvoudige MLP, maakt de online datageneratie (1 steekproef versus duizenden voor regressie-baselines) de totale trainingstijd 3x sneller voor volumetrische objecten en vergelijkbaar voor alleen oppervlakte-objecten.
• Kwalitatief: De methode reproduceert correct complexe effecten zoals subsurface scattering, glanzende interreflexies en vezelscattering die door 6D-baselines worden gemist of vervormd.

5. Betekenis en Beperkingen

Betekenis:
8DNA overbrugt de kloof tussen hoogwaardige offline rendering en real-time prestaties. Door de volledige 8D-verdeling te leren in plaats van een vereenvoudigde 6D-benadering, maakt het fysiek accurate rendering van complexe objecten mogelijk onder willekeurige dichtbijzijnde verlichting, zonder de rekenkosten van het traceren van lange lichtpaden tijdens de implementatie. Dit is cruciaal voor toepassingen zoals virtuele productie, gaming en digitale tweelingen, waarbij objecten dynamisch opnieuw moeten worden verlicht.

Beperkingen:

• Convex Hull Beperking: De methode gaat ervan uit dat het object geïsoleerd is binnen zijn convex hull. Als nieuwe geometrie de convex hull van het object in een nieuwe scène kruist, zullen de voorgebakken occlusie-effecten onjuist zijn (hoewel convexe decompositie dit kan mitigeren).
• Efficiëntie Normalizing Flow: Het evalueren van de normalizing flow is rekenkundig zwaarder dan een eenvoudige MLP, waardoor het minder ideaal is voor objecten waarbij een ver-veld-benadering al voldoende is.
• Hoogfrequente Verschijnselen: De gladheidsbias van normalizing flows kan het moeilijk maken om extreem hoogfrequente verschijnselen te reproduceren, zoals scherpe caustica of glinsteringen die op sub-manifolds van het inkomende domein liggen.