💻 computer science

Floating Radiance Networks

Floating Radiance Networks (FlaRe) introduceren een veelzijdige neurale scène-representatie die fotorealistische rendering, hardware-versnelde ray-tracing en geometrische manipulatie verenigt door expliciete, via ray-tracing traceerbare planaire primitieven te combineren met continue neurale radiantiefuncties.

Oorspronkelijke auteurs: Krzysztof Byrski, Rafał Tobiasz, Grzegorz Wilczyński, Mikołaj Zieliński, Dawid Baran, Dominik Belter, Jacek Tabor, Przemysław Spurek

Gepubliceerd 2026-08-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Krzysztof Byrski, Rafał Tobiasz, Grzegorz Wilczyński, Mikołaj Zieliński, Dawid Baran, Dominik Belter, Jacek Tabor, Przemysław Spurek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een perfecte, fotorealistische 3D-wereld binnen een computer te bouwen. Lange tijd hadden wetenschappers twee belangrijke manieren om dit te doen, en beide hadden een grote tekortkoming. De eerste manier was als het schilderen van een scène met een continue, magische mist; het zag er ongelooflijk echt uit en kon laten zien hoe licht buigt en reflecteert, maar het was zo zwaar en traag dat je er niet gemakkelijk mee kon interageren en je niet gemakkelijk een specifiek object uit de mist kon trekken om de vorm ervan te veranderen. De tweede manier was als het bouwen van de scène uit miljoenen kleine, zwevende 3D-confetti-stukjes. Dit was super snel en je kon de stukjes pakken om ze te verplaatsen, maar elk stukje kon slechts een eenvoudige, statische kleur bevatten, wat betekende dat het geen complexe details kon tonen zoals hoe een glimmende auto een zonsondergang reflecteert of hoe een glazen knikker de wereld erachter vervormt.

De grote vraag in de computergraphics is geweest: kunnen we het beste van beide werelden hebben? Kunnen we een scène bouwen die bestaat uit duidelijke, beheersbare stukken waar een computer stralen doorheen kan schieten (zoals een laserwijzer) om reflecties en schaduwen te berekenen, terwijl deze stukken nog steeds de complexe, "magische" mogelijkheid kunnen bezitten om continue, kijk-afhankelijke details te tonen? Dit doet ertoe omdat als we niet beide kunnen hebben, we ofwel uren moeten wachten op het renderen van een filmscène, of moeten genoegen nemen met een videogame die er een beetje te simpel en plat uitziet.

Maak kennis met Floating Radiance Networks, of FlaRe voor kort. De onderzoekers achter dit artikel stellen een slimme nieuwe manier voor om 3D-werelden te bouwen die dit puzzelstukje oplost. In plaats van een zware, trage mist of simpele, domme confetti, gebruiken ze "floating planar primitives". Denk aan deze als kleine, onzichtbare, platte tegels die in de 3D-ruimte zweven. Elke tegel is speciaal omdat deze een kleine, gecomprimeerde "instructiehandleiding" (een latente descriptor) in zich draagt.

Hier is de magische truc: Wanneer een lichtstraal (of een camerabeeld) een van deze zwevende tegels raakt, kiest hij niet zoma van een vooraf geschilderde kleur. In plaats daarvan neemt hij de instructiehandleiding van de tegel, de exacte plek waar de straal de tegel raakte, en de richting waarin de camera kijkt, en voert deze in een enkele, gedeelde, superintelligente decoder. Deze decoder berekent onmiddellijk de exacte kleur en transparantie voor dat specifieke moment. Het is alsof elke tegel in jouw 3D-wereld een kleine, persoonlijke kunstenaar heeft die onmiddellijk alles kan schilderen wat je wilt zien vanuit jouw specifieke hoek, in plaats van alleen maar een statische sticker te tonen.

Het artikel laat zien dat deze aanpak prachtig werkt. Omdat de tegels afzonderlijke, platte vormen zijn, kan de computer zijn hardware (de grafische kaart) gebruiken om stralen door hen heen te schieten extreem snel, precies zoals hij dat doet in moderne videogames. Dit stelt FlaRe in staat om complexe effecten aan te pakken die normaal gesproken zware rekenkracht vereisen, zoals reflecties (jezelf zien in een spiegel), brekingen (licht dat door glas buigt) en schaduwen, allemaal binnen dezelfde scène. Bovendien, omdat de tegels afzonderlijke objecten zijn, kun je ze pakken en vervormen, of zelfs uit elkaar trekken om een solide 3D-mesh (een draadmodel) van het object te extraheren.

De auteurs hebben FlaRe getest op standaard benchmarks en vonden dat het afbeeldingen van hoge kwaliteit produceert die competitief zijn met de beste bestaande methoden, maar met een veel flexibelere structuur. Ze lieten zien dat ze scènes interactief kunnen renderen, wat betekent dat je potentieel in real-time door een FlaRe-scène zou kunnen lopen. Ze bewezen ook dat je een FlaRe-scène kunt nemen, een nieuwe artistieke stijl kunt toepassen (zoals het eruit laten zien als een schilderij van Van Gogh), en dat de reflecties en schaduwen nog steeds correct werken omdat de onderliggende "instructiehandleidingen" op de tegels werden bijgewerkt, en niet alleen het uiteindelijke plaatje.

Kortom, FlaRe suggereert dat we niet hoeven te kiezen tussen een trage, prachtige neurale veld en een snelle, eenvoudige geometrische model. Door zwevende tegels een continue neurale "hersenen" en een hardware-vriendelijk lichaam te geven, hebben de onderzoekers een verenigd systeem gecreëerd dat tegelijkertijd hoogwaardige rendering, ray-tracing en geometrische bewerking kan uitvoeren. Hoewel het artikel opmerkt dat het nog steeds krachtige hardware vereist om te draaien en mogelijk moeite kan hebben met zeer grote, open buitenruimtes, slaagt het erin de kloof te overbruggen tussen neurale rendering en traditionele graphics, wat een veelzijdig nieuw hulpmiddel biedt voor het creëren van digitale werelden.

Technische Samenvatting: Floating Radiance Networks (FlaRe)

Probleemstelling

Recente vooruitgang in neurale scène-representaties heeft geleid tot fotorealistische novel-view synthese, maar er bestaat een hardnekkige afruil tussen de expressiviteit van continue neurale velden en de efficiëntie, adresseerbaarheid en graphics-compatibiliteit van expliciete geometrie.

Neural Radiance Fields (NeRFs) modelleren scènes als continue volumetrische functies, wat leidt tot een hoge visuele getrouwheid, maar lijdt onder kostbare dichte ray marching en een moeizame integratie met conventionele graphics-pipelines.
3D Gaussian Splatting (3DGS) maakt real-time rendering mogelijk via expliciete anisotrope primitieven en rasterisatie. Echter, de eindige per-primitief verschijningscoëfficiënten definiëren geen continue ruimtelijke radiantie-functie over het voetprint van elke primitief, wat de mogelijkheid beperkt om complexe view-afhankelijke effecten zoals reflecties en brekingen te modelleren zonder gespecialiseerde uitbreidingen.
Bestaande Hybride Methoden combineren vaak neurale kenmerken met expliciete structuren, maar blijven gebonden aan specifieke renderingsprocedures, aggregeren kenmerken over scène-elementen, of vereisen taakspecifieke uitbreidingen voor bewerking, ray-tracing of geometrie-extractie.

De kernuitdaging is het combineren van lokale continue radiantie met onafhankelijk adresseerbare, ray-traceable geometrie om een verenigd scenemodel te creëren dat neurale rendering en conventionele graphics overbrugt.

Methodologie: Floating Radiance Networks (FlaRe)

FlaRe introduceert een neurale scène-representatie gebouwd uit floating planar generalized Gaussian primitives, waarbij elke primitief een compacte lokale neurale radiantie-functie draagt.

1. Scène-representatie

De scène wordt gerepresenteerd door een set van $N$ anisotrope planaire generalized Gaussian primitieven. Elke primitief $i$ wordt geparametriseerd door:

Geometrische Attributen: Een trainbare centrum $\mu_i$ , een singuliere covariantie-matrix $\Sigma_i$ (afgeleid van rotatie-quaternion $q_i$ en schaal $s_i$ ), en een vormparameter $\kappa_i$ .
Verschijnings-attributen: Een view-onafhankelijke constante kleur $c_{const,i}$ , een constante opaciteit $\alpha_{const,i}$ , en een trainbare latente descriptor $z_i \in \mathbb{R}^{96}$ .
Kernel: De opaciteit wordt gemoduleerd door een Isotropic Planar Generalized Gaussian Kernel, gedefinieerd als:
$N(\mu, \Sigma, \kappa)(u, v) = \exp\left(-\frac{(u^2 + v^2)^\kappa}{2^\kappa}\right)$
Deze formulering staat scherpere grenzen en hoog-gekromde oppervlakken toe vergeleken met klassieke Gaussian kernels. Cruciaal is dat de isotrope aard van de kernel in genormaliseerde coördinaten het gebruik van een enkele canonieke polygoon voor alle primitieven mogelijk maakt, ongeacht de vormparameter $\kappa$ , wat hardware-geaccelereerde intersectietests vereenvoudigt.

2. Gedeelde Global Auto-Decoder

In tegenstelling tot methoden die statische per-primitief kleuren opslaan, voorspelt FlaRe ruimtelijk variërende en view-afhankelijke kleur en opaciteit met behulp van een gedeelde lichtgewicht auto-decoder MLP.

Input: De decoder neemt de per-primitief latente descriptor $z_i$ , lokale oppervlaktecoördinaten $(u, v)$ en de kijkrichting $\vec{d}$ als input.
Encoding:
- LUT-Encoding: Lokale coördinaten $(u, v)$ worden gemapt met behulp van een collision-vrije, multiresolutie Lookup Table (LUT) encoding. Dit vervangt high-dimensional hash-grid lookups door een directe, één-op-één mapping, wat overhead vermindert terwijl de functionele equivalentie aan hash-gebaseerde encodings behouden blijft.
- Positional Encoding: De kijkrichting wordt gecodeerd via standaard positional encoding.
Output: Het netwerk voorspelt $c_{MLP,i}$ (kleur) en $\alpha_{MLP,i}$ (opaciteit).
Architectuur: Een lichtgewicht netwerk met twee verborgen lagen (Hardswish activatie) en een outputlaag die vertakt in vier kanalen (drie ReLU, één Sigmoid).

3. Rendering en Ray-Tracing

FlaRe is ontworpen voor hardware-geaccelereerde ray-tracing:

Intersectie: Rays intersecteren met de canonieke polygoon-proxies van de primitieven met behulp van standaard GPU ray-triangle intersectie.
Compositing: Voor elke ray worden geordende intersecties verzameld. De uiteindelijke pixelkleur wordt berekend via alpha compositing:
$c = \sum_{i=1}^{|G(r)|} c_{const,i} c_{MLP,i} \alpha_i \prod_{j<i} (1 - \alpha_j)$
waarbij de effectieve opaciteit $\alpha_i$ wordt gemoduleerd door de waarde van de generalized Gaussian kernel.
Recursieve Mogelijkheden: Omdat de representatie expliciet ray-traceable is, ondersteunt het van nature secundaire rays voor reflecties, brekingen, transparantie en schaduwen zonder hertraining of conversie naar een ander formaat.

4. Bewerking en Manipulatie

Geometrie Bewerking: Primitieven zijn individueel adresseerbaar. Het vervormen van de proxy mesh maakt directe geometrische manipulatie mogelijk. Het systeem herstelt bijgewerkte Gaussian parameters (centrum, rotatie, schaal) uit de vervormde geometrie zonder hertraining.
Mesh Extractie: De expliciete planaire structuur ondersteunt mesh extractie via TSDF (Truncated Signed Distance Field) fusie, ondersteund door depth-distortion en normal-consistency regularizers.
Stylisatie: Verschijningsbewerking wordt uitgevoerd direct in de geleerde descriptor ruimte ( $z_i$ ), wat image-guided style transfer mogelijk maakt die de scène-structuur behoudt.

Belangrijkste Bijdragen

Verenigde Representatie: Introductie van Floating Radiance Networks, die expliciete ray-traceable planaire primitieven combineert met continue lokale neurale radiantie-functies.
Compacte Formulering: Een ontwerp dat per-primitief latente descriptors, een gedeelde auto-decoder, collision-vrije multiresolutie LUT-Encoding en hardware-compatibele mesh proxies integreert.
Veelzijdige Mogelijkheden: Demonstratie van recursieve ray-tracing, primitief vervorming, mesh extractie, verschijnings-stylisatie en reconstructie onder beperkte primitief-budgetten, alles binnen één enkele representatie.

Experimentele Resultaten

Experimenten werden uitgevoerd op standaard benchmarks (Mip-NeRF 360, Tanks and Temples, Deep Blending) en vergeleken met Radiance Fields (RF), Gaussian-gebaseerde methoden (GS) en Explicit Neural Fields (ENF).

Novel-View Synthese: FlaRe bereikt competitieve kwaliteit en presteert vaak beter dan 3DGS, 3DGRT en andere ENF-baselines in PSNR. Op Mip-NeRF 360 behaalt het de op één na hoogste PSNR overall. Op Deep Blending leidt het de ENF-groep.
Efficiëntie: Flaere biedt een sterke kwaliteit-efficiëntie afruil. Het overtreft IRIS in kwaliteit terwijl het aanzienlijk minder geheugen gebruikt en interactieve rendering mogelijk maakt. Het verbetert ten opzichte van Radiance Meshes op beide benchmarks met ongeveer 12 $\times$ minder geheugengebruik.
Visuele Getrouwheid: Kwalitatieve resultaten laten zien dat FlaRe reflecties en speculaire highlights getrouwer reconstrueert dan 3DGS en Radiance Meshes, wat wordt toegeschreven aan de continue voorspelling van radiantie bij elke ray-primitief intersectie.
Primitief Reductie: Onder agressieve primitief reductie-budgetten evenaart of overtreft FlaRe baselines zoals PUP-3DGS en LP-3DGS, wat aangeeft dat de lokale neurale descriptors een sterke verschijningscapaciteit behouden, zelfs met minder primitieven.
Graphics Mogelijkheden: De methode demonstreert succesvol recursieve ray-tracing (geneste reflecties, brekingen), naadloze integratie met conventionele meshes, en directe mesh extractie.

Betekenis en Claims

Het artikel positioneert FlaRe als een stap naar verenigde scène-representaties die niet gespecialiseerd hoeven te zijn voor één specifieke rendering-paradigma. Door high-fidelity neurale rendering, recursieve ray-tracing, geometrische manipulatie en verschijningsbewerking in één enkel model te brengen, adresseert FlaRe de fragmentatie in huidig onderzoek naar neurale scène-representaties.

De auteurs claimen dat deze aanpak de kloof tussen neurale rendering en conventionele graphics overbrugt, waardoor het volgende mogelijk wordt:

Directe Ray Queries: De representatie zelf is direct querybaar, wat de noodzaak voor aparte taakspecifieke scenemodellen voor effecten zoals reflecties of schaduwen elimineert.
Bewerkbaarheid: De expliciete structuur maakt directe vervorming en mesh extractie mogelijk zonder hertraining.
Compactheid: Het gebruik van gedeelde decoders en compacte descriptors maakt hoogwaardige reconstructie mogelijk met een kleinere set primitieven vergeleken met puur gerasterde of volumetrische benaderingen.

Het artikel erkent beperkingen, waarbij wordt opgemerkt dat de eindige set planaire primitieven de geometrische nauwkeurigheid op grote afstand in grote, onbegrensde buitenomgevingen kan beperken, en dat training en interactieve rendering moderne GPU's met hardware-geaccelereerde ray-tracing vereisen.