Technische Samenvatting: Dynamische Inverse Rendering voor Verbeterde Materiaal-Licht Decompositie

Probleemstelling

Inverse rendering beoogt de uitgaande oppervlakte-radiantie te deconstrueren in intrinsieke materiaaleigenschappen (albedo, ruwheid) en illuminatie. Deze taak is ernstig onderbepaald omdat meerdere combinaties van materialen en verlichting dezelfde geobserveerde kleur kunnen produceren. Traditioneel wordt deze ambiguïteit opgelost door statische objecten onder meerdere lichtcondities vast te leggen of door te vertrouwen op handmatige of op data gebaseerde priors. Deze benaderingen vereisen echter vaak geavanceerde lichtopstellingen, uitgebreide trainingsprocedures op beperkte 3D-data, of specifieke aannames over de scène.

De auteurs stellen dat de ambiguïteit die inherent is aan statische multiview-opnames—waarbij albedo en verlichting vaak verstrengeld raken—effectiever kan worden opgelost door een object te observeren dat een significante rigide beweging ondergaat. Terwijl statische opnames diverse gezichtspunten bieden, missen ze vaak diverse licht-oppervlakte-interacties als de illuminatie constant is. Daarentegen biedt een handmatige opname-instelling, waarbij een gebruiker een object voor een statische camera roteert, een enkele RGB-video met diverse oppervlakte-licht-interacties onder een enkele far-field lichtrepresentatie. Deze door beweging geïnduceerde diversiteit biedt sterkere beperkingen voor het ontwarren van materiaal en licht zonder complexe multi-light opstellingen of massale datasets te vereisen.

Methodologie

Het paper stelt een driestaps pijplijn voor die object tracking, 3D-reconstructie en inverse rendering integreert voor algemene rigide bewegende objecten. De aanpak vermijdt gezamenlijke optimalisatie van alle parameters vanaf het begin om convergentie naar suboptimale lokale minima te voorkomen.

Fase 1: Progressieve Pose en Geometrie Schatting

De eerste fase richt zich op het verkrijgen van grove geometrie en initiële object-poses.

• Representatie: De auteurs maken gebruik van de Neural SDF (NeuS) representatie [53], waarbij ze profiteren van de regularisatie-eigenschappen en unit sphere initialisatie om de oppervlakte-integriteit te behouden onder schaarse observaties.
• Optimalisatie: Een progressief sequentieel optimalisatieschema wordt toegepast. Het systeem leert geometrie op een grof niveau om pose-overfitting aan hoogfrequente ruis te voorkomen.
• Tracking: Object-poses worden frame-voor-frame geschat met behulp van een per-frame pose MLP. Om de onbekende camera/object pose te hanteren, gebruikt het systeem 2D feature-correspondenties van state-of-the-art matchers (bijv. [10, 31]) om cross-frame consistentie af te dwingen, wat cruciaal is voor textuurloze of spiegelende handmatige objecten.
• Virtuele Camera: Een virtueel camerasysteem centreert het object in elke afbeelding met behulp van 2D maskers, waardoor het aantal vrijheidsgraden wordt verminderd om optimalisatie voor ruizige real-world sequenties te vergemakkelijken.

Fase 2: Globale Pose en Geometrie Verfijning

Zodra de initiële schattingen zijn verkregen, schakelt de pijplijn over naar een fijnere representatie om gedetailleerde geometrie vast te leggen.

• Representatie: De methode introduceert 3 3D Gaussians [29] geïntegreerd met een SDF (DiscretizedSDF [65]). Deze hybride representatie legt fijne details vast terwijl de geometrie wordt gestabiliseerd, met name voor glanzende objecten.
• Verfijning: Een globale MLP met per-pose embeddings verfijnt de poses die in Fase 1 zijn geschat. De Gaussians worden getransformeerd volgens de object-pose, en hun normalen worden afgeleid van de rotatieas die overeenkomt met de kleinste schaal.
• Optimalisatie: Het systeem optimaliseert globaal de geometrie en alle object-poses met behulp van een loss-functie die fotometrische loss, normaal-regularisatie, variantie-beperkingen en rang-beperkingen bevat om schijfvormige Gaussians te garanderen. Adaptieve dichtheidscontrole (van FastGS [43]) wordt gebruikt om de efficiëntie te handhaven.

Fase 3: Dynamische Inverse Rendering

In de laatste fase worden materiaaleigenschappen toegevoegd aan de 3D Gaussians om fysisch gebaseerde inverse rendering uit te voeren.

• Materiaalmodel: De Bidirectional Reflectance Distribution Function (BRDF) wordt geparametriseerd met een diffuse term (Lambertian) en een speculaire term (GGX microfacet model). Ruimtelijk variërende albedo en ruwheid worden opgeslagen op de hoeken van de Gaussian-vlakken en geïnterpoleerd op intersectiepunten.
• Illuminatie & Zichtbaarheid: De omgeving wordt gemodelleerd als een verre lichtbron (environment map). Om zelf-occlusie en globale illuminatie te behandelen, maakt de pijplijn gebruik van efficiënte Gaussian ray tracing [38]. Secundaire stralen worden getraceerd om zichtbaarheid en benaderde indirecte illuminatie te bepalen.
• Optimalisatie: Het systeem optimaliseert gezamenlijk materiaalparameters, environment illuminatie, geometrie en poses met behulp van een deferred shading aanpak. De loss bevat gladheid-beperkingen op de environment en materiaal maps.
• Relighting: Voor relighting gebruikt de methode BRDF- en lighting-gebaseerde importance sampling en de split-sum benadering [28] om één-bounce indirecte radiance te berekenen, wat zorgt voor high-fidelity relighting.

Belangrijkste Bijdragen

1. Beweging als Beperking: Het paper valideert empirisch dat het observeren van een object onder significante beweging sterkere beperkingen biedt voor de materiaal-licht decompositie dan statische capture, zelfs wanneer een eenvoudige far-field lichtrepresentatie wordt gebruikt.
2. 4D Inverse Rendering Framework: Er wordt een nieuwe pijplijn voorgesteld die object pose tracking en oppervlakte-materiaal schatting verenigt voor algemene rigide bewegende objecten, gebruikmakend van een progressie van Neural SDFs naar 3D Gaussians.
3. Synthetische Dataset: De auteurs introduceren een synthetische dataset van veelvoorkomende huishoudelijke objecten met ground-truth materialen en relit views. Deze dataset maakt gecontroleerde evaluatie mogelijk over drie capture-settings: statische multiview, turntable, en handmatige capture.

Experimentele Resultaten

De methode werd geëvalueerd op zowel synthetische data als real-world hand-held video-sequenties.

• Synthetische Evaluatie: Kwantitatieve resultaten (PSNR, SSIM, LPIPS, MAE) tonen aan dat de handmatige setting de statische en turntable settings aanzienlijk overtreft. Opvallend genoeg presteerde de handmatige setting met geschatte poses beter dan de statische setting met ground-truth poses, wat de kracht van de door beweging geïnduceerde beperkingen benadrukt. De verbetering was bijzonder uitgesproken voor diffuse objecten waar de materiaal-licht ambiguïteit het hoogst is.
• Real-World Prestaties: Kwalitatieve resultaten op echte hand-held video's laten zien dat de methode schonere albedo maps en meer plausibele relighting produceert vergeleken met statische multiview captures, die vaak schaduwen in de albedo "bakken".
• Ablatie Studies: Analyse bevestigt dat de winst voortkomt uit de diversiteit van oppervlakte-licht interacties in plaats van het aantal views; een klein aantal handmatige views presteerde beter dan een groot aantal statische views. Bovendien behoudt de methode de albedo kwaliteit onder complexe lichtcondities waar statische methoden degraderen.
• Benchmarking: Op de TensoIR benchmark (statische setting) is de methode competitief met bestaande baselines. In de dynamische setting presteert het beter dan aangepaste baselines zoals ReCap, SVG-IR, en IRGS.

Betekenis en Claims

Het paper claimt dat het benutten van de natuurlijke diversiteit van oppervlakte-licht interacties, geïnduceerd door rigide objectbeweging, een levensvatbare en effectieve strategie is om de langdurige materiaal-licht ambiguïteit in inverse rendering op te lossen. Door geen extra lichtbronnen of complexe geleerde priors nodig te hebben, bereikt de voorgestelde methode robuuste decompositie in de uitdagende hand-held capture setting. De auteurs suggereren dat deze aanpak hoogwaardige relighting en augmented reality toepassingen mogelijk maakt met standaard monoculaire video van handmatige objecten.

Door de auteurs geïdentificeerde toekomstige werkrichtingen omvatten het modelleren van hand-occlusies, het afhandelen van complexe near-field lichtinteracties, en het uitbreiden van de pijplijn naar niet-rigide objecten.