Résumé technique : Rendu inverse dynamique pour une décomposition améliore de la matière et de l'éclairage

Énoncé du problème

Le rendu inverse vise à décomposer la luminance sortante d'une surface en propriétés matérielles intrinsèques (albédo, rugosité) et en éclairage. Cette tâche est sévèrement mal posée car de multiples combinaisons de matériaux et d'éclairages peuvent produire la même couleur observée. Traditionnellement, cette ambiguïté est résolue en capturant des objets statiques sous plusieurs conditions d'éclairage ou en s'appuyant sur des priors artisanaux ou fondés sur les données. Cependant, ces approches nécessitent souvent des configurations d'éclairage sophistiquées, des procédures d'entraînement prolongées sur des données 3D limitées, ou des hypothèses spécifiques sur la scène.

Les auteurs postulent que l'ambiguïté inhérente aux captures multivues statiques — où l'albédo et l'éclairage sont souvent entremêlés — peut être résolue plus efficacement en observant un objet subissant un mouvement rigide significatif. Tandis que les captures statiques offrent des points de vue diversifiés, elles manquent souvent de la diversité des interactions lumière-surface si l'illumination est fixe. À l'inverse, un cadre de capture à la main, où un utilisateur fait pivoter un objet devant une caméra statique, fournit une vidéo RGB unique avec des interactions surface-lumière diversifiées sous une représentation de lumière de champ lointain unique. Cette diversité induite par le mouvement offre des contraintes plus fortes pour dissocier le matériau et l'éclairage sans nécessiter de configurations d'éclairage complexes ou de jeux de données massifs.

Méthodologie

Le document propose un pipeline en trois étapes qui intègre le suivi d'objets, la reconstruction 3D et le rendu inverse pour des objets rigides en mouvement général. L'approche évite l'optimisation conjointe de tous les paramètres dès le début afin d'empêcher la convergence vers des minima locaux sous-optimaux.

Étape 1 : Estimation progressive de la pose et de la géométrie

La première étape se concentre sur l'obtention d'une géométrie grossière et des poses initiales de l'objet.

• Représentation : Les auteurs utilisent la représentation Neural SDF (NeuS) [53], tirant parti de ses propriétés de régularisation et de son initialisation sur sphère unité pour maintenir l'intégrité de la surface sous des observations éparses.
• Optimisation : Un schéma d'optimisation séquentielle progressive est employé. Le système apprend la géométrie à un niveau grossier pour éviter que la pose ne subisse un surapprentissage (overfitting) au bruit haute fréquence.
• Suivi : Les poses de l'objet sont estimées image par image à l'aide d'un MLP de pose par trame. Pour gérer la pose inconnue de la caméra/de l'objet, le système utilise des correspondances de caractéristiques 2D provenant de comparateurs de pointe (ex. [10, 31]) pour imposer une cohérence inter-trames, ce qui est crucial pour les objets tenus à la main qui sont sans texture ou spéculaires.
• Caméra virtuelle : Un système de caméra virtuelle centre l'objet dans chaque image en utilisant des masques 2D, réduisant ainsi les degrés de liberté pour faciliter l'optimisation sur des séquences réelles bruitées.

Étape 2 : Raffinement global de la pose et de la géométrie

Une fois les estimations initiales obtenues, le pipeline passe à une représentation plus fine pour capturer la géométrie détaillée.

• Représentation : La méthode introduit des Gaussiennes 3D [29] intégrées à une SDF (DiscretizedSDF [65]). Cette représentation hybride capture les détails fins tout en stabilisant la géométrie, particulièrement pour les objets brillants.
• Raffinement : Un MLP global avec des plongements (embeddings) par pose affine les poses estimées à l'étape 1. Les Gaussiennes sont transformées selon la pose de l'objet, et leurs normales sont dérivées de l'axe de rotation correspondant à la plus petite échelle.
• Optimisation : Le système optimise globalement la géométrie et toutes les poses de l'objet en utilisant une fonction de perte qui inclut la perte photométrique, la régularisation des normales, les contraintes de variance et les contraintes de rang pour garantir des Gaussiennes de type disque. Un contrôle adaptatif de la densité (issu de FastGS [43]) est utilisé pour maintenir l'efficacité.

Étape 3 : Rendu inverse dynamique

Dans l'étape finale, les propriétés matérielles sont ajoutées aux Gaussiennes 3D pour effectuer un rendu inverse basé sur la physique.

• Modèle de matériau : La fonction de distribution de réflectance bidirectionnelle (BRDF) est paramétrée avec un terme diffus (Lambertien) et un terme spéculaire (modèle de microfacettes GGX). L'albédo et la rugosité variant spatialement sont stockés aux coins des plans gaussiens et interpolés aux points d'intersection.
• Éclairage et visibilité : L'environnement est modélisé comme une source de lumière lointaine (carte d'environnement). Pour gérer les auto-occlusions et l'illumination globale, le pipeline emploie un lancer de rayons gaussien efficace [38]. Des rayons secondaires sont tracés pour déterminer la visibilité et approximer l'illumination indirecte.
• Optimisation : Le système optimise conjointement les paramètres de matériau, l'illumination de l'environnement, la géométrie et les poses en utilisant une approche de shading différé (deferred shading). La perte inclut des contraintes de lissage sur les cartes de l'environnement et des matériaux.
• Rééclairage : Pour le rééclairage, la méthode utilise l'échantillonnage préférentiel (importance sampling) basé sur la BRDF et l'éclairage ainsi que l'approximation de la somme divisée (split-sum approximation) [28] pour calculer la radiance indirecte à un rebond, garantissant un rééclairage de haute fidélité.

Contributions clés

1. Le mouvement comme contrainte : Le papier valide empiriquement que l'observation d'un objet sous un mouvement significatif fournit des contraintes plus fortes pour la décomposition matériau-éclairage que la capture statique, même en utilisant une simple représentation de lumière de champ lointain.
2. Cadre de rendu inverse 4D : Un nouveau pipeline est proposé qui unifie le suivi de la pose de l'objet et l'estimation du matériau de surface pour des objets rigides en mouvement général, en utilisant une progression des SDF neuronales vers les Gaussiennes 3D.
3. Jeu de données synthétique : Les auteurs introduisent un jeu de données synthétique d'objets domestiques courants avec des matériaux de vérité terrain et des vues rééclairées. Ce jeu de données permet une évaluation contrôlée à travers trois contextes de capture : multivue statique, plateau tournant et capture à la main.

Résultats expérimentaux

La méthode a été évaluée sur des données synthétiques et des séquences réelles d'objets tenus à la main.

• Évaluation synthétique : Les résultats quantitatifs (PSAN, SSIM, LPIPS, MAE) démontrent que le cadre de capture à la main surpasse significativement les réglages statiques et de plateau tournant. Notamment, le réglage à la main avec des poses estimées a surpassé le réglage statique avec des poses de vérité terrain, soulignant la force des contraintes induites par le mouvement. L'amélioration était particulièrement prononcée pour les objets diffus où l'ambiguïté matériau-éclairage est la plus élevée.
• Performance en conditions réelles : Les résultats qualitatifs sur des vidéos réelles d'objets tenus à la main montrent que la méthode produit des cartes d'albédo plus propres et un rééclairage plus plausible par rapport aux captures multivues statiques, qui intègrent souvent des ombres dans l'albédo.
• Études d'ablation : L'analyse confirme que les gains sont dus à la diversité des interactions surface-lumière plutôt qu'au nombre de vues ; un petit nombre de vues à la main a surpassé un grand nombre de vues statiques. De plus, la méthode maintient la qualité de l'albédo sous des conditions d'éclairage complexes là où les méthodes statiques se dégradent.
• Benchmarking : Sur le benchmark TensoIR (cadre statique), la méthode est compétitive avec les bases existantes. Dans le cadre dynamique, elle surpasse les bases adaptées comme ReCap, SVG-IR et IRGS.

Signification et affirmations

Le papier affirme que l'exploitation de la diversité naturelle des interactions surface-lumière induite par le mouvement rigide d'un objet est une stratégie viable et efficace pour résoudre l'ambiguïté de longue date entre matériau et éclairage dans le rendu inverse. En évitant le besoin de sources de lumière supplémentaires ou de priors appris complexes, la méthode proposée parvient à une décomposition robuste dans le cadre difficile de la capture à la main. Les auteurs suggèrent que cette approche permet un rééclairage de haute qualité et des applications de réalité augmentée utilisant de simples vidéos monoculaires d'objets tenus à la main.

Les directions de travaux futurs identifiées par les auteurs incluent la modélisation des occlusions manuelles, la gestion des interactions de lumière de champ proche complexes et l'extension du pipeline aux objets non rigides.