Résumé Technique : LightCrafter

Énoncé du Problème

Le rééclairage vidéo nécessite de modifier l'apparence d'une scène tout en préservant le contenu, la géométrie, les matériaux et le mouvement, le tout en maintenant une cohérence temporelle et une consistance physique. Les approches existantes se divisent généralement en deux paradigmes, qui font tous deux face à des limitations significatives :

1. Rendu Inverse + Rendu Direct (Forward Rendering) : Ces méthodes reconstruisent explicitement les propriétés intrinsèques de la scène (géométrie, matériaux, illumination) et les re-rendent sous un nouvel éclairage. Bien qu'elles offrent un contrôle précis et une cohérence temporelle, elles souffrent de reconstructions bruitées dues à la nature mal posée du rendu inverse monoculaire. Les erreurs d'estimation de la géométrie ou des matériaux se propagent directement au résultat, et elles peinent à modéliser des effets complexes comme l'illumination globale.
2. Traduction Vidéo-vers-Vidéo Générative : Ces méthodes considèrent le rééclairage comme une tâche générative conditionnée par une illumination cible (par exemple, des cartes d'environnement ou du texte). Bien qu'elles exploitent de puissants a priori de diffusion pour le photoréalisme, elles manquent souvent de contrôle précis sur les ombres et l'ombrage, peinent à maintenir une cohérence temporelle sur le long terme en raison de fenêtres de contexte limitées, et sont entravées par la rareté des données d'entraînement appariées du monde réel.

Méthodologie

Les auteurs proposent LightCrafter, un pipeline hybride qui reformule le rééclairage vidéo comme une tâche de raffinement vidéo conditionnée par la PBR (Physically-Based Rendering). Au lieu de traduire directement une vidéo d'entrée vers une cible rééclairée, la méthode traduit une vidéo proxy PBR (rendue sous l'illumination cible) en une sortie photoréaliste.

Le pipeline opère en trois étapes principales :

1. Rendu Inverse (Récupération de Scène)

Étant donné une vidéo d'entrée monoculaire, le système récupère les intrinsèques de la scène en utilisant des méthodes prêtes à l'emploi :

• Géométrie et Caméra : Des cartes de profondeur et des paramètres de caméra sont extraits (via MegaSAM, par exemple) pour construire des maillages alignés par pixel dans les coordonnées du monde.
• Matériaux : L'albédo, les cartes de normales et les paramètres BRDF (rugosité, métallicité) sont extraits (via DiffusionRenderer, par exemple).
• Illumination Source : Une carte d'environnement est estimée et affinée via un rendu différentiable pour correspondre à la vidéo d'entrée.
  Cela produit un état de scène récupéré $S$ et une estimation de l'illumination source.

2. Rendu Direct (Génération du Proxy PBR)

En utilisant les intrinsèques récupérés $S$ et une illumination cible $L_{target}$ spécifiée par l'utilisateur, un moteur de rendu physiquement basé génère une vidéo proxy $P$.

• Le moteur résout l'équation de rendu en utilisant un lobe diffus de Lambert et un lobe spéculaire isotrope (modèle de microfacettes Cook-Torrance).
• Parce que le rendu est déterministe et ancré dans la géométrie récupérée, le proxy $P$ résultant est aligné par image et temporellement cohérent par construction.
• Crucialement, le proxy capture la plupart des changements d'éclairage structurés (ombres, ombrage, reflets) mais conserve les artefacts provenant d'un rendu inverse imparfait (ex: scintillements, ombres dentelées, trous de disocclusion).

3. Raffinement par Diffusion Conditionnée par la PBR

Un modèle de diffusion vidéo (initialisé à partir de CogVideoX-5B) est affiné pour transformer le proxy PBR bruité $P$ en une vidéo rééclairée photoréaliste.

• Objectif d'Entraînement : Le modèle apprend à prédire le bruit ajouté à la vidéo rééclairée de vérité terrain, conditionné par la représentation latente du proxy PBR.
• Correspondance d'Artefacts : Pour remédier au décalage entre entraînement et test, les données d'entraînement sont organisées de sorte que les proxies PBR contiennent les mêmes types d'artefacts (bruit, erreurs de géométrie) que ceux rencontrés lors de l'inférence.
• Cohérence Longue Durée : Pour gérer les vidéos plus longues que la fenêtre d'entraînement du modèle, les auteurs utilisent un tuilage temporel avec fusion de chevauchement. La vidéo est divisée en fenêtres qui se chevauchent, débruitées, puis fusionnées dans l'espace de prédiction du bruit en utilisant des poids de tent temporel. Cela garantit une trajectoire de débruitage unique et cohérente, évitant la dérive de l'éclairage entre les limites des segments.

Stratégie de Curation de Données

Les auteurs introduisent un nouveau pipeline de curation de données pour combler l'écart entre les données synthétiques et réelles :

• Paires Synthétiques : Des vidéos de vérité terrain sont rendues, puis soumises à un rendu inverse et un re-rendu pour créer des paires de (PBR Bruité, Vérité Terrain). Cela enseigne au modèle à corriger les artefacts de reconstruction.
• Pseudo-Paires Réelles : Des vidéos réelles sont soumises à un rendu inverse et un re-rendu sous leur propre éclairage estimé. La paire (Entrée Re-rendue, Entrée Originale) enseigne au modèle à corriger les artefacts sur des apparences réelles sans nécessiter de vidéos rééclairées de vérité terrain.

Principales Contributions

1. Pipeline Hybride : Une reformulation du rééclairage vidéo comme une tâche de raffinement où un proxy PBR fournit un contrôle explicite de l'éclairage et une cohérence temporelle, tandis qu'un modèle de diffusion gère le photoréalisme et la correction d'artefacts.
2. Supériorité du Proxy PBR : Les auteurs démontrent que le rendu PBR seul surpasse souvent les méthodes de pointe de bout en bout en termes de contrôle de l'éclairage et de cohérence, validant ainsi la qualité des moteurs de rendu inverse modernes.
3. Entraînement par Correspondance d'Artefacts : Une stratégie de curation de données qui expose le modèle de diffusion à des artefacts de rendu réalistes pendant l'entraînement, améliorant considérablement la généralisation aux conditions d'inférence.
4. Cohérence Longue Durée : Un mécanisme de tuilage et de fusion temporelle qui permet un rééclairage cohérent de vidéos de longueur arbitraire sans la dérive commune au traitement par segments.
5. Édition en Aval : Le cadre supporte naturellement les tâches d'édition de scène (changement de matériau, insertion d'objets, insertion de lumière) en re-rendant simplement le proxy PBR avec des entrées modifiées, sans nécessiter de réentraînement du modèle de diffusion.

Résultats Expérimentaux

La méthode a été évaluée sur des benchmarks synthétiques et réels (MIT Multi-Illumination, DL3DV).

• Performance Quantitative : LightCrafter atteint des performances de pointe en PSNR, SSIM et LPIPS par rapport aux bases de référence comme LightX, UniRelight et DiffusionRenderer. Il surpasse significativement les bases de référence dans les métriques de cohérence temporelle (T-CLIP, Warp-SSIM).
• Résultats Qualitatifs : La méthode produit des ombres, des reflets et une apparence globale stables sur de longues séquences, là où les bases de référence présentent une dégradation visible, des ombres incohérentes et une dérive de couleur.
• Études d'Ablation : Les expériences montrent que l'entraînement sur des données à la fois synthétiques et réelles est critique. Supprimer les données réelles conduit à des structures hallucinées, tandis que supprimer les données synthétiques entraîne une faible précision du rééclairage. La curation par correspondance d'artefacts est essentielle pour corriger les artefacts "in-the-wild".

Signification

L'article affirme que LightCrafter atteint un nouvel équilibre entre contrôlabilité et photoréalisme dans le rééclairage vidéo. En exploitant l'ancrage physique explicite du rendu PBR pour la structure et la cohérence, et la puissance générative des modèles de diffusion pour le raffinement, la méthode surmonte les limitations du rendu inverse pur (bruit/artefacts) et des approches purement génératives (manque de contrôle/dérive temporelle). Les auteurs soutiennent que cette approche permet un rééclairage cohérent et de longue durée et s'étend naturellement à des tâches d'édition de scène plus larges, tout en mettant leur dataset, leurs benchmarks et leur code à disposition de la communauté.