Résumé Technique : Rendu Inverse d'Affichage Polarimétrique Instantané

Énoncé du Problème

Le rendu inverse — l'estimation de la géométrie et de l'apparence (albédo, rugosité, métallité, normales) à partir d'images — reste un défi majeur, en particulier dans les configurations instantanées requises pour les flux de travail de bureau légers. Bien que les configurations multi-images ou multi-éclairages (par exemple, les scènes lumineuses, l'optimisation basée sur NeRF) aient obtenu des résultats de haute qualité, elles sont souvent peu pratiques pour les environnements dynamiques ou contraints en raison des budgets d'information élevés et des contraintes temporelles. Les approches existantes en une seule prise de vue peinent à démêler la géométrie de la réflectance et du type de matériau (diélectrique vs métallique) car une seule image manque généralement de contraintes suffisantes pour séparer les composantes diffuse et spéculaire ou résoudre les ambiguïtés matérielles.

Méthodologie

Les auteurs proposent le Rendu Inverse d'Affichage Polarimétrique, un cadre de traitement direct (feed-forward) instantané qui intègre des indices spectro-polarimétriques pour récupérer des cartes de Rendu Physiquement Basé (PBR) par pixel. Le système comprend trois composants couplés :

1. Système d'Imagerie : Acquisition Spectro-Polarimétrique

La configuration matérielle se compose d'un écran LCD standard et d'une caméra de polarisation RVB augmentée d'une plaque à quart d'onde (QWP).

• Éclairage : L'écran LCD émet un motif binaire RVB linéairement polarisé. En raison de la nature à cristaux liquides de l'affichage, il agit comme une source de lumière polarisée programmable. Le motif encode trois directions d'éclairage distinctes simultanément à travers les canaux spectraux Rouge, Vert et Bleu (par exemple, le canal Rouge éclairé depuis la droite, le Vert depuis la gauche, le Bleu depuis le haut).
• Capture : La caméra capture une seule image RAW. Le réseau de micro-polariseurs sur le capteur récupère les composantes de Stokes linéaires ($S_0, S_1, S_2$). La QWP ajoutée module la lumière entrante pour permettre la récupération de la composante de polarisation circulaire ($S_3$), ce qui est crucial pour distinguer la réflectance métallique de la réflectance diélectrique.
• Décomposition : L'unique image RAW capturée est décomposée en neuf mesures spectro-polarimétriques par pixel :
  • Trois canaux spectraux ($R, G, B$).
  • Trois états de polarisation par canal : Non polarisé (dominance diffuse), Linéairement polarisé (dominance spéculaire) et Circulairement polarisé (indice de métallité).
  • Cela produit une représentation $3 \times 3$ encodant les directions d'éclairage spatiales et les propriétés matérielles en une seule prise de vue.

2. Réseau de Rendu Inverse Direct (Feed-Forward)

Une architecture encodeur-décodeur basée sur des transformateurs traite les neuf cartes de mesures pour prédire les paramètres PBR ($n, k, r, m$) en un seul passage avant.

• Architecture : L'encodeur utilise une colonne vertébrale de Vision Transformer (ViT) (DINO v2) pour convertir les cartes d'entrée en jetons de patchs. Il emploie des mécanismes d'attention auto-entrelacée pour agréger l'information à travers quatre dimensions :
  1. Spatiale : Au sein de chaque observation.
  2. Spectrale : À travers les trois canaux de couleur partageant le même état de polarisation.
  3. Inter-observation : À travers les neuf mesures.
  4. Polarimétrique : À travers les trois états de polarisation partageant le même canal spectral.
• Décodeur : Un module d'attention croisée agrège les caractéristiques de toutes les entrées dans un descripteur fusionné, qui est ensuite transmis à des têtes de prédiction pour produire les normales de surface, l'albédo, la rugosité et la métallité.

3. Expansion de pBRDF Pilotée par les Données

Pour pallier la rareté des Fonctions de Distribution de Réflectance Bidirectionnelle Polarimétrique (pBRDF) mesurées pour l'entraînement, les auteurs proposent une méthode d'expansion générative :

• Compression par ACP : Les pBRDF mesurées (de Baek et al. [2020] ; Moon et al. [2025]) sont décomposées en composantes d'intensité et polarimétriques en utilisant l'Analyse en Composantes Principales (ACP).
• Variété Générative : Un générateur de poids (VAE conditionnel) est entraîné pour mapper les paramètres PBR Disney vers l'espace des poids ACP.
• Synthèse : De nouvelles pBRDF physiquement valides sont synthétisées en échantillonnant des poids sur la variété apprise conditionnée par des paramètres PBR aléatoires, puis en reconstruisant la matrice de Mueller par inversion ACP. Cela crée un ensemble de données synthétique à grande échelle et diversifié pour l'entraînement.

Contributions Clés

1. Système d'Imagerie Écran-Caméra : Une configuration novatrice combinant le multiplexage spectral (directions d'éclairage RVB) et le décodage de polarisation linéaire-circulaire en une seule prise de vue instantanée, produisant neuf mesures spectro-polarimétriques distinctes.
2. Transformateur Direct (Feed-Forward) : Une architecture de réseau qui mappe directement ces neuf mesures vers des cartes PBR spatialement variables (normales, albédo, rugosité, métallité) sans optimisation itérative.
3. Méthode d'Expansion de pBRDF : Une approche pilotée par les données qui étend un ensemble limité de pBRDF mesurées en un ensemble de données diversifié et physiquement valide en échantillonnant sur une variété générative apprise, permettant un entraînement robuste du réseau de rendu inverse.

Résultats et Évaluation

La méthode a été évaluée sur des ensembles de données synthétiques et réels utilisant une configuration de bureau.

• Performance Quantitative :
  • Données Synthétiques : La méthode a surpassé les références (DiffusionRenderer, RGB-X, LINO-PBR) sur toutes les métriques, atteignant un PSNR de 23,90 pour l'albédo et un MAE de 11,45° pour les normales. Elle a considérablement réduit l'ambiguïté dans l'estimation de la métallité par rapport aux méthodes dépourvues d'indices de polarisation circulaire.
  • Données Réelles : Sur les captures réelles, la méthode a atteint un PSNR invariant d'échelle de 20,15, surpassant les références en une seule prise de vue et égalant la performance d'une variante LINO-PBR multi-prises (4 lumières), malgré l'utilisation d'une seule image d'entrée.
• Analyse Qualitative :
  • Démêlage Diffuse-Spéculaire : La décomposition spectrale et polarimétrique a efficacement séparé les composantes diffuse et spéculaire, empêchant le "cuisson" (baking) de l'éclairage dans les cartes d'albédo observé dans les références à image unique.
  • Désambiguïsation Métallique : L'inclusion d'indices de Polarisation Circulaire (PC) a permis au réseau de distinguer correctement les surfaces métalliques des diélectriques, une tâche où les références sans entrée PC échouaient souvent, conduisant à un rééclairage incorrect.
  • Rééclairage : Les cartes PBR récupérées ont permis un rééclairage robuste dans des conditions diverses, y compris des lumières ponctuelles rotatives et des cartes d'environnement complexes, préservant l'identité du matériau et le comportement des reflets.
  • Scènes Dynamiques : La nature instantanée de la méthode a permis un rendu inverse image par image de séquences dynamiques (par exemple, un visage en mouvement) sans nécessiter d'alignement temporel.

Importance et Revendications

L'article revendique que l'intégration d'indices spectraux et polarimétriques au sein d'une seule capture instantanée fournit un signal physique riche qui complète les priors appris, permettant un rendu inverse précis dans les flux de travail de bureau légers.

• Évolutivité : L'approche offre une solution évolutive pour le rendu inverse qui ne dépend pas de configurations de capture multi-prises contrôlées ou de scènes lumineuses complexes.
• Validité Physique : En exploitant les propriétés physiques de la polarisation (spécifiquement la distinction entre polarisation linéaire et circulaire pour la classification des matériaux), la méthode atteint un démêlage plus physiquement valide de la géométrie et de la réflectance que les méthodes passives à image unique.
• Efficacité des Données : La méthode proposée d'expansion de pBRDF aborde le goulot d'étranglement critique de la rareté des données en rendu inverse polarimétrique, permettant l'entraînement de modèles d'apprentissage profond sur des ensembles de données de matériaux diversifiés et ancrés physiquement.

Les auteurs reconnaissent des limitations, notamment la sensibilité aux comportements optiques non idéaux (diaphonie, bruit), les difficultés avec les matériaux ayant de faibles réponses de polarisation (par exemple, les miroirs), et les contraintes imposées par la couverture de l'ensemble de données de pBRDF mesuré. Cependant, ils affirment que leur méthode représente une étape significative vers un rendu inverse pratique en une seule prise de vue pour les scènes dynamiques et réelles.