Résumé Technique : P2GS – Éclaboussure de Gaussienne guidée par des priors physiques pour une reconstruction urbaine photométriquement cohérente

1. Énoncé du Problème

Bien que l'éclaboussure de Gaussienne 3D (3DGS) s'impose comme un outil puissant pour le rendu en temps réel et haute fidélité dans la simulation de conduite autonome, elle souffre d'une limitation fondamentale : l'incohérence photométrique. La 3DGS conventionnelle suppose implicitement une exposition et une cartographie des tons cohérentes sur toutes les vues d'entrée. Cependant, les données de conduite réelles violent cette hypothèse en raison de :

• Des chaînes de traitement d'image hétérogènes et des processeurs de signal d'image (ISP) variés.
• Un contrôle d'exposition dynamique par caméra.
• Des conditions d'éclairage extérieur variables.

Lorsque la 3DGS standard est entraînée sur de telles données, elle « cuit » les écarts d'exposition et le bruit des capteurs directement dans le champ de luminance appris. Cela se traduit par des artefacts sévères, notamment des incohérences d'éclairage, des décalages de couleur et des coutures visibles entre les vues, en particulier dans les régions d'arrière-plan statiques critiques pour la simulation. Les extensions existantes (par exemple, StreetGS, DrivingGaussian) se concentrent sur la séparation des objets dynamiques mais échouent à résoudre la cohérence photométrique inter-vues. De plus, les tentatives antérieures de modélisation de l'éclairage (par exemple, GaussHDR, Luminance-GS) nécessitent soit une supervision multi-exposition, soit s'appuient sur une synthèse pseudo-HDR instable, soit appliquent des corrections 2D dépourvues de fondement physique.

2. Méthodologie : P2GS

Les auteurs proposent P2GS, un cadre ancré dans la physique qui reconstruit un champ de luminance Haute Dynamique (HDR) invariant à l'exposition à partir d'images à basse dynamique (LDR) sans nécessiter de supervision HDR. La méthode opère en déplaçant l'optimisation de l'espace LDR vers le domaine linéaire HDR, en dissociant la luminance intrinsèque de la scène des réponses photométriques spécifiques à la caméra.

Composants Principaux

1. Représentation de Luminance dans le Domaine HDR Linéaire :
   Au lieu d'ajuster directement les coefficients d'harmoniques sphériques (SH) aux valeurs de pixels LDR observées, P2GS les optimise comme une luminance HDR linéaire. Cela crée un champ physiquement significatif ($\hat{I}_{linear}$) où la luminance de la scène est découplée du gain de la caméra et de la cartographie des tons.

2. Modélisation de l'Exposition et de la Cartographie des Tons par Vue :
   Le cadre introduit des paramètres apprenables pour chaque vue $i$ :

   • Échelle d'Exposition ($e_i$) : Un scalaire positif représentant le gain de la caméra.
   • Fonction de Cartographie des Tons ($T_i$) : Approximée via une correction gamma apprenable ($\gamma_i$) pour modéliser la réponse non linéaire de la caméra.
     Le modèle de formation d'image est défini comme suit : $I_i = T_i(e_i \cdot \hat{I}_{linear})$.

3. Principe de Luminance Invariante (PIR) :
   C'est la pierre angulaire théorique de P2GS. Il postule que dans le domaine HDR linéaire, le rapport des luminances observées entre différentes vues de caméra dépend uniquement des échelles d'exposition relatives :
   $$\frac{I^{(i)}_{linear}}{I^{(j)}_{linear}} = \frac{e_i}{e_j}$$
   Ce principe impose que la luminance sous-jacente de la scène reste invariante, quelles que soient les réglages d'exposition de la caméra.

Stratégie d'Optimisation Unifiée

P2GS emploie un cadre d'optimisation unifié minimisant une fonction de perte totale ($\mathcal{L}_{total}$) composée de trois termes :

1. Reconstruction Photométrique ($\mathcal{L}_{photo}$) : Minimise l'erreur entre les images LDR observées et les images synthétisées (HDR rendu $\to$ exposition $\to$ cartographie des tons).
2. Cohérence de l'Exposition Relative ($\mathcal{L}_{exp}$) : Impose la contrainte PIR en s'assurant que le rapport des intensités HDR rendues entre paires de vues correspond au rapport de leurs échelles d'exposition estimées. Cela empêche le champ de luminance d'absorber les variations d'exposition.
3. Régularisation ($\mathcal{L}_{reg}$) :
   • Ancre l'échelle absolue des paramètres d'exposition pour éviter l'ambiguïté d'échelle globale.
   • Pénalise la variance excessive des estimations d'exposition entre les vues pour assurer la stabilité.
   • Applique un prior doux aux paramètres de tons ($\gamma_i$) autour de la norme sRGB ($\approx 2.2$) pour prévenir les solutions non physiques.

À l'inférence, la méthode moyenne les paramètres d'exposition et de tons appris sur toutes les vues d'entraînement pour produire un rendu stable et sans scintillement.

3. Contributions Clés

L'article expose trois contributions principales :

• Cadre P2GS : Une extension explicite du domaine HDR de la 3DGS intégrant le Principe de Luminance Invariante pour séparer la luminance intrinsèque des variations d'exposition et de tons, opérant sans supervision HDR.
• Optimisation Unifiée : Une stratégie entièrement différentiable qui optimise conjointement la luminance HDR, l'exposition par vue et la cartographie des tons en utilisant une perte photométrique, des contraintes basées sur le PIR et une régularisation physique.
• Performances de l'État de l'Art : Démonstration d'une cohérence photométrique supérieure et d'une fidélité HDR sur des ensembles de données de conduite multi-caméras avec des ISP hétérogènes, surpassant les références existantes tant en reconstruction qu'en synthèse de nouvelles vues.

4. Résultats Expérimentaux

Les auteurs ont évalué P2GS sur l'ensemble de données Waymo Open (réel) et CARLA (synthétique, éclairage contrôlé).

• Performance Quantitative (Waymo) :

  • P2GS a obtenu le SSIM le plus élevé (0,939) et le LPIPS le plus bas (0,209) parmi toutes les méthodes comparées, incluant la 3DGS standard, PVG et Luminance-GS.
  • Il a considérablement réduit le Score d'Incohérence HDR (HIS) et la Luminance-Écart-type, indiquant une stabilité supérieure de la luminosité temporelle et inter-vues. Notamment, P2GS a obtenu des scores d'incohérence inférieurs à la vérité terrain brute, suggérant qu'il élimine efficacement le bruit d'éclairage induit par l'ensemble de données que les méthodes standard conservent.
  • Dans la Synthèse de Nouvelles Vues (NVS), P2GS a maintenu une supériorité constante, démontrant sa robustesse face aux conditions d'éclairage variables.

• Résultats Qualitatifs :

  • Les méthodes de référence (3DGS, PVG, Luminance-GS) présentaient des coutures visibles, des décalages de couleur et un ombrage inégal là où des vues avec des expositions différentes étaient assemblées.
  • P2GS a produit des reconstructions photométriquement uniformes avec une luminosité et une couleur harmonisées en douceur sur toutes les vues, supprimant efficacement les artefacts de couture sur les structures statiques comme les routes et les murs.

• Robustesse (CARLA) :

  • Sous des ensembles de données synthétiques avec des sensibilités ISO variables et contrôlées (simulant un bruit d'exposition extrême), P2GS a montré des baisses de performance marginales par rapport à une dégradation significative des références (par exemple, Luminance-GS et 3DGS transformée affine).
  • Cela confirme la capacité de P2GS à dissocier les variations d'exposition et à préserver un champ de luminance invariant aux vues, même sous une corruption sévère.

• Études d'Ablation :
  La suppression soit de la perte de cohérence d'exposition ($\mathcal{L}_{exp}$), soit des termes de régularisation ($\mathcal{L}_{reg}$) a entraîné une dégradation des performances sur toutes les métriques, validant la nécessité de la formulation physique unifiée.

5. Signification et Revendications

L'article revendique que P2GS comble une lacune critique dans la simulation de conduite autonome : l'absence de représentations 3D photométriquement stables. En découplant les distorsions dépendantes de la caméra de la véritable luminance de la scène, P2GS permet :

• Simulation en Boucle Fermée Fiable : Fournir un arrière-plan physiquement cohérent essentiel pour l'entraînement des modèles de perception et des simulateurs où la cohérence de l'éclairage est primordiale.
• Contrôlabilité Invariante à l'Exposition : Permettre un ré-rendu continu et sans artefacts sous des échelles d'exposition arbitraires, une capacité impossible pour la 3DGS standard.
• Évolutivité : Offrir une solution qui fonctionne sur des données de conduite éparses et à grande échelle sans nécessiter d'environnements contrôlés ou d'entrées multi-exposition.

Les auteurs concluent que, bien que P2GS se concentre sur les arrière-plans statiques et ne sépare pas encore explicitement les propriétés des matériaux de l'éclairage externe (une direction future), il établit une base solide et physiquement cohérente pour la reconstruction urbaine à grande échelle dans la conduite autonome.