💻 computer science

HarmoGS: Robust 3D Gaussian Splatting in the Wild via Conflict-Aware Gradient Harmonization

HarmoGS répond aux défis des distracteurs transitoires et des incohérences d'éclairage dans le splattage gaussien 3D in-the-wild en introduisant un cadre conscient des conflits qui combine un masquage guidé par la cohérence sémantique avec une stratégie d'harmonisation des gradients à double vue pour stabiliser l'optimisation et atteindre une qualité de rendu à la pointe de l'état de l'art.

Auteurs originaux : Yulei Kang, Tianze Zhu, Jian-Fang Hu, Jianhuang Lai, Wei-Shi Zheng

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yulei Kang, Tianze Zhu, Jian-Fang Hu, Jianhuang Lai, Wei-Shi Zheng

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire un modèle 3D parfait d'une célèbre place urbaine en utilisant des centaines de photos prises par des touristes. Le problème, c'est que ces photos sont désordonnées. Certaines montrent des personnes traversant le cadre, d'autres des voitures, et l'éclairage varie d'un matin ensoleillé à un après-midi nuageux. Si vous assemblez simplement toutes ces photos, votre modèle 3D finit par ressembler à un cauchemar bugué, peuplé de fantômes flottants et de traînées floues.

Ce papier, HarmoGS, propose une nouvelle méthode pour construire ces modèles 3D, bien plus efficace pour ignorer le désordre et déterminer à quoi ressemble la « vraie » scène. Voici comment cela fonctionne, décomposé en concepts simples :

Le Problème : L'Argument du « Comité »

Imaginez le modèle 3D comme une sculpture en argile façonnée par un comité d'artistes (les différentes photos).

Le Problème : Dans le monde réel, certains artistes observent une journée ensoleillée, tandis que d'autres regardent une journée pluvieuse. Certains voient une rue propre, tandis que d'autres voient une personne marchant juste devant la statue.
Le Résultat : Si le comité tente de se mettre d'accord, ils tirent l'argile dans des directions opposées. Un artiste dit « déplacez l'argile vers la gauche », un autre dit « déplacez-la vers la droite ». L'argile finit par vibrer, se déchirer ou former des blobs étranges. En termes informatiques, ce sont des conflits de gradients.

La Solution : Un Processus d'Harmonisation en Trois Étapes

Les auteurs introduisent un système pour résoudre ce conflit avant qu'il ne gâche la sculpture.

1. Le « Filtre Intelligent » (Masquage guidé par la cohérence sémantique)

Avant même que le comité ne commence à se disputer, il doit savoir quelles photos sont fiables.

Ancienne Méthode : Les méthodes précédentes utilisaient une liste de contrôle basique (comme « si cela ressemble à une personne, floutez-la »). Cela ratait souvent des éléments ou floutait accidentellement la vraie statue.
Méthode HarmoGS : Ils utilisent un « filtre intelligent » qui apprend à repérer les incohérences. Il examine les photos et se demande : « Ce pixel semble-t-il étrange par rapport aux autres ? » Si un pixel fait partie d'une personne en mouvement ou d'une ombre bizarre, le filtre le marque comme « peu fiable » et indique au comité de l'ignorer. C'est comme avoir un modérateur qui dit : « Ignorez le gars tenant une pancarte ; concentrez-vous sur la statue. »

2. Le « Diplomate » (Harmonisation des gradients consciente des conflits)

C'est la plus grande innovation du papier. Même avec le filtre, certains désaccords persistent.

Le Scénario : Imaginez que deux artistes se disputent encore. L'artiste A veut pousser l'argile vers le Nord. L'artiste B veut la pousser vers le Sud. Si vous faites simplement la moyenne, l'argile ne bouge pas, ou elle est écrasée.
L'Astuce : Au lieu de les forcer à se mettre d'accord sur une direction, le « Diplomate » (l'algorithme) prend leurs deux poussées et les fait pivoter. Il transforme leurs forces opposées en deux forces perpendiculaires (à un angle de 90 degrés) l'une par rapport à l'autre.
L'Analogie : Imaginez deux personnes poussant une voiture. L'une pousse vers le Nord, l'autre vers le Sud. La voiture n'avance pas. Le Diplomate dit : « D'accord, toi, pousse vers le Nord, et toi, pousse vers l'Est. » Maintenant, au lieu de se battre, ils travaillent ensemble pour déplacer la voiture en diagonale. Cela stoppe la « vibration » et permet au modèle de se stabiliser dans une forme lisse.

3. Le « Jardinier » (Densification et élagage conscients des conflits)

Au fur et à mesure que le modèle grandit, il ajoute de nouveaux morceaux d'argile (des Gaussiennes) pour combler les lacunes.

Le Problème : Parfois, le modèle ajoute un morceau d'argile à un endroit où les photos sont encore en désaccord violent. Ce morceau d'argile devient un « fantôme flottant » qui ne se stabilise jamais.
La Correction : Le système maintient un score pour chaque morceau d'argile. Si un morceau reçoit constamment des instructions contradictoires (score de conflit élevé), le Jardinier le fait lentement disparaître (en réduisant son opacité) jusqu'à ce qu'il s'évanouisse. Si un morceau fait du bon travail, le système fait pousser davantage de morceaux autour de lui. Cela garantit que le modèle final est composé uniquement de parties stables et fiables.

Le Résultat

En utilisant ce « Filtre Intelligent », ce « Diplomate » et ce « Jardinier », les auteurs montrent que leur méthode crée des modèles 3D beaucoup plus nets et précis des scènes du monde réel que les méthodes précédentes. Elle gère bien mieux les personnes en mouvement, les changements de lumière et les arrière-plans désordonnés, aboutissant à un monde 3D qui semble réel et ne présente pas ces artefacts flottants agaçants.

En bref : Ils ont appris à l'ordinateur à ignorer le bruit, à négocier les désaccords entre les différentes photos et à éliminer les mauvaises parties, résultant en une reconstruction 3D beaucoup plus robuste.

Résumé Technique : HarmoGS : Splatting 3D par Gaussiennes Robuste en Conditions Réelles via Harmonisation de Gradients Consciente des Conflits

1. Énoncé du Problème

La reconstruction de représentations 3D fiables à partir de collections d'images non contraintes « en conditions réelles » (in-the-wild) demeure un défi majeur en vision par ordinateur. Bien que des avancées récentes comme le Splatting 3D par Gaussiennes (3DGS) aient permis un rendu en temps réel de haute qualité, elles supposent généralement une illumination cohérente et un contenu de scène stable. Dans des scénarios réels, les images d'entraînement sont souvent corrompues par des distracteurs transitoires (par exemple, des piétons ou des véhicules en mouvement) et des incohérences d'apparence induites par l'éclairage entre différentes vues.

Les méthodes existantes reposent principalement sur un masquage au niveau de l'image pour supprimer les supervisions non fiables. Cependant, les auteurs identifient deux limitations critiques de cette approche :

Occlusions Résiduelles : Les masques échouent souvent à exclure complètement des objets transitoires complexes ou sémantiquement ambigus, laissant subsister du bruit résiduel.
Conflits d'Illumination : Les masques ne peuvent pas résoudre les incohérences d'éclairage dépendantes de la vue.

Ces problèmes non résolus entraînent des conflits de gradients inter-vues. Lors de l'optimisation d'une représentation gaussienne partagée à l'aide de vues incohérentes, les gradients induits peuvent pointer dans des directions opposées (formant des angles obtus). Cela déstabilise le processus d'optimisation, provoquant des artefacts de reconstruction visibles et des primitives flottantes.

2. Méthodologie

Les auteurs proposent HarmoGS, un cadre 3DGS conscient des conflits qui résout ces problèmes grâce à une stratégie d'entraînement dual-vue et trois composants principaux :

A. Masquage Guidé par la Cohérence Sémantique

Pour améliorer la fiabilité de la supervision avant la formation des gradients, la méthode introduit une stratégie de masquage adaptative qui affine les masques a priori :

Masque A Priori : Un masque binaire ( $M_{bin}$ ) est généré à l'aide d'un modèle SAM (Segment Anything Model) pré-entraîné pour identifier les régions transitoires potentielles.
Score de Cohérence Appris : Un prédicteur léger ( $f_\psi$ ), guidé par un backbone DINOv2 gelé, apprend un score de cohérence pixel par pixel ( $S_i$ ) durant l'entraînement. Ce score est dérivé à la fois des résidus photométriques et des écarts sémantiques entre les images rendues et les images de vérité terrain.
Affinement Adaptatif : Le masque final ( $M_i$ ) combine le masque binaire a priori et le score de cohérence appris. Il supprime de manière adaptative les régions non fiables (distracteurs transitoires) tout en corrigeant les erreurs du masque binaire initial, garantissant que seule une preuve d'image fiable contribue au calcul de la perte.

B. Harmonisation de Gradients Consciente des Conflits

Reconnaissant que le masquage seul ne peut éliminer tous les conflits d'optimisation, le cadre emploie une approche d'entraînement dual-vue. À chaque itération, deux vues sont échantillonnées et leurs gradients spécifiques ( $g_1, g_2$ ) sont calculés.

Détection de Conflit : Un conflit est identifié lorsque le produit scalaire des deux gradients est négatif ( $g_1^\top g_2 < 0$ ), indiquant un angle obtus ( $\theta > \pi/2$ ).
Rotation Orthogonale : Pour résoudre le conflit, la méthode rotate les deux gradients dans le sous-espace engendré par eux ( $V = \text{span}(g_1, g_2)$ $V = span (g_{1}, g_{2})$ ) jusqu'à ce qu'ils deviennent orthogonaux ( $\tilde{g}_1^\top \tilde{g}_2 = 0$ $\tilde{g}_{1}^{⊤} \tilde{g}_{2} = 0$ ).
- La correction angulaire totale ( $\theta - \pi/2$ ) est répartie entre les deux gradients à l'aide d'un paramètre d'allocation $\rho$ .
- La rotation préserve les magnitudes originales des gradients tout en éliminant les interférences directionnelles négatives.
Combinaison Linéaire : Les gradients harmonisés sont sommés et exprimés comme une combinaison linéaire des gradients originaux ( $\tilde{g} = \tau_1 g_1 + \tau_2 g_2$ ) en utilisant des coefficients dérivés analytiquement.
Atténuation Géométrique : Pour les attributs géométriques (position, rotation, échelle), un facteur d'atténuation supplémentaire est appliqué si des conflits sont détectés, afin de supprimer davantage les artefacts.

C. Densification et Élagage Conscients des Conflits

Le cadre étend les mises à jour structurelles standard du 3DGS pour qu'elles soient conscientes des conflits inter-vues :

Densification : Au lieu de s'appuyer sur des statistiques mono-vue, la méthode agrège les gradients dans l'espace des vues provenant des deux vues échantillonnées, modulés par les coefficients conscients des conflits dérivés lors de l'étape d'harmonisation. Cela guide la croissance des Gaussiennes en utilisant des signaux plus fiables et réconciliés des conflits.
Élagage : La méthode suit les conflits inter-vues par Gaussienne au fil du temps. Si une Gaussienne présente systématiquement des scores de conflit élevés (indiquant une instabilité persistante ou des artefacts flottants), son opacité est périodiquement décroissante. Cela permet au processus d'élagage standard de supprimer naturellement ces primitives instables.

3. Contributions Clés

Cadre d'Harmonisation de Gradients Conscient des Conflits : Une stratégie d'entraînement dual-vue novatrice qui réconcilie explicitement les conflits de gradients inter-vues en les rotant vers une configuration orthogonale. Cela réduit les mises à jour incompatibles causées par les distracteurs transitoires et les incohérences d'éclairage.
Masquage Guidé par la Cohérence Sémantique : Un mécanisme de masquage adaptatif qui apprend des scores de cohérence pixel par pixel pour affiner les masques binaires a priori, supprimant efficacement les supervisions non fiables avant la formation des gradients.
Mises à Jour Structurelles Conscientes des Conflits : L'introduction de stratégies de densification et d'élagage qui utilisent des signaux conscients des conflits pour stabiliser la croissance des Gaussiennes et supprimer les primitives conflictuelles persistantes.
Performances de l'État de l'Art : Des expériences extensives démontrent que la méthode atteint une qualité de rendu et une fidélité de reconstruction supérieures sur des benchmarks standards en conditions réelles par rapport aux bases de référence NeRF et 3DGS existantes.

4. Résultats Expérimentaux

Les auteurs ont évalué HarmoGS sur trois benchmarks en conditions réelles largement utilisés : PhotoTourism, NeRF On-the-go et RobustNeRF.

Performance Quantitative : La méthode surpasse systématiquement les bases de référence de l'état de l'art (y compris RobustNeRF, WildGaussian, SpotLessSplats et AsymGS) sur toutes les métriques (PSNR, SSIM, LPIPS). Par exemple, sur le jeu de données NeRF On-the-go, HarmoGS a atteint un PSNR de 24,67 dans des scènes à forte occlusion, surpassant la meilleure performance précédente (AsymGS) avec une marge significative.
Résultats Qualitatifs : Les comparaisons visuelles montrent que HarmoGS supprime efficacement les artefacts flottants et produit des rendus plus propres avec des détails de scène plus fidèles, en particulier dans des scènes présentant des occlusions transitoires complexes et des variations d'éclairage.
Études d'Ablation :
- Le retrait du paramétrage dual-vue ou du composant d'harmonisation des gradients a entraîné une baisse notable du PSNR et du SSIM, confirmant la nécessité de la réconciliation des conflits.
- La combinaison du score de cohérence appris ( $S_i$ ) et du masque binaire a priori ( $M_{bin}$ ) a produit de meilleurs résultats que l'utilisation de l'un ou l'autre composant seul, démontrant leur nature complémentaire.
- La densification et l'élagage conscients des conflits ont abouti à une représentation gaussienne plus compacte (moins de points) tout en maintenant une qualité supérieure, indiquant la suppression de primitives instables.

5. Signification et Revendications

L'article revendique que HarmoGS fournit une solution robuste pour la reconstruction 3D dans des environnements non contraints en s'attaquant à la cause fondamentale de l'instabilité de l'optimisation : les conflits de gradients inter-vues.

Au-delà du Masquage : Le travail souligne que le masquage dans l'espace image est insuffisant pour le 3DGS en conditions réelles. En opérant au niveau du gradient, la méthode résout les conflits qui persistent même après le masquage, conduisant à une optimisation plus stable.
Optimisation Dual-Vue : Les auteurs postulent que la considération conjointe de deux vues permet la détection et la réconciliation explicites des conflits, une capacité absente des pipelines d'optimisation standard mono-vue.
Généralisabilité : La méthode est présentée comme un cadre général compatible avec les implémentations 3DGS existantes (construites sur Mip-Splatting) qui améliore considérablement la robustesse face aux distracteurs transitoires et aux changements d'éclairage sans nécessiter d'heuristiques complexes spécifiques à la scène.

Les auteurs concluent que leur approche permet une synthèse de vue nouvelle haute fidélité dans des scénarios réels difficiles, faisant progresser l'applicabilité du Splatting 3D par Gaussiennes aux collections d'images non contraintes.