💻 computer science

ConFi-GS Confidence-Guided High-Frequency Injection for 3D Gaussian Splatting Super-Resolution

Ce papier propose ConFi-GS, un cadre de modélisation fréquentielle conscient de la fiabilité qui améliore la super-résolution par Splatting Gaussien 3D en distinguant les régions nécessitant des détails de celles contenant des informations haute fréquence fiables, guidant ainsi un schéma d'optimisation unifié pour injecter des textures cohérentes et fidèles tout en supprimant les artefacts incohérents selon le point de vue.

Auteurs originaux : Jiaxiang Li, Zongtan Zhou, Zhen Tan, Yadong Liu, Dewen Hu

Publié 2026-05-26

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiaxiang Li, Zongtan Zhou, Zhen Tan, Yadong Liu, Dewen Hu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de reconstruire un modèle 3D détaillé d'une ville, mais que vous ne disposez que de quelques photos floues et de faible résolution de celle-ci. Si vous tentez de deviner à quoi ressemblent les détails manquants, vous risquez d'inventer par erreur des éléments qui n'existent pas — comme peindre une fausse fenêtre sur un mur qui est en réalité solide, ou faire en sorte qu'un arbre paraisse net sur une photo mais flou sur une autre. C'est le problème que l'article « ConFi-GS » tente de résoudre pour une technologie appelée 3D Gaussian Splatting (une méthode de création de scènes 3D à partir de photos).

Voici une explication simple du fonctionnement de leur solution, en utilisant des analogies du quotidien :

Le problème central : « Faim » vs « Confiance »

Lorsque vous tentez de corriger un modèle 3D flou, vous vous posez deux questions différentes :

Où le modèle a-t-il « faim » de détails ? (Quelles parties semblent floues et ont besoin d'aide ?)
Pouvons-nous faire confiance aux nouveaux détails que nous sommes sur le point d'ajouter ? (La référence « haute résolution » que nous examinons est-elle réellement précise, ou s'agit-il simplement d'une hallucination ?)

Les méthodes existantes disent souvent : « Cette zone semble floue, alors collons-y immédiatement des détails de haute qualité. » Le problème est que parfois, ces détails « haute qualité » proviennent d'une seule photo comportant des artefacts étranges ou des incohérences. Si vous les collez, votre modèle 3D devient net sous un angle de vue, mais semble cassé ou incohérent lorsque vous le regardez sous un autre angle.

La solution : Un système intelligent d'« injection de détails »

Les auteurs proposent un système appelé ConFi-GS qui agit comme un éditeur très strict et intelligent. Au lieu de coller aveuglément des détails, il utilise un filtre en trois étapes pour décider ce qui est ajouté au modèle 3D.

1. La « Carte de la Faim » (Demande guidée par la géométrie)

Premièrement, le système examine le modèle 3D et se demande : « Où manquons-nous réellement d'informations ? »

Analogie : Imaginez une équipe de construction examinant un bâtiment. Ils consultent les plans et constatent que le mur nord a été photographié sous de nombreux angles, ils savent donc exactement à quoi il ressemble. En revanche, le mur sud n'a été vu que de loin et paraît flou. Le système marque le mur sud comme « Zone de Faim » — un endroit qui a véritablement besoin de plus de détails.

2. Le « Filtre de Confiance » (Fiabilité consciente de la fréquence)

Ensuite, même si un endroit est « affamé », le système vérifie si les nouveaux détails qu'il s'apprête à ajouter sont dignes de confiance. Il examine les images de référence haute résolution et se pose trois questions :

Est-ce cohérent structurellement ? (Le détail est-il aligné avec de vraies arêtes, comme un cadre de porte, ou s'agit-il simplement de bruit aléatoire ?)
Est-ce réellement absent ? (Le modèle 3D actuel manque-t-il vraiment de ce motif haute fréquence spécifique, ou est-il déjà présent ?)
Est-ce cohérent ? (Si nous regardons ce détail sous un angle légèrement différent, ressemble-t-il toujours au même, ou se déplace-t-il et se déforme-t-il ?)
Analogie : Imaginez un détective tentant de résoudre un crime. Le simple fait qu'un témoin (la photo haute résolution) dise avoir vu une voiture rouge ne signifie pas qu'il faut l'écrire immédiatement. Le détective vérifie : Le témoin est-il fiable ? L'histoire correspond-elle aux autres preuves ? La voiture rouge est-elle cohérente avec la chronologie ? Si le témoin est peu fiable ou si l'histoire ne tient pas debout, le détective ignore ce détail.

3. La « Carte d'Injection » (La décision finale)

Le système combine la « Carte de la Faim » et le « Filtre de Confiance » pour créer une Carte d'Injection de Détails finale.

Règle : Nous n'ajoutons des détails de haute qualité à un endroit que si LES DEUX conditions sont remplies : l'endroit a « faim » de détails ET le nouveau détail s'avère fiable.
Résultat : Cela empêche le modèle 3D d'« halluciner » des textures factices ou de devenir incohérent lorsqu'il est vu sous différents angles.

Comment le système apprend (Le processus d'entraînement)

Une fois que le système sait où ajouter des détails, il utilise une stratégie d'entraînement intelligente pour les placer effectivement :

Apprentissage du grossier au fin : Au lieu d'essayer d'apprendre chaque petit détail dès le premier jour, le système commence par apprendre les grandes formes et les couleurs (les éléments « grossiers »). Ce n'est que lorsque la structure est stable qu'il commence à ajouter les détails fins et nets (les éléments « haute fréquence »).
- Analogie : Pensez à peindre un portrait. Vous commencez par esquisser le contour et à bloquer les couleurs de base. Vous n'essayez pas de peindre les cils individuels tant que la forme du visage n'est pas parfaite. Si vous essayez de peindre les cils trop tôt, vous risquez de gâcher tout le visage.
Expansion intelligente : Si le système trouve un détail fiable que le modèle 3D actuel est trop « grossier » pour capturer, il ajoute plus de « blocs de construction » (Gaussiens) spécifiquement à cette zone.
- Analogie : Si vous essayez de décrire une route bosselée et que votre description actuelle est trop lisse, vous ne lissez pas davantage. Vous ajoutez plus de notes spécifiques sur les bosses, mais uniquement là où les bosses existent réellement et sont vérifiées.

Le résultat

En utilisant cette approche « consciente de la fiabilité », l'article montre qu'ils peuvent transformer des photos floues et de faible résolution en modèles 3D nets et de haute qualité. Crucialement, ces modèles apparaissent nets sous tous les angles et ne contiennent pas les artefacts étranges et clignotants qui surviennent lorsque l'on tente de forcer des détails dans un modèle qui n'est pas prêt pour eux.

En résumé : Ils ont construit un système qui sait exactement où chercher les détails manquants et comment vérifier que ces détails sont réels avant de les ajouter, garantissant ainsi que le monde 3D final est à la fois net et stable.

Résumé technique : ConFi-GS : Injection haute fréquence guidée par la confiance pour la super-résolution du 3D Gaussian Splatting

Énoncé du problème
La reconstruction de scènes 3D de haute qualité à partir d'images multi-vues de faible résolution en utilisant le 3D Gaussian Splatting (3DGS) est entravée par des observations haute fréquence insuffisantes, entraînant des textures floues, des contours faibles et des détails incohérents selon la vue. Bien que les approches existantes tentent de résoudre ce problème en appliquant une guidance de super-résolution (SR) de manière uniforme ou en localisant l'amélioration sur la base d'un échantillonnage géométrique, elles échouent à distinguer deux questions critiques : où un détail supplémentaire est nécessaire, et si le contenu haute fréquence candidat correspondant est suffisamment fiable pour être intégré dans une représentation 3D cohérente multi-vues. Imposer directement des détails super-résolus sans évaluation de la fiabilité peut introduire des artefacts spécifiques à la vue, une netteté non étayée structurellement et des textures hallucinées qui dégradent la cohérence de la représentation 3D.

Méthodologie
Les auteurs proposent ConFi-GS, un cadre de modélisation fréquentielle conscient de la fiabilité qui reformule la reconstruction 3DGS de faible résolution comme un problème d'injection sélective de détails. Le cadre fonctionne à travers quatre composants coordonnés :

Estimation de la demande de détails guidée par la géométrie :
La méthode pré-entraîne d'abord un modèle 3DGS de base sur des entrées de faible résolution pour estimer un « a priori de demande de détails ». Elle analyse le ratio d'échantillonnage inter-vues de chaque primitive gaussienne. Si une gaussienne est échantillonnée à une échelle similaire et insuffisante sur toutes les vues (faible ratio d'échantillonnage), elle est signalée comme sous-détaillée. Cela génère une carte de demande de détails spécifique à la vue ( $D_t$ ) qui met en évidence les régions susceptibles de manquer de détails récupérables, indépendamment de la fiabilité des détails candidats.
Évaluation de la fiabilité consciente de la fréquence :
Pour déterminer si les détails haute fréquence candidats issus d'une référence super-résolue sont dignes de confiance, le cadre calcule une carte de fiabilité ( $C^t_{rel}$ ) basée sur trois indices :
- Soutien structurel ( $E_t$ ) : Mesure l'alignement avec les contours locaux dans la référence super-résolue pour s'assurer que les détails ne sont pas dépourvus de soutien structurel.
- Preuve non résolue ( $G_t$ ) : Quantifie la divergence haute fréquence entre le rendu actuel et la référence super-résolue en utilisant un opérateur passe-haut dans le domaine de Fourier, identifiant le contenu spectral manquant mais potentiellement récupérable.
- Cohérence inter-vues ( $X_t$ ) : Pénalise les détails qui sont instables lorsqu'ils sont reprojetés sur des vues voisines, filtrant ainsi les artefacts spécifiques à la vue.
  La carte d'injection de détails finale ( $M_t$ ) est le produit élément par élément de la carte de demande et de la carte de fiabilité, garantissant que la supervision n'est appliquée que là où le détail est à la fois nécessaire et fiable.
Régularisation progressive sélective des fréquences :
Au lieu d'imposer immédiatement une correspondance de fréquence sur toute la bande, la méthode adopte un calendrier de grossier à fin. Elle applique une perte de spectre d'amplitude au niveau des patches ( $L_{amp}$ ) et une perte de spectre de phase ( $L_{ph}$ ) uniquement aux régions ayant des poids élevés dans $M_t$ . La perte d'amplitude est introduite tôt pour stabiliser l'apparence grossière, tandis que la perte de phase, plus sensible, est activée plus tard une fois la géométrie stabilisée. Cela empêche le modèle de s'ajuster à des signaux pseudo-haute fréquence instables durant l'optimisation précoce.
Densification gaussienne consciente de la fiabilité :
Pour s'assurer que la représentation a la capacité d'absorber des détails fiables, les auteurs introduisent une stratégie de densification guidée par un score conjoint ( $S_i$ ) combinant la demande géométrique ( $U_i$ ), les résidus spectraux pondérés par la fiabilité ( $F_i$ ) et la complexité structurelle locale ( $H_i$ ). Cela dirige le fractionnement et le clonage des gaussiennes spécifiquement vers les régions où existent des détails non résolus et fiables, plutôt que de s'appuyer uniquement sur des gradients génériques dans l'espace image.

Contributions clés

Formulation du problème consciente de la fiabilité : L'article sépare explicitement la « demande de détails » de la « fiabilité des détails », abordant l'ambiguïté fondamentale de la reconstruction 3D de faible résolution où le manque de détails ne garantit pas que les candidats super-résolus soient dignes de confiance.
Estimation à deux étapes : Il introduit un estimateur de demande guidé par la géométrie suivi d'une évaluation de fiabilité consciente de la fréquence qui évalue le soutien structurel, la résolution spectrale et la stabilité inter-vues pour produire une carte d'injection de détails précise.
Schéma d'optimisation unifié : Le cadre intègre une régularisation progressive sélective des fréquences et une densification gaussienne consciente de la fiabilité, permettant l'intégration progressive et structurelle de détails haute fréquence fiables dans la représentation 3D.

Résultats expérimentaux
La méthode a été évaluée sur des benchmarks standards incluant Tanks & Temples, Deep Blending et Mip-NeRF 360 dans des configurations de super-résolution 2× et 4×.

Performance quantitative : ConFi-GS a obtenu des performances de pointe sur plusieurs métriques (PSNR, SSIM, LPIPS, FID, CMMD, DreamSim) par rapport à des bases de référence telles que le 3DGS standard (LR), Mip-Splatting, SRGS (SR uniforme) et SplatSuRe (SR guidée par la géométrie). Par exemple, sur Tanks & Temples (4×), il a atteint un PSNR de 24,08 et un LPIPS de 0,270, surpassant SplatSuRe (23,84 PSNR, 0,273 LPIPS).
Améliorations qualitatives : Les comparaisons visuelles ont démontré des reconstructions plus nettes autour des contours fins et des zones texturées, tout en supprimant efficacement les artefacts haute fréquence et les détails incohérents selon la vue qui affectaient d'autres méthodes.
Études d'ablation : Le retrait de n'importe quel composant (évaluation de la fiabilité, régularisation progressive ou densification consciente de la fiabilité) a entraîné une dégradation significative des performances, confirmant la nécessité complémentaire de chaque module. Plus précisément, le retrait de l'évaluation de la fiabilité a conduit à l'absorption de détails incohérents selon la vue, tandis que le retrait de la planification progressive a déstabilisé l'optimisation précoce.

Portée et affirmations
L'article affirme que ConFi-GS change le paradigme de l'amélioration 3DGS de faible résolution, passant d'une « amplification directe des détails » à une « intégration de détails consciente de la fiabilité ». En filtrant explicitement les signaux haute fréquence non fiables avant qu'ils ne soient intégrés dans la représentation 3D, la méthode atteint un équilibre entre la récupération de textures haute fidélité et la cohérence structurelle multi-vues. Les auteurs soulignent que leur approche n'imit pas simplement les textures d'images super-résolues, mais intègre progressivement des détails dignes de confiance dans une représentation de scène 3D stable. Tout en reconnaissant des limitations telles que la dépendance à la qualité de la SR externe et le temps d'entraînement supplémentaire, ce travail établit un cadre pour l'intégration de détails consciente des preuves, qui adresse l'ambiguïté centrale entre la demande de détails et la fiabilité dans la reconstruction 3D.