💻 computer science

NTIRE 2026 3D Restoration and Reconstruction in Real-world Adverse Conditions: RealX3D Challenge Results

Ce papier présente les résultats du défi NTIRE 2026 RealX3D, qui a évalué les méthodes de 33 équipes pour la restauration et la reconstruction 3D robustes dans des environnements à très faible luminosité et dégradés par la fumée, mettant en évidence les principes de conception clés et les progrès significatifs dans la gestion de la dégradation des scènes réelles.

Auteurs originaux : Shuhong Liu, Chenyu Bao, Ziteng Cui, Xuangeng Chu, Bin Ren, Lin Gu, Xiang Chen, Mingrui Li, Long Ma, Marcos V. Conde, Radu Timofte, Yun Liu, Ryo Umagami, Tomohiro Hashimoto, Zijian Hu, Yuan Gan, Tianh

Publié 2026-04-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shuhong Liu, Chenyu Bao, Ziteng Cui, Xuangeng Chu, Bin Ren, Lin Gu, Xiang Chen, Mingrui Li, Long Ma, Marcos V. Conde, Radu Timofte, Yun Liu, Ryo Umagami, Tomohiro Hashimoto, Zijian Hu, Yuan Gan, Tianhan Xu, Yusuke Kurose, Tatsuya Harada, Junwei Yuan, Gengjia Chang, Xining Ge, Mache You, Qida Cao, Zeliang Li, Xinyuan Hu, Hongde Gu, Changyue Shi, Jiajun Ding, Zhou Yu, Jun Yu, Seungsang Oh, Fei Wang, Donggun Kim, Zhiliang Wu, Seho Ahn, Xinye Zheng, Kun Li, Yanyan Wei, Weisi Lin, Dizhe Zhang, Yuchao Chen, Meixi Song, Hanqing Wang, Haoran Feng, Lu Qi, Jiaao Shan, Yang Gu, Jiacheng Liu, Shiyu Liu, Kui Jiang, Junjun Jiang, Runyu Zhu, Sixun Dong, Qingxia Ye, Zhiqiang Zhang, Zhihua Xu, Zhiwei Wang, Phan The Son, Zhimiao Shi, Zixuan Guo, Xueming Fu, Lixia Han, Changhe Liu, Zhenyu Zhao, Manabu Tsukada, Zheng Zhang, Zihan Zhai, Tingting Li, Ziyang Zheng, Yuhao Liu, Dingju Wang, Jeongbin You, Younghyuk Kim, Il-Youp Kwak, Mingzhe Lyu, Junbo Yang, Wenhan Yang, Hongsen Zhang, Jinqiang Cui, Hong Zhang, Haojie Guo, Hantang Li, Qiang Zhu, Bowen He, Xiandong Meng, Debin Zhao, Xiaopeng Fan, Wei Zhou, Linzhe Jiang, Linfeng Li, Louzhe Xu, Qi Xu, Hang Song, Chenkun Guo, Weizhi Nie, Yufei Li, Xingan Zhan, Zhanqi Shi, Dufeng Zhang, Boyuan Tian, Jingshuo Zeng, Gang He, Yubao Fu, Weijie Wang, Cunchuan Huang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire un modèle 3D parfait d'une pièce à l'aide d'une série de photos. Habituellement, vous prenez ces photos par un temps lumineux et dégagé. Mais que se passerait-il si vous tentiez de le faire dans une grotte plongée dans le noir absolu ou en vous tenant à l'intérieur d'un épais nuage de fumée ? Les photos seraient sombres, floues ou remplies de « brouillard », rendant presque impossible de déterminer où se trouvent les murs ou à quoi ressemble le mobilier.

Ce document est le bulletin de notes d'un concours mondial appelé NTIRE 2026, où 33 équipes de scientifiques et d'ingénieurs ont tenté de résoudre exactement ce problème. Leur objectif était de déterminer comment prendre ces photos « ruinées » (soit trop sombres, soit enfumées) et les transformer en un modèle 3D clair et précis.

Voici une explication simple de ce qui s'est passé, de la manière dont ils l'ont fait et de qui a gagné.

Le Défi : Deux Catastrophes Différentes

Le concours comportait deux pistes, comme deux niveaux différents dans un jeu vidéo :

Piste 1 (La Chambre Sombre) : Les équipes devaient corriger des photos prises en très faible luminosité.
Piste 2 (La Machine à Fumée) : Les équipes devaient corriger des photos prises à travers une fumée épaisse.

Ils ont utilisé un ensemble de données spécial appelé RealX3D, qui contient des scènes du monde réel capturées dans ces conditions terribles. Les équipes devaient alimenter leurs ordinateurs avec ces mauvaises photos et obtenir une image 3D propre de l'autre côté.

L'Arme Secrète : « 3DGS »

Presque tout le monde a utilisé une technologie appelée 3D Gaussian Splatting (3DGS).

L'Analogie : Imaginez essayer de peindre une sculpture 3D. Au lieu d'utiliser un bloc d'argile solide, vous utilisez des millions de petites boules de peinture duveteuses (des Gaussiennes). Vous lancez ces boules en l'air et elles s'agglutinent pour former la forme de l'objet.
Le Problème : Lorsque les photos sont sombres ou enfumées, l'ordinateur se trompe sur l'endroit où placer les boules. Il pourrait penser qu'une ombre est un trou, ou que de la fumée est un mur.
La Solution : Les équipes ont dû inventer des moyens ingénieux de « nettoyer » les photos avant ou pendant le lancer des boules de peinture, afin que l'ordinateur sache exactement à quoi ressemble le véritable objet.

Comment les Gagnants l'Ont Fait (Les Stratégies)

Les équipes ont utilisé des astuces très créatives pour gagner. Voici quelques exemples de leurs approches :

L'Approche « Travail d'Équipe » (FuME-GS) : Au lieu de s'appuyer sur une seule méthode pour corriger les photos sombres, cette équipe a utilisé quatre « correcteurs » différents simultanément. C'est comme demander à quatre restaurateurs d'art différents de restaurer une peinture, puis de combiner leurs meilleurs éléments pour créer une image parfaite.
Le « Monstre à Trois Têtes » (CISP-GS) : Cette équipe a construit un système à trois branches différentes. Une branche se concentrait sur la luminosité, une autre sur les paramètres de l'appareil photo et une troisième sur les détails fins. Ils ont laissé les trois travailler ensemble et ont moyenné leurs résultats pour obtenir une image ultra-stable.
Le « Détective de Physique » (Smoke-GS & GenSmoke-GS) : Pour le défi de la fumée, certaines équipes n'ont pas simplement essayé d'« effacer » la fumée. Elles ont construit un modèle mathématique de la façon dont la fumée se comporte (comme la diffusion de la lumière). Elles ont enseigné à l'ordinateur les règles de la physique de la fumée afin qu'il puisse soustraire mathématiquement la fumée de l'image, plutôt que de simplement deviner.
L'« Artiste Génératif » (GenSmoke-GS) : Une équipe a utilisé une IA puissante (un Grand Modèle de Langage Multimodal) pour agir comme un artiste. Ils ont dit à l'IA : « Voici une photo enfumée ; veuillez redessiner les détails que vous ne pouvez pas voir, mais ne changez pas la forme du bâtiment. » L'IA a comblé les détails manquants en se basant sur ce qu'elle sait du monde.

Les Résultats

Sur 279 personnes inscrites, seules 33 équipes ont réussi à terminer le défi avec une solution fonctionnelle.

Les Gagnants :
- Pour la Chambre Sombre : L'équipe DimV a gagné avec sa méthode appelée FuME-GS. Ils ont obtenu l'image la plus claire en fusionnant plusieurs techniques d'amélioration.
- Pour la Fumée : L'équipe PLBBL a gagné avec GenSmoke-GS. Ils ont utilisé un mélange de physique et de génération par IA pour dégager l'air.

Pourquoi Cela Compte

L'article conclut que, bien que nous soyons devenus très bons pour créer des modèles 3D dans des studios parfaits, le monde réel est désordonné. Ces gagnants nous ont montré qu'en combinant le nettoyage d'image (corriger la photo) et la reconstruction 3D (construire le modèle), nous pouvons enfin voir à travers l'obscurité et la fumée.

L'article ne promet pas que votre téléphone fera cela demain, mais il prouve que la technologie va dans la bonne direction. Les organisateurs espèrent que cela aidera les futurs robots et voitures autonomes à naviguer en toute sécurité, même lorsqu'il fait noir comme dans un four ou brumeux à l'extérieur.

En résumé : C'était une course pour voir qui pouvait le mieux nettoyer une photo désordonnée et la transformer en un monde 3D clair, et les gagnants ont prouvé qu'avec le bon mélange de mathématiques, de physique et d'IA, même les scènes les plus sombres et les plus enfumées peuvent être reconstruites.

1. Énoncé du problème

L'article aborde le défi critique de la reconstruction de scènes 3D (spécifiquement en utilisant les Champs de Radiance Neuronaux et le 3D Gaussian Splatting) dans des conditions réelles défavorables. Bien que les méthodes actuelles de l'état de l'art (par exemple, NeRF, 3DGS) fonctionnent bien dans des environnements contrôlés et propres, elles échouent considérablement lorsque les images d'entrée sont dégradées par :

Une faible luminosité extrême : Entraînant du bruit, une perte de texture et une mauvaise extraction de caractéristiques.
De la fumée ou du brouillard : Provoquant de la diffusion, une réduction du contraste, des décalages de couleur et une occlusion des détails géométriques.

La rareté des jeux de données multi-vues réels avec une vérité terrain appariée dégradée/propre entrave davantage les progrès. L'article introduit le défi RealX3D pour évaluer des pipelines robustes face à ces dégradations spécifiques.

2. Méthodologie : Le défi RealX3D

Le défi a été organisé en deux pistes distinctes, utilisant toutes deux un sous-ensemble du benchmark RealX3D contenant 7 scènes distinctes par piste.

Jeu de données : Paires d'images multi-vues réelles (dégradées vs propres) avec des poses de caméra de vérité terrain.
- Entraînement : 1 scène de validation (appariée) + 4 scènes de développement (dégradées uniquement).
- Test : 3 scènes (dégradées uniquement).
Pistes :
1. Piste 1 : Amélioration 3D en faible luminosité : Se concentre sur la récupération de l'éclairage, la réduction du bruit et la préservation de la structure dans des environnements sombres.
2. Piste 2 : Restauration 3D de la fumée : Se concentre sur l'élimination des effets de diffusion, la restauration du contraste et la correction des décalages de couleur causés par la fumée.
Évaluation :
- Métrique : Qualité de la synthèse de nouvelle vue (NVS) mesurée par le PSNR (principal) et le SSIM (départageant) par rapport aux images propres de vérité terrain.
- Protocole : 33 équipes ont soumis des résultats valides sur 279 participants enregistrés.

3. Contributions clés et tendances méthodologiques

L'article examine 27 méthodes soumises, révélant plusieurs stratégies techniques dominantes utilisées par les équipes les mieux classées :

A. Pipelines hybrides « Restauration puis Reconstruction »

La plupart des meilleures équipes (par exemple, FuME-GS, GenSmoke-GS, 3DLLR) décomposent le problème en deux étapes :

Prétraitement 2D : Utilisation de réseaux avancés de restauration 2D (par exemple, Retinexformer, Zero-DCE, DarkIR, modèles de diffusion) pour générer des images pseudo-propres ou des candidats améliorés.
Reconstruction 3D : Alimentation de ces images améliorées dans des pipelines 3D Gaussian Splatting (3DGS) ou NeRF.
- Innovation : De nombreuses équipes utilisent des stratégies d'ensemble (par exemple, GenSmoke-GS, IC-GS) où plusieurs modèles de restauration ou branches 3D sont entraînés et moyennés pour réduire la variance et les hallucinations.

B. Modèles physiques et génération de pseudo-vérité terrain

Pour éviter le surapprentissage aux priors 2D bruyants, plusieurs méthodes intègrent des modèles physiques :

Modèles de diffusion atmosphérique : Utilisés dans Smoke-GS et SDG-GS pour modéliser explicitement la transmission de la fumée ( $T$ ) et la lumière ambiante ( $A$ ), permettant au 3DGS d'apprendre la luminance « propre » de la scène ( $J$ ) en inversant l'équation de dégradation.
Génération de pseudo-vérité terrain : Des méthodes comme IDEAL et AdaTone-GS génèrent une pseudo-vérité terrain en utilisant des estimateurs de profondeur (Depth-Anything) ou des courbes de tonalité analytiques, puis utilisent des décodeurs d'apparence (MLP) pour absorber les artefacts dépendants de la vue, empêchant le bruit 2D de se figer dans la géométrie 3D.

C. Architectures multi-branches et à séparation fréquentielle

CISP-GS et NAKA-GS utilisent des cadres multi-branches où différentes branches traitent des aspects spécifiques (par exemple, amélioration analytique vs amélioration par apprentissage profond vs séparation fréquentielle).
Séparation fréquentielle : La séparation des composantes basse fréquence (structure/couleur) et haute fréquence (texture) permet aux modèles de préserver la cohérence géométrique tout en injectant des détails nets provenant des améliorateurs profonds.

D. Optimisation conjointe (de bout en bout)

Certaines approches, telles que DarkIR-GS et LLE-GS, tentent un entraînement de bout en bout où le rendu 3DGS rétropropage les gradients vers le module de restauration 2D, garantissant que la restauration est optimisée spécifiquement pour la tâche de reconstruction 3D plutôt que pour des métriques 2D génériques.

4. Résultats

Les résultats quantitatifs (Tableau 1) mettent en évidence des progrès significatifs par rapport aux références :

Piste 1 (Faible luminosité) :
- Vainqueur : FuME-GS (DimV) a obtenu le PSNR le plus élevé (23,38) et le SSIM (0,80).
- Insight clé : La méthode gagnante a utilisé une fusion multi-étapes de plusieurs modèles d'amélioration (Retinexformer, Zero-DCE, etc.) combinée à une initialisation 3DGS guidée par la fusion.
- Deuxième : CISP-GS (22,78 PSNR) a utilisé un cadre multi-branche avec supervision ISP.
Piste 2 (Fumée) :
- Vainqueur : GenSmoke-GS (PLBBL) a obtenu le PSNR le plus élevé (20,21) et le SSIM (0,73).
- Insight clé : Cette méthode a combiné ConvIR-UDPNet pour la restauration initiale, DCP pour le débrumage, et un Modèle de Langage Large Multimodal (MLLM) pour le raffinement structurel afin d'éviter la dérive géométrique, suivi d'un ensemble 3DGS-MCMC.
- Deuxième : Smoke-GS (18,67 PSNR) a introduit un « Module Milieu de Fumée » spécifique pour modéliser la diffusion dépendante de la vue.

Observation générale : Les méthodes les mieux classées ont systématiquement surpassé les références simples en intégrant des ensembles multi-modèles, des contraintes basées sur la physique et des stratégies d'initialisation robustes (par exemple, en utilisant VGGT ou COLMAP avec un élagage spécifique).

5. Signification et impact

Évaluation de la robustesse réelle : L'article établit RealX3D comme un benchmark critique pour évaluer la reconstruction 3D dans des conditions non idéales, faisant passer le domaine au-delà des jeux de données synthétiques ou de capture propre.
Principes de conception : Il identifie que les stratégies les plus efficaces pour les conditions défavorables ne sont pas des solutions à modèle unique, mais des pipelines hybrides combinant :
1. Des priors de restauration 2D robustes.
2. Une modélisation de la dégradation basée sur la physique.
3. Des méthodes d'ensemble pour atténuer les hallucinations.
4. Une séparation explicite de la géométrie (structure) et de l'apparence (éclairage/couleur).
Applications pratiques : Les avancées bénéficient directement à la conduite autonome (scénarios de nuit/fumée), à la navigation robotique dans des environnements dangereux et à la réalité augmentée dans des éclairages incontrôlés.
Progrès communautaire : Avec 33 équipes valides soumettant des architectures novatrices, le défi démontre une maturation rapide des techniques pour gérer la dégradation des scènes 3D, établissant une nouvelle norme pour les recherches futures en vision 3D robuste.