💻 computer science

What to Remove, What to Preserve: Dual-Ambiguity Rectification for All-in-One Image Restoration

Le papier propose DAR-Net, un nouveau cadre de restauration d'images tout-en-un qui traite les défis de l'ambiguïté sémantique et spatiale grâce à une Représentation d'Archétype de Dégradation structurée et à des modules de rectification dédiés, atteignant des performances de pointe sur divers benchmarks de dégradation.

Auteurs originaux : Cencen Liu (University of Electronic Science and Technology of China), Wen Yin (University of Electronic Science and Technology of China), Dongyang Zhang (University of Electronic Science and Technolo

Publié 2026-07-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Cencen Liu (University of Electronic Science and Technology of China), Wen Yin (University of Electronic Science and Technology of China), Dongyang Zhang (University of Electronic Science and Technology of China), Dongmin Li (University of Electronic Science and Technology of China), Shan Zhao (Jiigan Technology), Bing Su (Jiigan Technology), Tao He (University of Electronic Science and Technology of China), Jielei Wang (University of Electronic Science and Technology of China), Guoming Lu (University of Electronic Science and Technology of China)

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un chef étoilé essayant de réparer une marmite de soupe qui a mal tourné. Peut-être est-elle trop salée, peut-être est-elle brûlée, ou peut-être est-elle pleine de mauvaises herbes indésirables. Dans le monde de la vision par ordinateur, cette « soupe » est une photo numérique, et les « erreurs » sont des choses comme des traînées de pluie, du brouillard, du flou ou du bruit. Pendant longtemps, les scientifiques ont construit des chefs spécialisés pour chaque problème spécifique : un chef uniquement pour enlever la pluie, un autre uniquement pour dissiper le brouillard. Mais dans le monde réel, les photos souffrent souvent d'un mélange désordonné de problèmes à la fois. Nous avons besoin d'un chef « Tout-en-Un » capable de gérer n'importe quel désastre dans une seule marmite. Le défi, cependant, est que ces chefs numériques se confondent souvent. Lorsqu'ils essaient de retirer les « mauvaises choses » (comme la pluie), ils jettent parfois accidentellement les « bonnes choses » (comme la texture du visage d'une personne ou les nuages dans le ciel). Ils s'emmêlent les pinceaux, ne sachant pas ce qu'il faut garder et ce qu'il faut jeter. Ce document s'attaque à cette confusion en apprenant à l'ordinateur exactement comment séparer les déchets du trésor.

Le document présente un nouveau système appelé DAR-Net, qui agit comme un éditeur doté d'un double cerveau super intelligent pour réparer les photos. Les auteurs ont remarqué que les méthodes existantes souffrent d'une « ambiguïté duale », une façon sophistiquée de dire que l'ordinateur s'embrouille de deux manières spécifiques. Premièrement, il se trompe sur ce qu'est le problème (Ambiguïté Sémantique), et deuxièmement, il se trompe sur l'endroit où il faut intervenir (Ambiguïté Spatiale). Pour y remédier, DAR-Net utilise trois astuces ingénieuses.

Premièrement, il utilise une Représentation d'Archétype de Dégradation (DAR). Voyez cela comme un « menu des désastres ». Au lieu d'essayer de mémoriser chaque façon possible dont une photo peut être gâchée, le système apprend un petit ensemble d'« archétypes » de base (comme un motif de pluie de base, un motif de brouillard de base, etc.). Lorsqu'une nouvelle photo arrive, le système détermine quel mélange de ces désastres de base est présent, créant ainsi une « recette » claire de ce qui doit être supprimé.

Deuxièmement, il utilise une Rectification de l'Ambiguïté Sémantique (SeAR). C'est comme un filtre intelligent qui dit à l'ordinateur : « Hé, concentre-toi sur ces canaux d'information spécifiques pour supprimer la pluie, mais ignore ces autres canaux pour ne pas supprimer les nuages. » Il génère un « prompt » spécial (un ensemble d'instructions) basé sur la recette du désastre pour s'assurer que l'ordinateur sache exactement ce qu'il doit cibler.

Troisièmement, et c'est le plus important, il utilise une Rectification de l'Ambiguïté Spatiale (SpAR). C'est l'arbitre du « garder vs supprimer ». Même avec les bonnes instructions, l'ordinateur peut encore essayer de corriger les mauvais endroits. SpAR force les signaux de « suppression » et les signaux de « conservation » à vivre dans des espaces totalement distincts et non chevauchants. Imaginez que vous essayiez de trier des billes rouges et bleues ; SpAR garantit que les billes rouges (les mauvaises choses) vont dans une boîte et les billes bleues (les bonnes choses) dans une autre, afin qu'elles ne se mélangent plus jamais.

Les résultats sont impressionnants. Les auteurs ont testé DAR-Net sur des benchmarks standards où les photos étaient gâchées par trois types de problèmes différents (comme la pluie, le brouillard et le bruit) et ont constaté qu'il surpassait les meilleures méthodes précédentes d'une moyenne de 0,14 dB en PSNR (une mesure de la qualité d'image). Lorsqu'ils ont poussé le test à cinq types de problèmes différents, il a battu la concurrence de 0,34 dB. Il a également très bien fonctionné sur des photos du monde réel avec des problèmes météorologiques mixtes, montant qu'il ne fonctionne pas seulement sur des données de test parfaites, mais qu'il peut gérer la réalité désordonnée d'une journée pluvieuse et brumeuse.

Le document suggère qu'en apprenant explicitement à l'ordinateur à distinguer « ce qu'il faut supprimer » de « ce qu'il faut préserver », plutôt que de les laisser s'emmêler, nous pouvons construire des outils beaucoup plus fiables pour restaurer nos souvenirs numériques. Bien que le système soit complexe et nécessite des ordinateurs puissants pour fonctionner, les auteurs démontrent que cette approche de « rectification de l'ambiguïté duale » est une voie prometteuse pour créer des correcteurs de photos tout-en-un qui fonctionnent réellement aussi bien qu'ils le promettent.

Résumé Technique : Ce qu'il faut supprimer, ce qu'il faut préserver : Rectification de la double ambiguïté pour la restauration d'images « tout-en-un »

Énoncé du problème

La restauration d'images « tout-en-un » (All-in-one image restoration, AIR) vise à récupérer un contenu visuel propre à partir de diverses dégradations (par exemple, le bruit, la brume, la pluie, le flou) au sein d'un cadre unique et unifié. Bien que les méthodes existantes soient passées de modèles spécifiques à une tâche vers une restauration conditionnelle à squelette partagé (utilisant souvent des prompts ou des mélanges d'experts/Mixture-of-Experts), elles font face à une limitation fondamentale : l'enchevêtrement dégradation-contenu. Dans les pipelines unifiés actuels, les indices liés à la dégradation et les représentations du contenu de la scène sont souvent encodés de manière enchevêtrée dans un espace latent partagé.

Les auteurs caractérisent cet enchevêtrement comme une double ambiguïté, menant à deux modes de défaillance typiques :

Ambiguïté sémantique (par canal) : Les indices de dégradation et les représentations de contenu sont enchevêtrés dans la dimension des canaux, ce qui rend la modulation sensible à la dégradation moins discriminante. Cela provoque une corruption du contenu, où des détails fidèles de l'image sont accidentellement supprimés en même temps que la dégradation.
Ambiguïté spatiale (dimension spatiale) : L'enchevêtrement dans la dimension spatiale affaiblit la sélectivité des réponses de restauration, entraînant une dégradation résiduelle, où les artefacts ne sont pas suffisamment supprimés.

Méthodologie : DAR-Net

Pour répondre à ces problèmes, les auteurs proposent DAR-Net (Dual-Ambiguity Rectification Network), basé sur un squelette Transformer hiérarchique en forme de U. Le réseau utilise un pipeline de rectification en trois étapes pour désenchevêtrer la dégradation et le contenu dans les dimensions de canal et spatiale :

Représentation de l'archétype de dégradation (DAR) :
- Au lieu de traiter la dégradation comme un vecteur unique, DAR construit un état de dégradation structuré à l'aide d'une modélisation de mélange d'archétypes contrainte par un simplexe.
- Un réseau de conditionnement léger extrait les caractéristiques de l'entrée, qui sont ensuite projetées vers des coefficients de mélange ( $\alpha$ ) via une opération Softmax. Ces coefficients représentent l'entrée comme une combinaison convexe de $K$ archétypes de dégradation ( $A$ ) apprenables.
- L'état de dégradation résultant ( $S_{deg} = A\alpha$ ) sert de priorité structurée pour la rectification ultérieure, garantissant que la représentation de la dégradation se situe dans un espace géométriquement contraint.
Rectification de l'ambiguïté sémantique (SeAR) :
- Ce module traite l'enchevêtrement par canal à l'aide de deux sous-composants :
  - Générateur de prompt guidé par l'archétype (AGPG) : Génère un prompt de base à partir des caractéristiques d'entrée et le affine en utilisant l'état de dégradation ( $S_{deg}$ ) via un routage par canal. Cela produit un prompt sensible à la dégradation qui accentue les canaux cohérents avec la dégradation inférée tout en supprimant les canaux non pertinents.
  - Intégrateur de prompt sensible à la dégradation (DAPI) : Injecte le prompt affiné dans les étapes du décodeur en utilisant des mécanismes d'attention par canal pour moduler les caractéristiques en fonction de la condition de dégradation.
- Crucialement, à l'étape la plus profonde du décodeur, SeAR dérive une caractéristique de contenu complémentaire ( $F_c$ ) en effectuant une soustraction résiduelle ( $F_{in} - F_{dp}$ ), où $F_{dp}$ est la caractéristique du prompt sensible à la dégradation.
Rectification de l'ambiguïté spatiale (SpAR) :
- Pour traiter l'enchevêtrement spatial, SpAR introduit une stratégie de Rectification de sous-espace orthogonal (OSR).
- Il prend le prompt sensible à la dégradation ( $F_{dp}$ ) et la caractéristique de contenu complémentaire ( $F_c$ ) et les projette dans des sous-espaces apprenables.
- Un terme de perte ( $L_{OSR}$ ) est appliqué pour minimiser la matrice de Gram croisée entre les espaces de lignes de ces deux caractéristiques. Cela force les représentations liées à la dégradation et celles liées au contenu à occuper des sous-espaces spatiaux orthogonaux, séparant efficacement « ce qu'il faut supprimer » de « ce qu'il faut préserver ».

Objectif d'entraînement : Le réseau est entraîné avec une perte de reconstruction pixel par pixel L1 et la perte de régularisation d'orthogonalité ( $L_{OSR}$ ).

Contributions clés

Cadre de double ambiguïté : L'article identifie et formalise le problème de l'ambiguïté sémantique (canal) et spatiale dans l'AIR, proposant un cadre unifié pour rectifier les deux.
Modélisation structurée de la dégradation : L'introduction du module DAR, qui modélise les états de dégradation comme des mélanges d'archétypes contraints par un simplexe, fournissant un a priori plus structuré que les vecteurs de conditionnement standards.
Séparation orthogonale : La conception du module SpAR, qui impose explicitement l'orthogonalité entre les caractéristiques de dégradation et de contenu dans la dimension spatiale pour éviter les interférences.
Rectification basée sur les prompts : Une nouvelle approche pour générer des prompts sensibles à la dégradation qui sont affinés par le guidage d'archétype et intégrés via l'attention par canal.

Résultats expérimentaux

DAR-Net a été évalué sur des benchmarks standards de restauration « tout-en-un » sous des configurations de trois dégradations (3D) et cinq dégradations (5D), ainsi que sur des jeux de données de dégradations mixtes (CDD-11) et réelles (WeatherBench).

Configuration 3D : DAR-Net a obtenu les meilleures performances globales avec un PSNR moyen de 33,05 dB et un SSIM de 0,922, surpassant le concurrent le plus fort (MIRAGE) de 0,14 dB en PSNR moyen. Il arrive premier pour la désembuage, le décrêtage et tous les niveaux de débruitage.
Configuration 5D : Dans la configuration 5D plus exigeante (incluant le défloutage et la faible luminosité), DAR-Net a atteint un PSNR moyen de 31,02 dB et un SSIM de 0,921, dépassant la deuxième meilleure méthode de 0,34 dB.
Mixte et Réel : Sur le jeu de données CDD-11 (couvrant de simples à triples dégradations), DAR- appelé DAR-Net a obtenu le PSNR/SSIM moyen le plus élevé (29,73/0,888). Sur le jeu de données réel WeatherBench, il a démontré des performances supérieures pour la désembuage, le déneigement et le décrêtage, avec une forte qualité perceptuelle (faibles valeurs LPIPS et FID).
Efficacité : Avec 35,5 millions de paramètres et 771 G FLOPs, DAR-Net maintient une efficacité d'inférence compétitive (latence de 165 ms sur des images 720x480), étant plus rapide que plusieurs bases de pointe comme PromptIR et DFPIR.

Signification et affirmations

L'article affirme que la contribution principale de DAR-Net réside dans sa modélisation explicite de « ce qu'il faut supprimer et ce qu'il faut préserver ». En traitant la double ambiguïté qui frappe les modèles de restauration unifiés existants, la méthode atténue efficacement le compromis entre la suppression de la dégradation et la préservation du contenu.

Les auteurs soulignent que leur approche ne repose pas sur l'augmentation de la capacité du modèle par des comptes de paramètres massifs ou un routage complexe seul, mais plutôt sur la rectification structurelle de l'espace des caractéristiques. Les résultats suggèrent que l'imposition de l'orthogonalité entre les représentations de dégradation et de contenu est un facteur critique pour obtenir une restauration d'image « tout-en-un » de haute fidélité et généralisable. Ce travail offre une nouvelle perspective pour les futurs cadres de restauration unifiés, déplaçant l'attention du simple partage de caractéristiques vers le désenchevêtrement actif des indices de restauration.