💻 computer science

Backbone-Agnostic Perturbation-Induced Uncertainty Learning for End-to-End Real-World Image Dehazing

Cet article propose BPUL, un cadre d'apprentissage de l'incertitude prêt à l'emploi qui améliore le désembuage d'images en temps réel de bout en bout en estimant la sensibilité des caractéristiques via des perturbations apprenables, en imposant une cohérence de dégradation avec des priors physiques et en utilisant une perte contrastive à double espace, tout en maintenant un surcoût d'inférence marginal.

Auteurs originaux : Bingcai Wei

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bingcai Wei

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prendre une photo nette d'un ami, mais qu'un brouillard épais et irrégulier s'installe. Parfois, le brouillard est très dense près du sol, parfois il est léger et vaporeux, et parfois la lumière du soleil l'atteint de manières étranges, ce qui le fait paraître différent d'un endroit à l'autre. Essayer de corriger cette photo sur un ordinateur, c'est comme essayer de deviner à quoi ressemble votre ami sans jamais l'avoir vu clairement.

Pendant longtemps, des programmes informatiques ont tenté de résoudre cela en agissant comme un devineur super intelligent. Ils regardaient l'image brumeuse et disaient : « Je pense que la version propre est celle-ci », et ils la dessinaient simplement. Mais les auteurs de ce papier, Bingcai Wei et son équipe, ont réalisé que ces programmes passaient à côté d'une pièce cruciale du puzzle : l'incertitude. Ils étaient trop confiants dans leurs suppositions, même lorsque le brouillard était difficile.

La grande idée : « Et si je poussais un peu ? »

Au lieu de simplement deviner la réponse, l'équipe a construit un nouveau système appelé BPUL (Backbone-Agnostic Perturbation-Induced Uncertainty Learning). Pensez à cela comme un détective qui ne se contente pas de regarder la scène de crime, mais qui demande aussi : « Et si je déplaçais cette chaise d'un pouce seulement ? L'histoire aurait-elle toujours du sens ? »

Voici comment fonctionne leur kit de détective en trois parties :

1. Le détecteur de « poussée » (LPUM)
Imaginez que vous avez une sculpture faite d'argile. Si vous la poussez doucement en un point et qu'elle vacille beaucoup, cet endroit est instable et incertain. Si vous la poussez ailleurs et qu'elle ne bouge pas, cette partie est solide.
Le système de l'équipe, appelé LPUM, fait exactement cela à la « mémoire » de l'ordinateur (le réseau de traitement d'image). Il ajoute de minuscules « poussées » aléatoires (perturbations) aux données de l'image.

Si la supposition de l'ordinateur change radicalement après une poussée, le système sait : « Oula, cette partie est brumeuse et confuse ! Je dois être extra prudent ici. »
Si la supposition reste la même, le système dit : « D'accord, cette partie est claire. Je peux lui faire confiance. »
Cela permet à l'ordinateur d'ajuster sa concentration, en prêtant une attention particulière aux endroits brumeux et difficiles, sans avoir besoin de reconstruire tout le cerveau de l'ordinateur de zéro. Cela fonctionne avec presque tous les programmes de correction d'image existants, comme un module complémentaire pour un jeu vidéo.

2. L'ingénieur inverse (PURM)
Une fois que l'ordinateur a fait sa meilleure supposition d'une image propre, le système joue à un jeu inversé. Il prend cette supposition de « propre » et essaie de la transformer à nouveau en l'image brumeuse de départ, en utilisant les lois de la physique (la façon dont la lumière voyage réellement à travers le brouillard).

Si la version « propre » rétro-ingéniérée ressemble exactement à l'image brumeuse de départ, super ! Cela signifie que la supposition est physiquement possible.
Si le brouillard rétro-ingéniéré ne ressemble en rien à l'original, le système sait que la supposition était fausse et réessaie.
C'est comme un chef qui goûte une soupe, puis essaie de recréer la liste exacte des ingrédients à partir du goût. Si la liste ne correspond pas à la recette originale, le chef sait qu'il a raté quelque chose.

3. Le test de réalité (D3CL)
Enfin, le système utilise une règle de notation spéciale appelée D3CL. Imaginez que vous enseignez à un élève comment dessiner un chat.

Le bon : Vous lui montrez une vraie photo d'un chat (la cible propre).
Le mauvais : Vous lui montrez l'image d'un chien (un échantillon « négatif ») et vous dites : « Ne dessine pas ça ! »
Le rebondissement : Dans le monde réel, le brouillard n'est pas une chose unique. Parfois il est épais, parfois il est fin, parfois il est à l'intérieur, parfois à l'extérieur. L'équipe a réalisé que montrer à l'ordinateur uniquement un type d'image brumeuse ne suffisait pas. Ils ont donc injecté un mélange de vraies photos brumeuses et de photos brumeuses générées par ordinateur comme « mauvais exemples ».
Cela apprend à l'ordinateur à reconnaître que le brouillard prend de nombreuses formes et tailles, l'aidant à éviter d'être confus par des éclairages bizarres ou des textures étranges.

Est-ce que cela fonctionne vraiment ?

L'équipe a testé ce système sur cinq différents ensembles de photos brumeuses du monde réel (nommés Dense-Haze, I-HAZE, O-HAZE, NH-HAZE et LMHaze). Ils n'ont pas seulement testé un type de brouillard ; ils ont testé le brouillard épais, le brouillard fin, le brouillard intérieur et le brouillard extérieur.

Les résultats sont assez impressionnants. Lorsqu'ils ont ajouté leur « Détecteur de poussée » à quatre programmes populaires de correction d'image, la qualité des images s'est améliorée.

Pour le programme MIMOUNet, la qualité de l'image s'est améliorée de 1,13 dB (une mesure de clarté) et de 0,031 sur l'échelle de similitude structurelle.
Pour HOGformer-S, elle a bondi de 1,48 dB et 0,061.
Globalement, le système a rendu les images plus proches des versions réelles sans brouillard et moins semblables à des suppositions floues et délavées.

Le meilleur des deux mondes : C'est rapide

Habituellement, lorsque vous ajoutez un tas de vérifications intelligentes à un programme informatique, celui-ci devient plus lent. Mais voici l'astuce géniale : l'« Ingénieur inverse » et le « Test de réalité » ne se produisent que pendant que l'ordinateur apprend (entraînement). Une fois que l'ordinateur a fini d'étudier, il jette ces outils lourds.
Lorsque vous utilisez réellement le programme pour corriger une photo, il n'utilise que le léger « Détecteur de poussée ». Cela signifie que vous obtenez des images super nettes sans que l'ordinateur ne ralentisse.

Ce qu'ils n'ont pas dit

Il est important de savoir ce que ce papier ne prétend pas. Les auteurs n'ont pas dit qu'ils avaient « résolu » le problème du brouillard pour toujours. Ils n'ont pas dit que cela fonctionnerait sur absolument chaque type d'image de l'univers. Ils ont spécifiquement noté que, bien que leur système soit excellent pour gérer l'incertitude du brouillard du monde réel, il ne remplace pas le besoin de bonnes données d'entraînement. De plus, ils n'ont pas prétendu que cela fonctionnait sur les vidéos ou les films 3D pour l'instant ; ils se sont concentrés strictement sur la correction d'images fixes uniques.

Ce qu'il faut retenir

La conclusion principale est qu'en admettant « Je ne suis pas sûr à 100 % de cette partie de l'image » et en testant la réaction de l'image à de minuscules changements, les ordinateurs peuvent corriger les photos brumeuses bien mieux qu'auparavant. C'est un peu comme réaliser que la meilleure façon de trouver son chemin dans une forêt embrumée n'est pas seulement de deviner le chemin, mais de tâter le sol, d'écouter le vent et de vérifier sa carte sous tous les angles avant de faire un pas. Et le meilleur dans tout ça ? Vous n'avez pas besoin d'un sac à dos plus gros pour le faire.

Résumé Technique : Apprentissage de l'Incertitude Induit par la Perturbation Indépendant du Backbone pour le Dévoilement d'Images en Conditions Réelles de Bout en Bout

Énoncé du Problème

Le dévoilement d'images en conditions réelles reste un problème mal posé et complexe en raison de la nature de la dégradation par le brouillard, qui est spatialement non uniforme, dépendante de l'illumination et physiquement ambiguë. Alors que les réseaux de restauration de bout en bout existants formulent généralement le dévoilement comme une application déterministe d'une observation brumeuse vers une cible propre, ils échouent souvent à explorer explicitement l'incertitude cachée dans les caractéristiques dégradées, les priors de brouillard et les échantillons négatifs inter-domaines. Même avec des jeux de données appariés du monde réel (par exemple, I-HAZE, O-HAZE, Dense-Haze), la reconstruction pixel par pixel seule peut entraîner des structures trop lissées ou des déviations de couleur car l'apprentissage supervisé standard ne tient pas compte de la sensibilité variable de différents canaux de caractéristiques et de localisations spatiales face au brouillard. De plus, les méthodes existantes manquent souvent de mécanismes pour vérifier si une image restaurée est physiquement cohérente avec le processus de formation du brouillard observé ou pour séparer efficacement les cibles propres des domaines de dégradation réels et synthétiques dans l'espace des caractéristiques.

Méthodologie : Cadre BPUL

Les auteurs proposent le Backbone-Agnostic Perturbation-Induced Uncertainty Learning (BPUL), un cadre "plug-and-play" conçu pour modéliser l'incertitude des caractéristiques sensibles à la dégradation sans nécessiter de redéfinition du backbone de restauration sous-jacent. BPUL se compose de trois composants complémentaires :

1. Modulateur d'Incertitude Induit par la Perturbation Apprenable (LPUM)

Le LPUM est le module d'inférence central inséré dans les couches intermédiaires d'un backbone de restauration (CNN, Transformer ou hybride). Il fonctionne par :

Perturbation Stochastique : Injection de perturbations stochastiques apprenables dans les cartes de caractéristiques intermédiaires. Il estime les distributions de perturbation par canal et par espace en utilisant un échantillonnage reparamétré (prédiction de la moyenne et du logarithme de l'écart-type).
Réponse à l'Incertitude : Comparaison de la réponse de la caractéristique originale avec la réponse perturbée alignée de manière inverse pour calculer une carte de divergence. Cette divergence mesure la sensibilité de canaux et de localisations spatiales spécifiques aux perturbations liées au brouillard.
Modulation de Caractéristiques : Conversion de ces divergences en poids de modulation (via des mappages à porte sigmoïde) qui mettent à l'échelle les caractéristiques de manière adaptative. Les réponses stables indiquent un contenu fiable, tandis que les changements brusques après perturbation mettent en évidence les régions sensibles à la dégradation nécessitant une modulation.

2. Module de Reconstruction Guidé par l'Incertitude et l'Information de Prior (PURM)

Le PURM agit comme une contrainte lors de la phase d'entraînement pour imposer une cohérence physique. Il reconstruit l'observation brumeuse originale ( $\hat{I}$ ) à partir de l'image restaurée ( $\hat{J}$ ) en utilisant le modèle de diffusion atmosphérique :
$\hat{I}(x) = \hat{T}(x)\hat{J}(x) + (1 - \hat{T}(x))\hat{A}(x)$

Injection de Prior : Il utilise les estimations du Dark Channel Prior (DCP) pour la transmission ( $T_d$ ) et la lumière atmosphérique ( $A_d$ ), en les injectant via concaténation et modulation affine latente.
Couplage d'Incertitude : Crucialement, le PURM hérite des indices de perturbation ( $N_c, N_s$ ) générés par le bloc LPUM du backbone (via un bloc I-LPUM hérité) plutôt que d'apprendre de nouvelles perturbations. Cela garantit que les régions identifiées comme sensibles lors du dévoilement direct influencent également la reconstruction inverse du brouillard.
Perte : Une perte de reconstruction ( $L_{rec}$ ) minimise la différence entre l'image brumeuse reconstruite et l'entrée originale.

3. Perte Contrastive de Distribution Diversifiée sur Double Espace (D3CL)

La D3CL régularise les distributions de caractéristiques à la fois dans l'espace de restauration propre et dans l'espace de reconstruction brumeuse.

Double Espace : Elle applique l'apprentissage contrastif à la fois sur la sortie dévoilée ( $\hat{J}$ ) et sur l'image brumeuse reconstruite ( $\hat{I}$ ).
Négatifs Diversifiés : Au lieu d'utiliser uniquement l'entrée brumeuse appariée comme négatif, elle emploie :
- Négatifs du monde réel : Des images brumeuses non correspondantes provenant d'autres paires d'entraînement pour modéliser le domaine de dégradation plus large du monde réel.
- Négatifs synthétiques : Pour couvrir les distributions de brouillard synthétique.
Caractéristiques Stochastiques : Pour approximer efficacement des représentations dépendantes de la distribution, les caractéristiques perceptuelles (extraites via un VGG-19 gelé) sont perturbées en fonction de leur magnitude d'activation, évitant ainsi des inférences de Monte Carlo coûteuses.
Objectif : La perte attire l'ancre vers le positif (propre ou brumeux original) et l'éloigne des négatifs réels et synthétiques dans un espace perceptuel sensible à la perturbation.

Entraînement vs Inférence : Le cadre complet (LPUM + PURM + D3CL) est utilisé pendant l'entraînement. Lors de l'inférence, seul le backbone amélioré par le léger LPUM est conservé ; le PURM et la D3CL sont écartés, garantissant un surcoût computationnel minimal.

Principales Contributions

Cadre BPUL : Introduction d'un cadre d'apprentissage d'incertitude indépendant du backbone qui modélise explicitement l'incertitude des caractéristiques sensibles à la dégradation par des perturbations stochastiques apprenables.
LPUM : Un module qui estime les réponses d'incertitude par canal et par espace à partir des divergences induites par la perturbation, permettant une modulation adaptative des caractéristiques sans modifier l'architecture du backbone.
PURM : Un module de reconstruction qui impose une contrainte de cohérence physique bidirectionnelle en reconstruisant l'observation brumeuse à partir du résultat restauré, guidé par des priors de transmission/atmosphériques et des indices d'incertitude partagés.
D3CL : Une perte contrastive à double espace qui régularise à la fois les espaces propres et brumeux en utilisant des négatifs réels et synthétiques dans un espace de caractéristiques sensible à la perturbation.
Validation Empirique : Expériences approfondies démontrant que BPUL améliore systématiquement plusieurs backbones représentatifs (MIMOUNet, IRNeXt, HOGformer-S, VIVNet) sur cinq benchmarks appariés du monde réel.

Résultats Expérimentaux

Les auteurs ont évalué BPUL sur cinq benchmarks appariés du monde réel : Dense-Haze, I-HAZE, O-HAZE, NH-HAZE, et LMHaze.

Performance : BPEL a systématiquement amélioré les quatre backbones testés. En moyenne, il améliore MIMOUNet de 1,13 dB / 0,031 SSIM, IRNeXt de 0,96 dB / 0,021 SSIM, HOGformer-S de 1,48 dB / 0,061 SSIM, et VIVNet de 1,09 dB / 0,038 SSIM.
Généralité : La méthode a montré une robustesse à travers différents types de dégradations (intérieur/extérieur, homogène/non-homogène, intensités variables) et différentes architectures de backbone (CNN, Transformer, hybride).
Efficacité : Étant donné que le PURM et la D3CL sont des contraintes uniquement d'entraînement, le coût d'inférence est marginal, limité uniquement aux opérations légères du LPUM.
Études d'Ablation :
- Supprimer soit la branche par canal, soit la branche spatiale dans le LPUM a dégradé les performances, confirmant la nécessité d'une modélisation conjointe.
- Supprimer la génération de perturbation apprenable a réduit le PSNR, soulignant l'importance des distributions apprises.
- Dans le PURM, supprimer les entrées de prior ou la modulation d'incertitude a considérablement abaissé la performance, et le partage des perturbations entre les modules de flux direct et inverse s'est avéré supérieur à une estimation indépendante.
- L'ablation de la D3CL a montré que l'utilisation de négatifs réels non correspondants, de négatifs synthétiques et de caractéristiques VGG stochastiques améliorait progressivement les résultats, la formulation complète à double espace offrant les gains les plus importants.

Signification et Revendications

L'article affirme que BPUL fournit une approche générale et efficace pour renforcer les réseaux de dévoilement d'images en conditions réelles. En apprenant explicitement l'incertitude sensible à la dégradation et en imposant une cohérence de dégradation bidirectionnelle, le cadre traite l'ambiguïté inhérente au brouillard réel que les mappages déterministes manquent souvent. Les auteurs soulignent que BPEL est indépendant du backbone, ce qui signifie qu'il peut être intégré dans les réseaux de restauration de pointe existants avec une intervention architecturale minimale tout en offrant des gains de restauration substantiels. L'approche passe d'un traitement purement déterministe à un traitement conscient de l'incertitude, offrant une manière rigoureuse de gérer les ambiguïtés physiques du brouillard réel sans engendrer de surcoût d'inférence significatif.