Real-World Scene Recovery for Scattering-Degraded Images Using Spatial and Frequency Priors

Résumé technique : Restauration de scènes réelles pour des images dégradées par diffusion à l'aide d'aprioris spatiaux et fréquentiels

Énoncé du problème
La restauration de scènes à partir d'images dégradées par des effets de diffusion — tels que le brouillard, les tempêtes de sable, les conditions sous-marines et les environnements de télédétection — demeure un défi fondamental en vision par ordinateur. Ces dégradations introduisent des composantes de voile additif et réduisent la transmission directe, entraînant une baisse du contraste, une distorsion des couleurs et une perte de détails structurels. Cela altère considérablement la perception visuelle et les performances des tâches en aval telles que la détection d'objets et la segmentation. Les solutions existantes se divisent généralement en deux catégories : les méthodes basées sur des aprioris et les méthodes basées sur l'apprentissage. Les approches basées sur des aprioris reposent souvent sur un seul apriori conçu pour des scénarios spécifiques (par exemple, le brouillard diurne), échouant à se généraliser à travers des dégradations de diffusion diverses et hétérogènes. À l'inverse, les méthodes basées sur l'apprentissage, bien que puissantes, nécessitent généralement de vastes données d'entraînement synthétiques, souffrent de décalages de domaine lorsqu'elles sont appliquées à des scénarios réels et exigent des ressources de calcul substantielles.

Méthodologie : Aprioris spatiaux et fréquentiels (SFP)
Les auteurs proposent un cadre novateur, les Aprioris spatiaux et fréquentiels (SFP), conçu pour restaurer des scènes à partir d'images dégradées par diffusion dans le monde réel sans dépendre de vastes données d'entraînement. Le cadre fonctionne en trois étapes principales :

1. Apriori du domaine spatial (SDP) :

   • Observation : Les auteurs observent que l'inverse d'une image dégradée par diffusion ($1 - I(x)$) révèle une projection le long de sa direction spectrale qui corrèle avec la transmission de la scène sous-jacente.
   • Mécanisme : La direction spectrale $S(x)$ est modélisée comme les gradients des trois canaux de couleur. La méthode projette l'image dégradée inversée sur cette direction spectrale pour estimer la carte de transmission de la scène $t(x)$.
   • Restauration : Une fois $t(x)$ et la lumière atmosphérique globale $A$ estimés, la radiance de la scène $J(x)$ est restaurée en inversant le modèle de diffusion atmosphérique (ASM).

2. Aprioris du domaine fréquentiel (FDP) :

   • Observation 1 (Composantes DC) : Dans les images claires, l'intensité moyenne des composantes de courant continu (DC) à travers les canaux approxime la valeur DC moyenne de l'image dégradée correspondante.
   • Observation 2 (Fréquences radiales basses) : Dans les images claires, les basses fréquences radiales (dans une bande étroite, $\rho(x) < 0,001$) ne contribuent qu'à une petite proportion (environ 1 %) du spectre global. Des proportions plus élevées indiquent une dégradation sévère.
   • Mécanisme : Sur la base de ces observations, un masque adaptatif $M_C(x)$ est construit pour effectuer une amélioration dans le domaine fréquentiel. Les paramètres du masque sont déterminés de manière adaptative pour aligner les composantes DC et restaurer la proportion des basses fréquences à la ligne de base attendue de 1 %, compensant ainsi efficacement l'atténuation induite par la diffusion.

3. Stratégie de fusion pondérée :

   • L'image restaurée finale est obtenue en fusionnant l'image restaurée dans le domaine spatial, l'image améliorée dans le domaine fréquentiel et l'entrée originale.
   • La fusion est effectuée dans l'espace colorimétrique Lab. Pour les canaux $a$ et $b$, des poids sont attribués en fonction de la neutralité des couleurs (valeurs moyennes proches de zéro). Pour le canal $L$ (luminance), une transformée en ondelettes discrète (DWT) est utilisée, conservant les composantes de basse fréquence du résultat spatial et fusionnant les composantes de haute fréquence selon une stratégie de valeur maximale.
   • Un post-traitement (correction gamma et compression HDR) est appliqué pour améliorer la cohérence visuelle.

Contributions clés

• Cadre novateur : L'introduction de SFP, qui exploite conjointement des aprioris complémentaires dans les domaines spatial et fréquentiel, dépassant les limites des approches à domaine unique ou à apriori unique.
• Nouveaux aprioris :
  • Un apriori spatial qui exploite les propriétés spectrales pour projeter l'image dégradée inversée sur la direction spectrale, approximatant la transmission de la scène.
  • Deux aprioris fréquentiels utilisant les caractéristiques statistiques des composantes DC et des basses fréquences radiales pour construire un masque adaptatif pour une amélioration consciente de la dégradation.
• Généralisation : La méthode atteint des performances supérieures dans divers scénarios réels (brouillard, tempête de sable, sous-marin, télédétection) sans nécessiter de vastes ensembles de données d'entraînement synthétiques.
• Capacité Plug-and-Play : L'apriori du domaine fréquentiel peut être intégré avec des aprioris existants du domaine spatial pour améliorer leurs performances, démontrant une flexibilité.

Résultats expérimentaux
Des expériences extensives ont été menées sur divers ensembles de données réels, notamment FTD, DHQ, HSTS, Fattal (brouillard) ; DID, DAWN (tempête de sable) ; UIEB, U45, UCCS, UHTS (sous-marin) ; et UAV, RRSHID, RRSD (télédétection). De plus, la méthode a été testée sur des ensembles de données à dégradation mixte (RUSH) et des scènes de brouillard nocturne complexes (NHRW, RealNightHaze).

• Performance quantitative : SFP a constamment surpassé plus de 50 méthodes de l'état de l'art (à la fois basées sur des aprioris et basées sur l'apprentissage) sur plusieurs métriques (NIMA, FADE, NIQE, UCIQE). Par exemple, sur des ensembles de données réels de brouillard, elle a amélioré les scores NIMA moyens d'environ 0,66 % et réduit le FADE de 17,64 %. Sur des ensembles de données sous-marins, elle a amélioré les scores UCIQE de 6,70 %.
• Qualité visuelle : Les comparaisons visuelles ont démontré que SFP élimine efficacement le brouillard et le biais de couleur tout en préservant les détails structurels fins et en maintenant une apparence naturelle des couleurs, évitant les artefacts de halo ou la sur-amélioration courants dans d'autres méthodes.
• Tâches en aval : Le cadre a considérablement amélioré les performances dans les tâches de vision de haut niveau. Utilisé comme étape de prétraitement pour la détection d'objets (YOLOv8), SFP a atteint la précision moyenne la plus élevée parmi les catégories (Personne, Vélo, Voiture, Moto, Bus) par rapport aux autres méthodes de débrumage. Elle a également amélioré les résultats dans la détection de points clés et la segmentation d'images.

Signification et affirmations
L'article affirme que SFP répond aux limitations critiques des méthodes existantes : le manque d'adaptabilité des aprioris à domaine unique et la mauvaise généralisation des méthodes pilotées par les données aux scénarios réels. En modélisant conjointement les caractéristiques de dégradation dans les domaines spatial et fréquentiel, SFP fournit une solution robuste, sans paramètres, qui ne dépend pas de ressources de calcul lourdes ni de données synthétiques. Les auteurs soulignent que la méthode est particulièrement efficace dans des scénarios de dégradation complexes et couplés, tels que le brouillard nocturne, et sert d'étape de prétraitement fiable pour améliorer la fiabilité des systèmes basés sur la vision dans les applications réelles.