💻 computer science

Variational Deep Unfolding with Mamba-Based Nonlocal Modeling for Underwater Image Enhancement

Cet article propose un réseau de déploiement profond variationnel pour l'amélioration d'images sous-marines qui intègre une formulation variationnelle basée sur le désembuage avec des couches Mamba pour une modélisation non locale efficace et une perte de trajectoire proximale afin d'atteindre des performances visuelles et quantitatives supérieures.

Auteurs originaux : Daniel Torres, Julia Navarro, Catalina Sbert, Joan Duran

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Daniel Torres, Julia Navarro, Catalina Sbert, Joan Duran

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prendre une photo magnifique d'un récif corallien, mais que l'eau est trouble, verte et brumeuse. Les couleurs semblent délavées et les détails sont flous. C'est le combat quotidien de l'imagerie sous-marine.

Le document que vous avez partagé propose un nouveau « filtre intelligent » pour corriger ces photos. Au lieu de simplement deviner comment réparer l'image, les auteurs ont construit un système qui combine la physique traditionnelle avec l'IA moderne. Voici comment ils ont procédé, expliqué simplement :

1. Le Problème : La « Recette de l'Eau Trouble »

Les auteurs partent d'une recette connue de la façon dont les images sous-marines sont gâchées. Ils affirment qu'une mauvaise photo sous-marine est essentiellement un mélange de trois éléments :

La Scène Réelle : Ce que vous voulez réellement voir.
La Brume : Comme du brouillard, mais sous l'eau, causée par la lumière qui rebondit sur les particules.
Le Bruit : Des grains aléatoires et des distorsions de couleurs.

La plupart des anciennes méthodes essayaient de corriger cela soit en augmentant simplement la luminosité de l'image (comme si l'on allumait la lumière dans une pièce sombre), soit en utilisant des formules mathématiques complexes basées sur la physique. Le problème ? Les formules mathématiques sont trop rigides, et les méthodes consistant à « juste éclaircir » rendent souvent l'image artificielle ou aux couleurs étranges.

2. La Solution : Une Machine de « Dépliage Intelligent »

Les auteurs ont créé un nouveau système appelé Réseau de Dépliage Profond (Deep Unfolding Network). Considérez cela comme un cours de cuisine étape par étape plutôt qu'un micro-ondes magique.

La partie « Dépliage » : Imaginez que vous avez une équation mathématique complexe qui décrit comment nettoyer l'eau. Habituellement, on résout cette équation étape par étape, comme on épluche un oignon couche par couche. Les auteurs ont pris ces étapes spécifiques et les ont transformées en un mini-cerveau d'IA.
La partie « Apprentissage Profond » : Au lieu de coder en dur les règles pour chaque couche de l'oignon, ils ont laissé l'IA apprendre la meilleure façon de le faire en observant des milliers d'exemples de mauvaises photos et de leurs versions parfaites.
Le Résultat : Le système ne se contente pas de deviner ; il suit un chemin logique basé sur la physique, mais utilise l'IA pour prendre les décisions à chaque étape.

3. Les Ingrédients Secrets

Pour que ce système fonctionne mieux que tout ce qui existe, ils ont ajouté deux ingrédients spéciaux :

Le Moteur « Mamba » :
Généralement, les modèles d'IA qui examinent l'image entière (pour voir comment un poisson à gauche est lié à un rocher à droite) sont très lents et gourmands en puissance informatique. Les auteurs ont utilisé une nouvelle technologie appelée Mamba (basée sur les « Modèles d'Espace d'États »).
- Analogie : Imaginez que vous essayez de lire un livre. Les anciens modèles d'IA lisent chaque mot, vérifient toute la page, puis passent à la ligne suivante. Mamba est comme un lecteur super rapide capable de comprendre instantanément le flux de l'histoire et comment le début se connecte à la fin sans se fatiguer ni avoir besoin d'une immense bibliothèque de mémoire. Cela permet au système de saisir la « vue d'ensemble » de la scène sous-marine de manière très efficace.
Le Détective « Non-Local » :
Sous l'eau, un poisson peut paraître flou, mais le motif sur ses écailles peut ressembler exactement à un motif sur un rocher situé loin de lui. Le système utilise une contrainte « non-locale » pour trouver ces motifs correspondants à travers toute l'image.
- Analogie : C'est comme un détective qui sait que si l'empreinte de chaussure d'un suspect est trouvée dans la cuisine, il a probablement aussi laissé une empreinte dans le salon, même si les pièces sont éloignées. Cela aide le système à accentuer les contours et à maintenir les détails nets, même dans les parties floues.
Le Coach de « Trajectoire » :
Lors de l'entraînement de l'IA, ils ne lui ont pas seulement dit : « Fais en sorte que l'image finale soit belle ». Ils ont ajouté une règle spéciale appelée Perte de Trajectoire Proximale (Proximal Trajectory Loss).
- Analogie : Imaginez l'entraînement d'un coureur. Vous ne vérifiez pas seulement s'il gagne la course à la fin ; vous vérifiez sa forme à chaque étape de la course. Ce « coach » garantit que chaque étape intermédiaire prise par l'IA est logique et va dans la bonne direction, empêant ainsi de prendre des raccourcis qui pourraient paraître corrects à la fin, mais qui sont en réalité erronés.

4. Les Résultats : Plus Clairs, Plus Nets, Plus Rapides

Les auteurs ont testé leur système contre de nombreuses autres méthodes (tant les anciennes basées sur les mathématiques que d'autres modèles d'IA) en utilisant des ensembles de données sous-marines standards.

Qualité Visuelle : Leurs photos étaient les plus naturelles. Les autres méthodes rendaient souvent l'eau verte ou rouge, ou laissaient les poissons flous. Leur méthode conserve les couleurs réelles et les contours nets.
Chiffres : Dans les tests techniques (mesurant la netteté et la précision des couleurs), leur méthode a obtenu les scores les plus élevés.
Efficacité : Grâce à l'utilisation du moteur « Mamba », leur système est plus rapide et utilise moins de mémoire informatique que les autres modèles d'IA avancés qui tentent d'accomplir le même travail.

Résumé

En bref, les auteurs ont construit un nettoyeur IA intelligent et étape par étape pour les photos sous-marines. Il utilise la logique de la physique pour savoir ce qui doit être corrigé, mais utilise un moteur d'IA super efficace (Mamba) pour déterminer comment le corriger. Le résultat est que les images sous-marines sont plus claires, ont de meilleures couleurs et paraissent plus réelles que ce que nous avons vu jusqu'à présent.

Énoncé du problème

L'imagerie sous-marine est cruciale pour l'ingénierie océanique et la recherche marine, pourtant les données capturées souffrent fréquemment d'une mauvaise visibilité, d'une illumination non uniforme, d'une atténuation des couleurs et de bruit. Ces dégradations entravent considérablement les tâches ultérieures de vision par ordinateur.

Méthodes classiques : Les approches traditionnelles se divisent en techniques sans modèle (manipulant les intensités de pixels sans hypothèses physiques) et en méthodes basées sur des modèles physiques (résolvant des problèmes inverses basés sur le modèle de formation d'image sous-marine, typiquement le modèle de Jaffe-McGlamery). Bien que les méthodes variationnelles offrent une interprétabilité, leur efficacité dépend fortement de la sélection manuelle de priors appropriés.
Méthodes d'apprentissage profond : Les approches fondées sur les données apprennent les priors directement à partir des données mais nécessitent souvent des architectures complexes et de grands ensembles de données. Les modèles purement fondés sur les données peuvent manquer d'interprétabilité, tandis que les architectures standards d'apprentissage profond (comme les Transformers) peuvent engendrer des coûts de calcul élevés pour capturer les dépendances à longue portée.
La lacune : Il est nécessaire de combler le fossé entre l'interprétabilité de l'optimisation basée sur des modèles et la flexibilité de l'apprentissage profond, en adressant spécifiquement le défi de la capture efficace des auto-similarités à longue portée dans les scènes sous-marines.

Méthodologie

Les auteurs proposent un réseau de déploiement profond basé sur un modèle qui intègre la modélisation variationnelle dans une architecture apprenable. L'approche se compose de trois composantes principales : une base variationnelle, une architecture de déploiement profond et une stratégie d'entraînement spécialisée.

1. Base variationnelle

La méthode est fondée sur une formulation variationnelle basée sur une décomposition de désembuage. Les auteurs proposent un modèle de formation d'image modifié :
$I = (J + N)t + A(1 - t)$
où $I$ est l'image dégradée, $J$ est l'image restaurée, $N$ est une composante résiduelle multiplicative (pour absorber les artefacts restants), $t$ est la carte de transmission, et $A$ est la lumière de rétrodiffusion globale.

Le fonctionnel d'énergie à minimiser inclut :

Fidélité aux données : Basée sur le modèle de décomposition ci-dessus.
Régularisation non locale ( $\alpha$ -terme) : Une contrainte de gradient non locale pour préserver les détails fins et la texture.
Variation totale ( $\beta$ -terme) : Appliquée à la carte de transmission pour assurer la lissage spatial tout en préservant les discontinuités de profondeur.
Contrainte résiduelle ( $\lambda$ -terme) : Limite l'absorption des composantes résiduelles.
Fidélité de gradient non locale ( $\mu$ -terme) : Pénalise la distance entre le gradient de l'image restaurée et un champ de vecteurs spécifique $V$ (dérivé du gradient amplifié de l'entrée dégradée). Ce terme est conçu pour renforcer l'information structurelle cachée dans les images sous-marines à faible contraste.
Fidélité de transmission ( $\rho$ -terme) : Garantit que la carte de transmission estimée reste proche d'une estimation initiale (dérivée du Dark Channel Prior).

Les auteurs fournissent une preuve théorique établissant l'existence d'un minimiseur pour ce problème variationnel dans un espace admissible défini.

2. Réseau de déploiement profond (Deep Unfolding Network)

L'algorithme d'optimisation (une stratégie primal-dual basée sur Chambolle–Pock) est « déployé » en un réseau de neurones profonds avec $K$ étapes. Dans ce cadre, les mises à jour itératives des variables d'optimisation ( $J, t, N$ ) correspondent aux couches du réseau.

Priors apprenables : Les opérateurs proximaux associés au prior d'image ( $J$ ) et à la carte de transmission ( $t$ ) sont remplacés par des réseaux de neurones apprenables.
Intégration de Mamba : Pour capturer efficacement les dépendances à longue portée et les auto-similarités sans le coût de calcul élevé de l'auto-attention, les auteurs intègrent des couches Mamba (modèles d'espace d'état).
- MambaResNet : Remplace l'opérateur proximal pour l'image $J$ . Il utilise une conception multi-branches traitant l'image d'entrée, une version améliorée par balance des blancs et une version avec égalisation d'histogramme. Il emploie des blocs de balayage sélectif 2D (SS2D) pour modéliser les interactions non locales.
- ProxNet : Un réseau résiduel léger pour la carte de transmission $t$ .
- MambaNet : Un module modélisant le terme de fidélité de gradient non local, opérant dans le domaine du gradient.
Initialisation : Le réseau est initialisé avec l'image dégradée pour $J$ , zéro pour $N$ , et l'estimation du Dark Channel Prior pour $t$ .

3. Perte de trajectoire proximale (Proximal Trajectory Loss)

Pour s'assurer que le réseau de déploiement adhère à la logique d'optimisation sous-jacente, les auteurs introduisent une perte de trajectoire proximale. Au lieu de superviser uniquement la sortie finale, cette perte impose la cohérence entre les étapes intermédiaires du réseau et les itérations d'un régularisateur de restauration « idéal » (dérivé d'un problème d'optimisation simplifié impliquant la vérité terrain). Cela empêche les étapes intermédiaires de dévier de la trajectoire d'optimisation attendue.

Contributions clés

Formulation variationnelle : Un nouveau fonctionnel d'énergie pour l'amélioration sous-marine incorporant une composante résiduelle multiplicative et une contrainte de type gradient non local pour gérer les artefacts et préserver les bords.
Analyse théorique : Une preuve de l'existence de minimiseurs pour le problème variationnel non convexe proposé.
Déploiement basé sur Mamba : Un réseau de déploiement profond qui remplace les opérateurs proximaux par des modules basés sur Mamba, permettant de modéliser efficacement les dépendances à longue portée dans les scènes sous-marines.
Perte de trajectoire proximale : Une fonction de perte novatrice conçue pour imposer la cohérence entre les étapes de déploiement du réseau et les itérations de l'algorithme d'optimisation idéal, améliorant l'interprétabilité et la performance.

Résultats expérimentaux

La méthode a été évaluée sur les jeux de données UIEB et SUIM-E, en comparaison avec les méthodes classiques (ex: CBAF, BayesianRetinex), les méthodes d'apprentissage profond pur (ex: UColor, Phaseformer, Mamba-UIE) et d'autres méthodes de déploiement (UnfoldNet).

Performance quantitative : La méthode de déploiement proposée a atteint des résultats de pointe sur tous les indicateurs (PSNR, SSIM, LPIPS) sur les deux jeux de données. Par exemple, sur UIEB, elle a atteint un PSandre PSNR de 25,16 et un SSIM de 0,9140, surpassant nettement la deuxième meilleure méthode (Mamba-UIE).
Qualité visuelle : Les comparaisons visuelles ont montré que la méthode proposée récupère mieux la précision des couleurs (réduisant les tons rougeâtres/verdâtres communs dans les autres méthodes) et préserve mieux les détails fins (ex: écailles de poissons, textures du fond marin) par rapport aux concurrents.
Études d'ablation :
- Désembuage vs Retinex : La formulation basée sur le désembuage a surpassé une alternative basée sur Retinex.
- Contrainte de gradient : Le retrait de la contrainte de gradient non locale a entraîné un contraste de bord inférieur et une qualité perceptuelle moindre.
- Perte de trajectoire : La supervision des étapes intermédiaires via la perte de trajectoire proximale a considérablement amélioré les métriques finales par rapport à l'utilisation de la seule MSE sur la sortie finale.
- Efficacité : Les comparaisons avec l'attention multi-têtes (MHA) ont montré que l'architecture basée sur Mamba atteignait des FLOPs et une utilisation de mémoire GPU inférieurs, particulièrement à des résolutions élevées, tout en maintenant un débit supérieur.

Signification et affirmations

L'article affirme que le cadre proposé comble avec succès le fossé entre l'optimisation basée sur des modèles et l'apprentissage profond. En intégrant un modèle variationnel motivé physiquement avec l'efficacité des modèles d'espace d'état (Mamba), les auteurs parviennent à :

Une restauration améliorée : Une qualité visuelle et une performance quantitative supérieures par rapport aux méthodes récentes de pointe.
Interprétabilité : La structure de déploiement préserve la logique du problème d'optimisation sous-jacent, renforcée par la garantie théorique de l'existence de la solution.
Efficacité : L'utilisation de couches Mamba permet de capturer efficacement le contexte global (modélisation non locale) avec une complexité linéaire, répondant aux goulots d'étranglement computationnels des approches basées sur les Transformers dans l'imagerie sous-marine.

Les auteurs notent que bien que les résultats soient prometteurs, les travaux futurs pourraient se concentrer sur l'amélioration de l'estimation initiale de la transmission (actuellement basée sur le Dark Channel Prior) et étendre le modèle à l'amélioration vidéo et à la cohérence temporelle.