A Comprehensive Survey on Underwater Image Enhancement Based on Deep Learning

Cet article propose une revue complète et systématique de l'amélioration d'images sous-marines par apprentissage profond, couvrant les modèles physiques, les algorithmes récents, une évaluation comparative rigoureuse et les perspectives de recherche futures.

L'essentiel

🌊 Le Grand Défi : Rendre l'océan visible

Imaginez que vous plongez dans l'océan. Ce que vous voyez n'est pas ce que votre œil ou votre caméra enregistre. L'eau agit comme un filtre sale et coloré : elle avale la lumière rouge, laisse passer le bleu et le vert, et ajoute une sorte de "brume" (comme du brouillard sous-marin). Résultat ? Vos photos ressemblent à des images floues, vertes et sombres, comme si vous regardiez le monde à travers un vieux verre de brouillard.

C'est le problème que les chercheurs appellent l'Amélioration d'Images Sous-Marines (UIE). L'objectif est simple : transformer cette image "cassée" en une photo claire, colorée et nette, comme si vous étiez à la surface.

🤖 La Révolution : L'Intelligence Artificielle (Deep Learning)

Pendant longtemps, les scientifiques ont essayé de réparer ces images avec des formules mathématiques complexes (comme essayer de deviner la recette d'un gâteau sans avoir goûté le gâteau). Ça marchait parfois, mais souvent, c'était imparfait.

Aujourd'hui, ils utilisent l'Apprentissage Profond (Deep Learning).

• L'analogie : Imaginez un apprenti peintre. Au lieu de lui donner une recette, on lui montre des milliers de photos d'images sous-marines moches et, juste à côté, les versions "parfaites" (ou du moins, les meilleures versions possibles).
• Le résultat : L'IA apprend par cœur les erreurs de l'eau (la couleur verte, le flou) et apprend à les corriger toute seule, comme un artiste qui a vu assez de tableaux pour savoir comment peindre la lumière parfaite.

📚 Ce que dit ce "Super-Rapport"

Ce document est une enquête géante (un "survey") qui a passé en revue toutes les méthodes récentes pour réparer ces images. Les auteurs ont organisé le travail comme un grand menu dans un restaurant très complexe :

1. Les Outils (L'Architecture) : Comment les "cerveaux" de l'IA sont construits.

   • Certains utilisent des convolutions (comme des tamis qui trient les détails).
   • D'autres utilisent des Transformers (comme des détectives qui regardent toute l'image d'un coup pour comprendre les liens entre les objets).
   • D'autres encore utilisent des ondes (comme décomposer une musique en ses notes pour réparer chaque fréquence).

2. Les Stratégies d'Apprentissage (Comment on entraîne l'IA) :

   • Le jeu du Chat et de la Souris (GAN) : On crée deux IA. L'une essaie de réparer l'image, l'autre essaie de repérer si l'image est truquée. Elles s'affrontent jusqu'à ce que la première soit si bonne que la seconde ne peut plus la distinguer d'une vraie photo.
   • Le classement (Rank Learning) : Parfois, on ne sait pas quelle est la "vraie" photo parfaite. Alors, on demande à l'IA : "Laquelle de ces deux versions réparées est moins moche ?" et on l'entraîne à faire le bon choix.

3. Les Aides Extérieures (Tâches d'Assistance) :

   • Parfois, on aide l'IA en lui donnant des indices supplémentaires, comme une carte de profondeur (pour savoir ce qui est loin ou près) ou une sémantique (pour savoir que ce blob bleu est un poisson et pas juste du bruit). C'est comme donner une loupe et un manuel d'identification à l'apprenti peintre.

🏆 Le Grand Concours : Qui est le meilleur ?

Les auteurs ont fait quelque chose de très rare et important : ils ont pris toutes les meilleures IA du moment et les ont mises dans la même arène, avec les mêmes règles, pour les tester sur les mêmes images.

• Le verdict : Il n'y a pas un seul "roi" absolu.
  • Si vous voulez une image qui correspond mathématiquement parfaitement à une référence (sur des images synthétiques), UIE-DM (qui utilise une technique de diffusion, un peu comme faire apparaître une image progressivement à partir du bruit) est très fort.
  • Si vous voulez une image qui a l'air belle et naturelle pour l'œil humain (sur de vraies photos de l'océan), UGAN (qui utilise le jeu du Chat et de la Souris) semble souvent gagner.

C'est comme dire : "L'un est le meilleur pour la précision technique, l'autre est le meilleur pour l'émotion artistique."

🔮 Et demain ? (Les défis restants)

Le rapport se termine en disant : "On a fait du bon travail, mais il reste des mystères !"

• Le problème des données : Il est très difficile d'avoir des photos "parfaites" sous l'eau pour entraîner les IA. Les chercheurs imaginent utiliser des moteurs de jeux vidéo (comme Unreal Engine) pour créer des océans virtuels parfaits et générer des millions de photos d'entraînement.
• Le paradoxe du détective : Une découverte surprenante : parfois, en rendant l'image plus belle pour l'homme, on rend plus difficile la tâche de l'IA qui doit compter les poissons ou les épaves ! Il faut trouver l'équilibre.
• La lumière bizarre : Sous l'eau, on utilise souvent des lampes artificielles qui créent des ombres bizarres. Les IA actuelles ont du mal avec ça.
• L'IA qui "parle" : L'idée est de donner à l'IA une description textuelle (ex: "c'est un récif corallien ensoleillé") pour l'aider à mieux réparer l'image, en utilisant les mêmes technologies que les IA qui génèrent des images à partir de texte.

En résumé

Ce papier est une bible pour quiconque veut réparer les photos sous-marines. Il dit : "Voici toutes les techniques, voici comment elles fonctionnent, voici qui gagne actuellement, et voici les grands défis qu'il faudra relever pour que, bientôt, nous puissions voir l'océan aussi clairement que si nous étions au bord de la plage."

Résumé technique

1. Problématique

L'imagerie sous-marine est cruciale pour l'exploration des ressources, le cinéma et la surveillance, mais elle souffre d'une dégradation sévère de la qualité due aux propriétés physiques de l'eau. Les principaux défis identifiés sont :

• Atténuation et diffusion de la lumière : Les longueurs d'onde (rouge, orange, jaune) sont absorbées plus rapidement, entraînant une distortion de couleur (dominante bleu-vert) et une réduction du contraste.
• Brouillard et bruit : La présence de particules en suspension crée un effet de brouillard (haze), de bruit et de flou.
• Faible illumination : À grande profondeur, la lumière naturelle est insuffisante, nécessitant des sources artificielles qui peuvent créer une illumination non uniforme.

Bien que des méthodes non basées sur l'apprentissage profond (NDL-UIE) existent, elles reposent souvent sur des modèles physiques imparfaits et des hypothèses a priori qui échouent dans des scénarios complexes. Les solutions basées sur l'apprentissage profond (DL-UIE) ont émergé mais manquent d'une revue systématique et comparative.

2. Méthodologie et Taxonomie

Les auteurs proposent une revue systématique des algorithmes DL-UIE, classés selon six axes principaux :

A. Architecture de Réseau

• Opérations de convolution : Utilisation de connexions résiduelles, denses et multi-échelles (ex: UWCNN, UWNet).
• Mécanismes d'attention : Pour se concentrer sur des emplacements spatiaux ou des canaux spécifiques (ex: WaveNet, ADMNNet).
• Modules Transformer : Adaptation des architectures à base de fenêtres (Swin-Transformer) pour capturer les dépendances à longue distance (ex: U-Trans, Spectroformer).
• Transformée de Fourier et Ondelettes : Traitement des images dans le domaine fréquentiel pour séparer les composantes d'amplitude et de phase, ou décomposition en sous-bandes fréquentielles (ex: UHD, UIE-WD).
• Recherche d'Architecture Neurale (NAS) : Automatisation de la conception du réseau (ex: AutoEnhancer).

B. Stratégies d'Apprentissage

• Apprentissage Adversaire (GAN) : Utilisation de discriminateurs pour améliorer la qualité visuelle et la distribution des images restaurées.
• Apprentissage par Classement (Rank Learning) : Au lieu de viser une image de référence parfaite, le modèle apprend à classer les images par qualité visuelle relative (ex: URanker).
• Apprentissage Contrastif : Pour pallier le manque de paires d'images parfaites, en augmentant la distance entre les exemples négatifs et positifs.
• Apprentissage par Renforcement : Utilisation de récompenses basées sur des métriques sans référence pour affiner le modèle.

C. Étapes d'Apprentissage

• Single Stage : Transformation directe de l'image dégradée à l'image améliorée.
• Coarse-to-fine (Raffinement progressif) : Approche en plusieurs étapes (ex: estimation grossière puis raffinement physique).
• Processus de Diffusion : Utilisation de modèles génératifs de diffusion pour restaurer les images (ex: UIE-DM).

D. Tâches d'Assistance

Intégration de tâches auxiliaires comme la segmentation sémantique, la détection d'objets ou l'estimation de profondeur pour guider l'amélioration de l'image (ex: Joint-ID, SGUIE).

E. Perspective de Domaine

• Transfert de connaissances : Adaptation des modèles entraînés sur des données synthétiques vers le monde réel (Domain Adaptation).
• Traduction de domaine : Apprentissage non supervisé pour mapper les images déformées vers des images claires sans paires parfaites.
• Sorties diversifiées : Génération de plusieurs versions améliorées pour offrir des choix à l'utilisateur.

F. Séparation et Fusion (Disentanglement & Fusion)

• Modèles physiques et Retinex : Intégration explicite des modèles de formation d'image (atténuation, rétrodiffusion) ou du modèle Retinex (illumination/réflexion) dans le réseau.
• Fusion d'espaces colorimétriques : Combinaison des espaces RGB, HSV, LAB pour mieux restaurer les couleurs et la luminosité.
• Fusion multi-entrées : Utilisation de pré-traitements (balance des blancs, égalisation d'histogramme) comme entrées supplémentaires.

3. Contributions Clés

1. Revue Systématique : Première classification exhaustive des algorithmes DL-UIE selon six dimensions techniques (architecture, stratégie, étape, tâche auxiliaire, domaine, fusion).
2. Évaluation Comparative Équitable : Les auteurs ont unifié les paramètres expérimentaux (taille d'image, augmentation de données, métriques) pour comparer de manière juste les algorithmes de l'état de l'art (SOTA) sur plusieurs jeux de données, comblant ainsi le manque de comparaisons directes dans la littérature.
3. Analyse des Métriques : Discussion approfondie sur les métriques de référence complète (PSNR, SSIM) et sans référence (UIQM, UCIQE, URANKER), ainsi que sur l'évaluation par des tâches en aval.
4. Identification des Lacunes : Mise en lumière des défis non résolus et des pistes de recherche futures.

4. Résultats Expérimentaux

Les auteurs ont évalué 17 algorithmes de pointe sur des jeux de données avec référence (UIEB, LSUI, EUVP, UFO-120) et sans référence (Challenge-60, U45, etc.).

• Capacité d'ajustement (Données avec référence) : L'algorithme UIE-DM (basé sur la diffusion) obtient les meilleures performances en termes de PSNR et SSIM sur la plupart des jeux de données. Cependant, les écarts entre les 5 meilleurs algorithmes sont souvent minimes, suggérant une saturation des performances sur les métriques classiques.
• Capacité de généralisation (Données sans référence) : Sur les métriques sans référence (UIQM, UCIQE), UGAN et UIE-DM se distinguent. L'évaluation par URANKER (basée sur l'apprentissage) indique que UIE-DM et CECF offrent les meilleurs résultats globaux.
• Observations Visuelles : Certaines méthodes produisent encore des images avec une teinte bleu-verte résiduelle ou un flou, indiquant que la restauration parfaite reste un défi.

6. Signification et Travaux Futurs

Cet article établit un état de l'art complet, servant de guide pour les chercheurs. Il souligne que le domaine n'est pas "résolu" et identifie plusieurs axes prioritaires pour l'avenir :

• Synthèse de données de haute qualité : Utilisation de moteurs de jeu (Game Engines) pour simuler des conditions sous-marines réalistes avec des paramètres contrôlés.
• Impact sur les tâches en aval : Investigation de la corrélation (parfois négative) entre l'amélioration d'image et la performance de tâches comme la détection d'objets.
• Modèles Multimodaux : Intégration de modèles vision-langage (ex: CLIP) pour utiliser le contexte sémantique global.
• Illumination non uniforme : Développement de méthodes spécifiques pour les scènes éclairées artificiellement.
• Métriques fiables : Création de métriques sans référence qui correspondent mieux à l'esthétique humaine.
• Fusion de tâches : Combinaison de la restauration sous-marine avec d'autres tâches (dénivellation, débruitage, débrumage).

En résumé, cette enquête fournit une base solide pour comprendre les mécanismes actuels de l'amélioration d'images sous-marines par deep learning et oriente la communauté vers les défis techniques et méthodologiques à relever pour les années à venir.