💻 computer science

Real-Time Underwater Image Enhancement via Frequency-Guided Dual-Path Attention

Ce document propose un cadre d'amélioration d'images sous-marines léger et en temps réel qui intègre une attention à double voie guidée par la fréquence et des convolutions reparamétrisables avec des priors DCT fixes pour atteindre des performances de pointe avec un coût computationnel minimal et une vitesse d'inférence élevée.

Auteurs originaux : Leshen Zhang, Ao Li, Ce Zhu

Publié 2026-06-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Leshen Zhang, Ao Li, Ce Zhu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prendre une photo sous l'eau. C'est comme regarder à travers un brouillard épais, vert et bleu. La lumière est absorbée, les couleurs sont délavées et les contours des objets paraissent flous. C'est un problème majeur pour les robots ou les caméras qui doivent « voir » clairement sous l'eau pour naviguer ou trouver des objets.

Ce document présente un nouveau programme informatique super rapide conçu pour nettoyer ces photos sous-marines floues. Les auteurs appellent cela un système d'« Amélioration d'Image Sous-Marine en Temps Réel » (Real-Time Underwater Image Enhancement). Imaginez cela comme un éditeur de photos magique qui fonctionne si vite qu'il peut s'exécuter sur le petit cerveau d'un robot sans le ralentir.

Voici comment ils ont procédé, en utilisant des analogies simples :

Le Problème : Le « Lourd » contre le « Léger »

Habituellement, pour corriger une photo floue, vous avez besoin d'un cerveau informatique très lourd et complexe (un grand modèle d'IA). Mais ces cerveaux lourds sont trop lents et consomment trop d'énergie pour les petits robots.
D'un autre côté, il existe des modèles « ultra-légers » qui sont rapides et petits, mais ils sont comme une personne essayant de réparer une peinture tout en portant des bandeaux sur les yeux. Ils ne regardent que les couleurs et les formes de l'image (la vue « spatiale ») mais ignorent la fréquence (les motifs cachés de détails et d'ondes de couleur). Comme les problèmes sous-marins concernent la façon dont les ondes lumineuses sont perturbées, ignorer la « fréquence » signifie que la correction ne sera pas parfaite.

La Solution : Un Super-Pouvoir en Deux Parties

Les auteurs ont construit un modèle minuscule et rapide qui apprend à « voir » à la fois l'image et les ondes cachées en même temps. Ils y sont parvenus grâce à deux astuces principales :

1. Le Filtre « Pré-chargé » (MBRConv-DCT)
Imaginez que vous enseigniez à un élève à dessiner. Au lieu de le laisser deviner comment dessiner une ligne droite ou une ligne diagonale, vous lui donnez un ensemble de pochoirs pré-dessinés (des modèles) qu'il peut suivre.

Comment ça marche : Le modèle possède un mode « entraînement » spécial où il utilise des motifs mathématiques fixes et pré-établis (appelés noyaux DCT) qui agissent comme des pochoirs pour les lignes horizontales, verticales et diagonales. Cela aide le modèle à comprendre les manières spécifiques dont les images sous-marines deviennent floues.
L'astuce Magique : Une fois que l'élève (le modèle) a appris grâce à ces pochoirs, les pochoirs sont retirés ! Le modèle intègre la connaissance des pochoirs directement dans son propre cerveau. Ainsi, lorsqu'il prend réellement une photo (inférence), il n'a plus besoin des pochoirs. Il fonctionne aussi vite qu'un modèle normal, mais il est déjà « intelligent » concernant ces motifs.

2. Le Détective à « Double Voie » (FGDPA)
Imaginez un détective résolvant un crime. Un détective examine les preuves physiques (les couleurs et les formes de la photo), tandis qu'un second détective examine l'« ambiance » ou l'énergie globale de la scène (la fréquence).

Comment ça marche : Ce module possède deux voies.
- Voie A (Spatiale) : Regarde l'image normalement pour trouver les détails importants.
- Voie B (Fréquence) : Prend un instantané minuscule et rapide des « ondes sonores » de l'image (en utilisant un outil mathématique appelé FFT) pour voir comment les couleurs et les contours sont répartis globalement. C'est comme écouter le bourdonnement d'une pièce pour savoir si une fête s'y déroule, plutôt que de regarder chaque personne.
Le Résultat : Ces deux détectives se parlent. Le « Détective de Fréquence » dit au « Détective Spatial » : « Hé, toute l'image est trop verte, corrigeons cela », ou « Les contours sont trop faibles, aiguisons-les ». Cela se produit très rapidement car la vérification de la fréquence est effectuée sur une grille de taille fixe et réduite, et non sur toute l'image immense.

Les Résultats : Rapide et Net

Les auteurs ont testé leur création et ont découvert :

C'est Minuscule : L'ensemble du modèle est incroyablement petit (seulement environ 4 200 « paramètres », ce qui correspond à un très petit vocabulaire comparé à d'autres modèles qui en possèdent des millions).
C'est Rapide : Il peut traiter plus de 600 photos par seconde sur un ordinateur puissant, et plus de 100 photos par seconde sur une petite puce de robot embarquée (comme la Jetson AGX Orin).
Ça Fonctionne : Lorsqu'ils ont comparé leur modèle à d'autres méthodes, leur modèle a produit des images plus claires, plus colorées et plus nettes que même des modèles beaucoup plus grands et plus lourds. Il a corrigé le « brouillard vert » et a mieux restauré les détails que la concurrence.

Résumé

En résumé, les auteurs ont pris un modèle d'IA minuscule et rapide et lui ont appris à prêter attention aux « ondes cachées » des images sous-marines. Ils y sont parvenus en lui donnant des outils d'entraînement spéciaux qui disparaissent après l'apprentissage, et en ajoutant une « vérification de fréquence » rapide qui l'aide à corriger les couleurs et les détails. Le résultat est un nettoyeur de photos assez petit pour qu'un robot puisse le transporter, mais assez intelligent pour voir clairement dans le bleu profond.

Résumé Technique : Amélioration d'Images Sous-marines en Temps Réel via une Attention à Double Voie Guidée par la Fréquence

Énoncé du Problème

L'amélioration d'images sous-marines (UIE) en temps réel est essentielle pour la photographie mobile, les véhicules sous-marins autonomes (AUV) et les systèmes de vision embarqués. Ces applications exigent des modèles avec une faible latence, une empreinte mémoire compacte et une consommation d'énergie minimale. Bien que les réseaux de neurones convolutifs (CNN) ultra-légers récents basés sur la re-paramétrisation structurelle (par exemple, RepVGG, MobileOne) répondent à ces contraintes d'efficacité, ils opèrent principalement dans le domaine spatial. Cette approche ignore la nature sensible aux fréquences de la dégradation sous-marine, où l'absorption de la lumière remodèle les distributions spectrales globales (affectant la couleur) et où la diffusion atténue les composantes de haute fréquence (érodant les contours). Les méthodes sensibles à la fréquence existantes reposent souvent sur des architectures lourdes ou des décompositions de fréquences complexes qui introduisent une surcharge de calcul incompatible avec un déploiement en bordure de réseau (edge) en temps réel et aux ressources limitées. De plus, les mécanismes d'attention classiques légers (par exemple, SENet, CBAM) manquent de modélisation explicite de la fréquence, tandis que les modèles re-paramétrisables actuels ont tendance à perdre la diversité directionnelle et spectrale lorsque les branches fusionnent en noyaux uniques lors de l'inférence.

Méthodologie

Les auteurs proposent un cadre d'UIE léger qui intègre la modélisation dans le domaine fréquentiel dans une architecture CNN re-paramétrisable sans engendrer de surcharge d'inférence. Le cadre se compose de deux composants principaux :

1. Convolution Re-paramétrisable à Multi-Branches avec Priors DCT Fixes (MBRConv-DCT)

Ce module améliore la capacité de représentation spectrale des convolutions re-paramétrisables standards.

Mécanisme : Pendant l'entraînement, MBRConv-DCT ajoute une branche linéaire dédiée contenant des noyaux de Transformée en Cosinus Discrète (DCT) $3 \times 3$ non-DC fixes. Ces noyaux encodent des réponses de fréquence directionnelles structurées (horizontale, verticale, diagonale) allant des basses aux hautes fréquences.
Entraînement : La branche inclut une convolution ponctuelle apprenable et une porte scalaire (initialisée à zéro) pour garantir que la branche ne perturbe pas le début de l'entraînement.
Inférence : Crucialement, la branche DCT est entièrement linéaire. Lors de la phase de re-paramétrisation, ces noyaux fixes et les poids appris sont fusionnés analytiquement en un noyau de convolution standard de $3 \times 3$ . Par conséquent, MBRConv-DCT enrichit la sensibilité du modèle aux indices de fréquence directionnels pendant l'entraînement, mais introduit zéro paramètre ou FLOP supplémentaire lors de l'inférence.

2. Attention à Double Voie Guidée par la Fréquence (FGDPA)

Ce module effectue une modulation adaptative des caractéristiques en fusionnant les indices spatiaux et spectraux.

Voie Fréquentielle : Pour assurer l'invariance de résolution et la stabilité, la carte de caractéristiques d'entrée est sous-échantillonnée vers une grille fixe de $32 \times 32$ . Une Transformée de Fourier Rapide (FFT) 2D est appliquée pour obtenir un spectre d'amplitude compressé en échelle logarithmique. Le pooling moyen global agrège ces statistiques pour former un descripteur spectral compact. Ce descripteur guide la modulation des canaux directement dans le domaine fréquentiel, évitant le coût de calcul des FFT inverses.
Voie Spatiale : Une branche parallèle opère purement dans le domaine spatial, utilisant le max et le pooling moyen pour générer une carte de saillance spatiale.
Fusion : Les deux voies sont combinées via un mécanisme de porte hybride statique et apprenable. La carte d'attention finale est une somme pondérée et un produit élément par élément de l'attention de canal guidée par la fréquence et de la carte de saillance spatiale.
Efficacité : La branche fréquentielle opère à une résolution constante de $32 \times 32$ , et toutes les convolutions sont de type $1 \times 1$ , garantissant un surcoût de fonctionnement minimal.

Le cadre conserve le module de Transformation de Caractéristiques (FST) de MobileIE pour améliorer les interactions non linéaires des caractéristiques. L'ensemble du réseau adopte une structure d'entraînement re-paramétrisable qui se réduit à un modèle de propagation (feed-forward) léger pour l'inférence.

Contributions Clés

Module FGDPA : Un mécanisme d'attention ultra-léger qui construit un descripteur spectral invariant de la résolution à partir des amplitudes FFT à résolution fixe. Il exploite les statistiques spectrales globales pour guider la modulation des canaux sans FFT inverses, capturant efficacement les indices de dégradation globale.
MBRConv-DCT : Une convolution re-paramétrisable multi-branches qui injecte des priors directionnels DCT fixes durant l'entraînement. Cette branche linéaire est analytiquement effaçable, enrichissant la diversité spectrale sans ajouter de coût d'inférence.
Intégration du Guidage par la Fréquence : Ce travail démontre que le guidage fréquentiel explicite peut être intégré de manière fluide dans des CNN ultra-légers et re-paramétrisables, atteignant des performances de pointe avec seulement 4,23K paramètres.

Résultats Expérimentaux

La méthode proposée a été évaluée sur le jeu de données UIEB (supervisé) et sur les jeux de données EUVP et UIQS (non supervisé/sans référence).

Performance : Sur le benchmark UIEB, le modèle a atteint 23,97 dB PSNR et 0,9155 SSIM, surpassant le concurrent léger le plus fort (MobileIE) de plus de 1,1 dB tout en maintenant un nombre de paramètres comparable (~4,2K). Il a également surpassé le U-Shape Transformer (31,5M paramètres) beaucoup plus large, tant en termes de métriques de distorsion que perceptuelles (LPIPS le plus bas de 0,1188).
Généralisation : Sur les jeux de données du monde réel (EUVP et UIQS), le modèle a démontré une robustesse supérieure, obtenant des scores UIQM et UCIQE de pointe sur EUVP et se classant deuxième au classement général sur UIQS.
Efficacité : Le modèle fonctionne à 628+ FPS à une résolution de $480 \times 640$ sur une NVIDIA RTX 3090. Sur une plateforme embarquée (Jetson AGX Orin), il atteint 106,9 FPS avec une latence de 9,35 ms.
Études d'Ablation : Le retrait de la magnitude de fréquence de la voie d'attention a provoqué une chute significative des performances (de 23,97 dB à 22,81 dB), confirmant que la modulation de canal sensible à la fréquence est indispensable. Les noyaux DCT fixes ont fourni un biais inductif spectral robuste, la performance restant stable à travers différents nombres de noyaux ( $K=2$ à $8$).

Signification et Revendications

L'article affirme que la modélisation fréquentielle explicite peut être intégrée efficacement dans des CNN ultra-légers sans sacrifier les performances en temps réel. En utilisant des priors spectraux structurés (via MBRConv-DCT) et des statistiques FFT légères (via FGDPA), le cadre proposé traite la dégradation spécifique sensible à la fréquence des images sous-marines que les modèles uniquement spatiaux manquent.

Les auteurs positionnent ce travail comme une solution à l'« écart d'efficacité-efficacité » dans les modèles re-paramétrisables ultra-légers actuels. Ils démontrent que les gains de performance dans ce domaine ne nécessitent pas nécessairement d'augmenter la profondeur du modèle ou le nombre de paramètres, mais plutôt d'améliorer l'efficacité de la représentation de chaque paramètre grâce à une conception sensible à la fréquence. Les résultats suggèrent un fort potentiel de déploiement sur des plateformes à ressources limitées telles que les drones sous-marins et les systèmes robotiques embarqués.