💻 computer science

BVI-Mamba: Video Enhancement Using a Visual State-Space Model for Low-Light and Underwater Environments

Ce papier présente BVI-Mamba, un cadre novateur d'amélioration vidéo qui exploite un modèle d'espace d'état visuel (VSS) pour traiter efficacement le bruit, le faible contraste et le déséquilibre des couleurs dans les vidéos en conditions de faible luminosité et sous-marines, tout en réduisant considérablement les ressources de calcul par rapport aux méthodes existantes basées sur les Transformers et les convolutions.

Auteurs originaux : Guoxi Huang, Ruirui Lin, Yini Li, David R. Bull, Nantheera Anantrasirichai

Publié 2026-04-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Guoxi Huang, Ruirui Lin, Yini Li, David R. Bull, Nantheera Anantrasirichai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de regarder un film, mais que l'écran est couvert de brouillard, les couleurs sont délavées et l'image tremble. C'est ce qui se produit lorsque les caméras tentent d'enregistrer dans des endroits très sombres (comme une grotte la nuit) ou sous l'eau (où la lumière est dispersée et absorbée). La vidéo résultante est souvent granuleuse, floue et difficile à comprendre.

L'article présente un nouvel outil appelé BVI-Mamba pour réparer ces vidéos désordonnées. Pensez-y comme à un « restaurateur de vidéo intelligent » qui utilise un nouveau type de cerveau d'intelligence artificielle pour nettoyer les séquences rapidement et efficacement.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le Problème : Le « Sac à Dos Lourd » de l'IA Ancienne

Auparavant, la réparation de ces vidéos nécessitait des modèles d'IA comparables à des sacs à dos lourds. Ils étaient très puissants mais consommaient beaucoup de mémoire et de temps pour s'exécuter, en particulier pour la vidéo (qui n'est qu'une longue série d'images).

Les anciennes méthodes étaient comme essayer de réparer un film entier en regardant une image à la fois, ou en utilisant un robot géant et lent pour comparer les images.
La nouvelle méthode (BVI-Mamba) est comme un coureur léger et agile. Elle utilise un nouveau type d'architecture d'IA appelée « Visual State Space » (ou Mamba). Cela lui permet de traiter de longues séquences vidéo sans se fatiguer ni avoir besoin d'un ordinateur massif.

2. Le Processus en Deux Étapes : Alignement et Polissage

Le système BVI-Mamba fonctionne en deux étapes principales, comme une équipe de deux personnes nettoyant une vitre sale :

Étape 1 : La « Main Stable » (Alignement des Caractéristiques)
Lorsque vous filmez dans le noir ou sous l'eau, votre main peut trembler, ou le sujet peut bouger. Cela fait que la vidéo semble tremblante ou « fantomatique » lorsque vous essayez de combiner les images pour les rendre plus claires.

L'Analogie : Imaginez essayer de empiler un jeu de cartes qui sont toutes légèrement décalées. Si vous les collez simplement ensemble, l'image est floue.
Ce que fait BVI-Mamba : Il agit comme un mélangeur de cartes super-précis. Avant d'essayer de nettoyer l'image, il examine les « caractéristiques » (les formes et les contours) des images vidéo et les aligne parfaitement dans l'espace numérique. Il utilise un système spécial en « Pyramide » pour gérer les grands mouvements et les petits détails, assurant que les images correspondent afin que la vidéo ne scintille pas.

Étape 2 : Le « Polisseur Magique » (Amélioration)
Une fois les images alignées, le système doit corriger l'obscurité, le bruit et la couleur.

L'Analogie : Pensez à une IA standard comme un pinceau qui ne sait peindre que de petites taches locales. Elle peine à voir le « tableau d'ensemble » de toute la pièce.
Ce que fait BVI-Mamba : Il remplace le pinceau par un scanner laser (appelé bloc Visual State Space). Ce scanner peut regarder un minuscule grain de poussière et toute la pièce en même temps. Il comprend comment la lumière traverse toute la scène. Cela lui permet d'éliminer la « neige » (le bruit), d'éclaircir les zones sombres et de corriger les teintes bleues/vertes étranges des séquences sous-marines bien mieux que les anciennes méthodes.

3. Pourquoi C'est Meilleur (Les Résultats)

Les auteurs ont testé ce nouveau « coureur » contre les anciens « sacs à dos lourds » (modèles basés sur les CNN et les Transformers).

La Course : Dans les tests utilisant de véritables ensembles de données vidéo à faible luminosité et sous-marines, BVI-Mamba a gagné.
Le Score : Il a produit des images plus claires avec des ratios « signal-sur-bruit » plus élevés (moins de grain) et une similarité structurelle meilleure (les formes semblaient plus naturelles).
L'Efficacité : Il a fait cela en utilisant moins de mémoire et de temps informatique. Ce n'est pas seulement un meilleur nettoyeur ; c'est un nettoyeur plus rapide.

4. Le Défi Sous-Marin

La vidéo sous-marine est délicate car l'eau agit comme un filtre qui absorbe la lumière rouge et disperse la lumière bleue, donnant à tout une teinte verte ou bleue.

Comme il n'existe pas de vidéos sous-marines « parfaites » avec lesquelles comparer (pas de « vérité terrain »), l'équipe a utilisé un tour de force astucieux. Ils ont entraîné l'IA sur des vidéos terrestres claires mais à faible luminosité d'abord. Ensuite, avant de lui soumettre des séquences sous-marines, ils ont donné à l'IA des « lunettes de correction des couleurs » (adaptation chromatique) pour ajuster la balance des blancs.
Le résultat ? L'IA a réussi à éliminer la brume bleue trouble et à révéler des détails qui étaient auparavant invisibles, surpassant d'autres outils spécialisés sous-marins.

Résumé

BVI-Mamba est un nouvel outil d'amélioration vidéo qui utilise un cerveau d'IA « léger » pour réparer les vidéos tremblantes, sombres et troubles. Au lieu de lutter avec des calculs lourds, il aligne parfaitement les images puis utilise une technique de numérisation intelligente pour nettoyer l'image. L'article affirme qu'il est plus rapide, utilise moins de mémoire et produit des résultats plus clairs que les méthodes d'IA précédentes, tant pour les environnements sombres que pour les scènes sous-marines.

1. Énoncé du problème

Les vidéos capturées dans des environnements à faible luminosité et sous-marins souffrent de dégradations sévères de la qualité, notamment :

Problèmes liés à la faible luminosité : Bruit, faible contraste, déséquilibre des couleurs et flou de mouvement (causés par des vitesses d'obturation lentes ou un ISO élevé).
Problèmes liés au milieu sous-marin : Diffusion et absorption de la lumière entraînant du flou, des effets de halo, une distorsion des couleurs et une réduction du contraste.

Ces dégradations compromettent à la fois la qualité esthétique et les performances des tâches de vision par ordinateur en aval (par exemple, détection d'objets, suivi). Bien que l'amélioration d'images basée sur l'IA existe, l'amélioration vidéo reste difficile en raison de :

Incohérence temporelle : Scintillement et fluctuations de luminosité entre les images.
Coût computationnel : Les méthodes d'apprentissage profond existantes (CNN, Transformers) sont coûteuses en calcul et gourmandes en mémoire, rendant le traitement en temps réel difficile.
Pénurie de données : Un manque de jeux de données d'entraînement appariés à grande échelle, en particulier pour les scénarios sous-marins.

2. Méthodologie : BVI-Mamba

Les auteurs proposent BVI-Mamba, un cadre novateur qui remplace les blocs de convolution et de Transformer traditionnels par des Modèles d'Espace d'États Visuels (VSS) pour atteindre une complexité computationnelle linéaire tout en maintenant des performances élevées. L'architecture suit un pipeline en deux étapes :

A. Module d'alignement des caractéristiques

Pour assurer la cohérence temporelle et prévenir le scintillement, le modèle aligne plusieurs images d'entrée avant l'amélioration.

Mécanisme : Utilise un module d'alignement Pyramidal, en Cascade et Déformable (PCD) (adapté d'EDVR) intégré avec une fusion par Attention Temporelle et Spatiale (TSA).
Fonction : Enregistre le déplacement spatio-temporel entre les images dans l'espace des caractéristiques, extrait et traite les détails temporels pour maintenir la cohérence entre les images consécutives.

B. Module d'amélioration

Ce module effectue la suppression du bruit et l'ajustement de la luminosité en utilisant une architecture de type UNet.

Innovation centrale : Toutes les couches de convolution standard et les blocs Swin Transformer sont remplacés par des blocs d'Espace d'États Visuels (VSS).
Structure du bloc VSS :
- Basé sur le cadre Mamba, utilisant spécifiquement le mécanisme de Balayage Sélectif 2D (SS2D).
- Processus SS2D : Déplie les patches d'entrée en séquences selon quatre directions (Gauche-Droite, Haut-Bas, Droite-Gauche, Bas-Haut), les traite via un Modèle d'Espace d'États Sélectif (SSM), et fusionne les résultats.
- Avantage : Contrairement aux CNN (champ récepteur limité) ou aux Transformers (complexité quadratique), les blocs VSS capturent à la fois les détails locaux et les dépendances globales à longue portée avec une complexité computationnelle linéaire.
Formulation mathématique : Le bloc VSS dans la couche $l$ est défini par :
$h_l = SS2D(LN(h_{l-1})) + h_{l-1}$
$h_{l+1} = FFN(LN(h_l)) + h_l$
(Où $LN$ est la Normalisation de Couche et $FFN$ est un Réseau de Alimentation Avant.)

3. Contributions clés

Première application de Mamba à la vidéo à faible luminosité : Le papier introduit le premier cadre appliquant le modèle d'Espace d'États Visuel (VSS) à l'amélioration vidéo (précédemment limitée aux images), ciblant spécifiquement les scénarios à faible luminosité et sous-marins.
Architecture efficace : En remplaçant les lourds blocs Transformer par des blocs VSS, BVI-Mamba atteint une complexité computationnelle linéaire, réduisant considérablement l'utilisation de la mémoire et le temps d'inférence par rapport aux équivalents basés sur CNN et Transformer.
Alignement temporel robuste : L'intégration de l'alignement PCD avec l'amélioration VSS assure une haute cohérence temporelle, atténuant efficacement le scintillement et les fluctuations de luminosité courantes dans l'amélioration vidéo.
Adaptation sous-marine : Le cadre inclut une étape de prétraitement utilisant l'adaptation chromatique pour résoudre les déséquilibres de couleurs sévères dans les données sous-marines, compensant l'absence de vérité terrain dans les jeux de données sous-marins.

4. Résultats expérimentaux

Le modèle a été évalué sur trois jeux de données : DID (Faible luminosité), BVI-RLV (Faible luminosité) et BVI-Coral (Sous-marin).

Performance quantitative (Faible luminosité) :
- Sur le jeu de données BVI-RLV, BVI-Mamba a atteint un PSNR de 22,93 et un SSIM de 0,820, surpassant :
  - PCDUNet (CNN) : PSNR 19,50, SSIM 0,757.
  - STA-SUNet (Transformer) : PSNR 20,64, SSIM 0,765.
  - BVI-CDM (Diffusion) : PSNR 22,20, SSIM 0,773.
- Il a également obtenu le LPIPS le plus bas (0,146), indiquant une similarité perceptuelle supérieure par rapport à la vérité terrain.
Performance qualitative :
- Les comparaisons visuelles montrent que BVI-Mamba réduit efficacement le bruit, accentue les détails et préserve mieux les textures fines que les méthodes concurrentes.
Résultats sous-marins :
- En utilisant un modèle préentraîné sur BVI-RLV et adapté avec une adaptation chromatique, BVI-Mamba a produit des résultats visuellement supérieurs par rapport à Zero-TIG, corrigeant les dominantes de couleur et améliorant la visibilité dans les séquences sous-marines profondes.

5. Importance

Changement de paradigme : Ce travail démontre que les Modèles d'Espace d'États (SSM) sont une alternative viable et supérieure aux Transformers pour les tâches de traitement vidéo, offrant un meilleur équilibre entre performance et efficacité computationnelle.
Déploiement pratique : L'empreinte mémoire réduite et la complexité linéaire font de BVI-Mamba un candidat solide pour le déploiement sur des appareils périphériques ou dans des systèmes de surveillance en temps réel et de navigation autonome où les ressources sont contraintes.
Expansion de domaine : Il comble avec succès le fossé entre les modèles génératifs/discriminatifs avancés et les environnements physiques difficiles (faible luminosité/sous-marin), fournissant une solution robuste pour des applications critiques telles que l'exploration sous-marine et la sécurité nocturne.