💻 computer science

Dynamic Weight-based Temporal Aggregation for Low-light Video Enhancement Under Extreme Noise

L'article propose DWTA-Net, un nouveau cadre d'apprentissage profond récurrent pour l'amélioration vidéo en faible luminosité qui combine une alignement multi-image basé sur Mamba avec une agrégation temporelle basée sur des poids dynamiques guidée par le flux optique pour supprimer efficacement le bruit extrême tout en préservant la cohérence temporelle et les détails fins.

Auteurs originaux : Ruirui Lin, Guoxi Huang, Nantheera Anantrasirichai

Publié 2026-05-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruirui Lin, Guoxi Huang, Nantheera Anantrasirichai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez essayer de regarder une vidéo enregistrée la nuit pendant une forte tempête. L'image est sombre, granuleuse avec de la « neige » (du bruit), et les couleurs paraissent délavées. Si vous essayez d'éclaircir une seule image, le bruit empire. Si vous essayez de corriger toute la vidéo d'un coup, l'image peut clignoter ou paraître floue parce que la caméra a bougé.

Ce papier présente un nouvel outil appelé DWTA-Net pour corriger ces vidéos désordonnées et sombres. Pensez-y comme à un « médecin de la vidéo » en deux étapes qui utilise une astuce intelligente pour éliminer le bruit sans rendre l'image floue.

Voici comment cela fonctionne, expliqué simplement :

Le Problème : Le « Court Mémoire »

La plupart des nettoyeurs de vidéos actuels sont comme des gens ayant une mémoire à court terme. Ils regardent quelques images (peut-être 5 ou 10) et tentent de les corriger.

L'Analogie : Imaginez essayer de nettoyer une vitre sale en ne la regardant que l'espace d'un instant. Vous pourriez manquer la saleté cachée derrière une tache.
Le Résultat : Ces méthodes laissent souvent derrière elles du bruit ou font clignoter la vidéo car elles ne peuvent pas voir le « tableau d'ensemble » de l'apparence de la scène sur une période plus longue.

La Solution : Un Processus en Deux Étapes

DWTA-Net résout ce problème en travaillant en deux étapes distinctes, comme une équipe de construction qui construit d'abord le cadre, puis effectue le polissage fin.

Étape 1 : Le « Photo de Groupe » (Structure et Couleur)

D'abord, le système examine une courte séquence d'images (comme une photo de groupe) et les aligne parfaitement.

Ce qu'il fait : Il utilise un cerveau IA spécial (appelé Mamba) pour comprendre l'ensemble de la scène d'un coup. Il corrige la luminosité, ajuste les couleurs et s'assure que les formes (comme une clôture ou un arbre) paraissent solides.
L'Analogie : C'est comme rassembler un groupe de photos floues et les empiler les unes sur les autres pour obtenir un contour clair du sujet. Il corrige d'abord le « tableau d'ensemble ».

Étape 2 : Le « Mixeur Intelligent » (Débruitage et Cohérence)

C'est la grande innovation de l'article. Au lieu de simplement moyenner les images (ce qui rend tout flou), il utilise une méthode récurrente. Cela signifie qu'il se souvient de ce qu'il a vu dans le passé et le mélange avec l'image actuelle, mais uniquement là où cela a du sens.

L'Analogie : Imaginez que vous essayez d'entendre la voix d'un ami dans une pièce bruyante.
- Si votre ami reste immobile (région statique), vous pouvez l'écouter pendant longtemps pour filtrer le bruit de fond. DWTA-Net fait cela en « mélangeant » de nombreuses images passées pour lisser le grain.
- Si votre ami se met à courir (région dynamique), vous ne pouvez pas mélanger ses positions passées avec sa position actuelle, sinon il aura l'air d'un fantôme. DWTA-Net détecte ce mouvement et arrête le mélange, gardant l'objet en mouvement net.
Comment il décide : Il utilise un « flux optique » (une façon de suivre le mouvement des pixels) pour créer une carte de poids dynamique. C'est comme un variateur d'intelligence qui dit : « Mélange fortement ici car c'est immobile », et « Ne mélange pas ici car cela bouge ».

L'Ingrédient Secret : La Perte « Sensible à la Texture »

Pour enseigner à l'IA comment faire cela, les chercheurs ont créé un système de notation spécial (une « fonction de perte ») appelé Perte Adaptative à la Texture.

L'Analogie : Pensez à un peintre.
- Lorsqu'il peint un mur rugueux et texturé (comme de l'herbe ou de la brique), le peintre veut garder chaque petit détail et chaque fissure visibles.
- Lorsqu'il peint un mur lisse (comme un ciel bleu clair), le peintre veut qu'il soit parfaitement lisse et exempt de taches.
Le Résultat : L'IA apprend à être « dure » sur les zones lisses pour éliminer le bruit, mais « douce » sur les zones texturées pour conserver les détails. Elle ne traite pas l'image entière de la même manière.

Que Ont-ils Découvert ?

L'équipe a testé DWTA-Net sur des vidéos réelles prises dans des conditions très sombres et bruyantes (comme une course de chevaux filmée après le coucher du soleil).

Le Résultat : Par rapport à d'autres méthodes de premier plan, DWTA-Net a éliminé plus de bruit, a conservé des couleurs naturelles et n'a pas rendu les objets en mouvement flous ou fantomatiques.
La Preuve : Lorsqu'ils ont examiné une partie statique de la vidéo (le ciel), DWTA-Net a produit une image plus propre que même les meilleurs nettoyeurs d'images uniques, prouvant que regarder l'« histoire à long terme » de la vidéo aide vraiment.

En bref : DWTA-Net est un améliorate de vidéo qui agit comme un éditeur intelligent. Il corrige d'abord les couleurs, puis utilise une « mémoire » pour lisser le bruit dans les parties calmes de la vidéo tout en gardant les parties en mouvement nettes, le tout guidé par une règle qui dit « conservez les détails là où ils comptent ».

Résumé technique : Agrégation temporelle dynamique basée sur les poids pour l'amélioration vidéo en faible luminosité sous bruit extrême

Énoncé du problème
L'amélioration vidéo en faible luminosité (LLVE) fait face à des défis majeurs dus au bruit sévère, au faible contraste et à la dégradation des couleurs, en particulier dans des scénarios extérieurs « in-the-wild ». Bien que les méthodes basées sur l'apprentissage offrent une inférence rapide, elles peinent souvent sous un bruit réel lourd car elles n'exploitent pas suffisamment les indices temporels à long terme. Les approches existantes reposent généralement sur un traitement par fenêtre glissante ou des convolutions 3D qui ne considèrent qu'un voisinage court de trames. Ces méthodes sont lourdes en calcul, gourmandes en mémoire et incapables de tirer pleinement parti de la redondance temporelle à long terme, ce qui est crucial pour le débruitage dans des conditions extrêmes. De plus, les modèles entraînés sur du bruit synthétique ou léger généralisent souvent mal au bruit réel complexe et variant spatialement, entraînant des incohérences temporelles telles que des scintillements et des fantômes.

Méthodologie : DWTA-Net
Les auteurs proposent DWTA-Net, un cadre novateur d'apprentissage profond récurrent basé sur une architecture en deux étapes conçue pour gérer un bruit réel lourd tout en maintenant une cohérence temporelle.

Étape I : Amélioration multi-trames (Restauration locale)
- Objectif : Restaurer la structure locale, la couleur et la luminosité tout en assurant une cohérence temporelle à court terme.
- Mécanisme : Une courte séquence de trames voisines est d'abord alignée sur une trame de référence à l'aide d'un module PCD (Déformable Convolutional Pixel-wise) pour générer des caractéristiques compensées par le mouvement.
- Backbone : Ces caractéristiques alignées sont traitées par un backbone de type U-Net basé sur Mamba. Les blocs convolutifs conventionnels sont remplacés par des blocs VSS (Visual State-Space). Contrairement aux convolutions standard aux champs récepteurs limités, les blocs VSS utilisent un mécanisme de balayage sélectif pour capturer des dépendances globales à longue portée, ce qui est critique pour restaurer la cohérence structurelle dans des scènes fortement dégradées.
Étape II : Raffinement récurrent dynamique (Agrégation à long terme)
- Objectif : Supprimer le bruit et stabiliser les détails sur de longues séquences en accumulant des preuves temporelles à long terme.
- Mécanisme : S'éloignant de la récurrence d'état caché, DWTA-Net effectue l'agrégation directement dans l'espace spatial (pixels), où le bruit en faible luminosité se manifeste sous forme d'artefacts haute fréquence.
- Pondération dynamique : L'étape emploie une formulation récurrente guidée par le flux optique (en utilisant GMFlow). À chaque pas de temps $t$ , la sortie raffinée de l'étape précédente ( $O'_{t-1}$ ) est déformée pour s'aligner avec la sortie actuelle de l'Étape I ( $O_t$ ).
- Mélange adaptatif : Une carte de poids dynamique $\omega$ $ω$ est calculée basée sur le résidu de mouvement $R = |O_t - O^W_{t-1}|$ $R = ∣ O_{t} - O_{t - 1}^{W} ∣$ .
  - Dans les régions statiques (faible résidu), le poids met l'accent sur l'accumulation à partir de la trame précédente déformée pour supprimer le bruit.
  - Dans les régions dynamiques (résidu élevé), le poids favorise la trame actuelle pour préserver la netteté du mouvement.
- Cette stratégie équilibre la suppression du bruit avec la netteté du mouvement, surmontant les limites du moyennage à fenêtre fixe.
Fonction de perte adaptative à la texture
- Pour répondre à la variance spatiale du bruit en faible luminosité, les auteurs introduisent une fonction de perte qui équilibre la préservation des détails fins avec la régularité spatiale.
- Une carte sensible à la texture ( $M_T$ ) est dérivée des composantes haute fréquence de la sortie en utilisant une Transformée en Ondelettes Discrète 2D (2D-DWT).
- La perte totale combine une perte de reconstruction $\ell_2$ $ℓ_{2}$ pixel par pixel avec une somme pondérée de :
  - Perte perceptuelle ( $L_{VGG}$ ) : Appliquée aux régions fortement texturées ( $M_T \to 1$ ) pour préserver les détails fins.
  - Perte de variation totale ( $L_{TV}$ ) : Appliquée aux régions homogènes ( $M_T \to 0$ ) pour encourager la régularité et supprimer le bruit.

Contributions clés

Cadre DWTA-Net : Un cadre récurrent novateur basé sur Mamba, conçu pour le bruit réel lourd, présentant une conception en deux étapes qui sépare la restauration locale de l'agrégation temporelle à long terme.
Agrégation récurrente spatiale : Une stratégie d'agrégation temporelle basée sur des poids dynamiques opérant dans l'espace spatial plutôt que dans l'espace des caractéristiques. Elle utilise les résidus de mouvement pour ajuster adaptativement les poids de mélange, équilibrant la cohérence temporelle avec la netteté consciente du mouvement.
Fonction de perte adaptative à la texture : Une fonction de perte personnalisée qui pondère dynamiquement les contraintes perceptuelles et de régularité en fonction de la complexité de la texture locale, assurant la préservation des détails dans les zones texturées tout en lissant les régions homogènes.

Résultats expérimentaux
Le modèle a été entraîné sur l'ensemble de données vidéo apparié en faible luminosité DID et évalué sur des métriques quantitatives (PSNR, SSIM, LPIPS) et des scénarios qualitatifs « in-the-wild » (spécifiquement la séquence Horse).

Performance quantitative : Sur l'ensemble de données DID, DWTA-Net a obtenu le PSNR le plus élevé (24,27 dB) et le LPIPS le plus bas (0,115) parmi les méthodes comparées, surpassant les méthodes basées sur l'image les plus avancées (par exemple, Retinexformer, WaveMamba) et les bases vidéo (par exemple, EDVR, SMOID).
Capacité de débruitage : Dans une évaluation complémentaire sur une région de ciel statique de la séquence Horse (en utilisant un pseudo-vrai terrain généré par moyennage de trames), DWTA-Net a atteint le PSNR le plus élevé (27,81 dB) et le SSIM le plus élevé (0,839), dépassant même les méthodes basées sur l'image idéales pour des scénarios statiques.
Qualité visuelle : Les comparaisons qualitatives montrent que DWTA-Net préserve les détails fins (par exemple, clôtures, câbles, texture de l'herbe) et les couleurs naturelles sans les artefacts de lissage excessif observés dans des méthodes comme Starlight-denoiser ou les artefacts distrayants introduits par SDSD-net.
Études d'ablation : La suppression de l'Étape I a entraîné des chutes drastiques du PSNR et de la qualité perceptuelle, confirmant son rôle dans la restauration de base. La suppression de l'Étape II a résulté en un LPIPS plus élevé, démontrant la nécessité de l'agrégation temporelle à long terme pour la qualité visuelle. La perte adaptative à la texture s'est avérée cruciale pour équilibrer la suppression du bruit et la préservation de la texture.

Signification et revendications
L'article revendique que DWTA-Net fournit une solution robuste pour l'amélioration vidéo en faible luminosité dans des conditions de bruit extrême où les pipelines traditionnels et les méthodes existantes basées sur l'apprentissage échouent. En tirant parti de la redondance temporelle à long terme grâce à une stratégie d'agrégation récurrente et consciente du mouvement, le cadre atteint une suppression du bruit supérieure et une cohérence temporelle. Les auteurs positionnent leur travail comme une avancée pratique qui répond au défi spécifique de la généralisation à des distributions de bruit réelles complexes tout en préservant les détails structurels fins, validé par des benchmarks étendus et des évaluations « in-the-wild » exigeantes.