Résumé technique : VDFP (Déflickérisation vidéo avec a priori de bandes de scintillement)

1. Définition du problème

L'article traite du problème répandu mais sous-exploré de la déflickérisation vidéo causée par la capture d'écrans numériques (spécifiquement des matrices LED) avec des smartphones. Ce phénomène entraîne des fluctuations périodiques sévères, structurées et de luminance, connues sous le nom d'artefacts de bandes. Ces artefacts résultent d'un décalage de synchronisation temporelle entre le mécanisme de obturateur roulant de l'appareil photo (qui lit la scène ligne par ligne) et la modulation lumineuse haute fréquence de l'affichage (par exemple, PWM dans les OLED ou balayage multiplexé dans les LED).

Les méthodes existantes de restauration vidéo (par exemple, super-résolution, défloutage, débruitage) et les modèles spécifiques de suppression de scintillement (par exemple, pour les éclairs de lumière ambiante) échouent à traiter cette tâche efficacement. Elles laissent souvent des bandes résiduelles ou produisent des textures trop lissées car elles ne tiennent pas compte de l'occurrence complexe et simultanée de différents types de bandes (par exemple, des rayures fines haute fréquence et des bandes épaisses basse fréquence) ni de l'absence de données d'entraînement adaptées.

2. Méthodologie : VDFP

Les auteurs proposent VDFP (Déflickérisation vidéo avec a priori de bandes de scintillement), un nouveau cadre de génération guidé par la perception composé de deux étapes principales :

A. Construction et simulation des données

Pour pallier la rareté des données réelles, les auteurs introduisent DeViD, un jeu de données réel contenant 108 vidéos couvrant des scènes diverses (sports, publicités, dessins animés, etc.).

• Modélisation du champ de dégradation (DFM) : Puisque la capture réelle est limitée, les auteurs proposent un pipeline de simulation informé par la physique, basé sur le mécanisme de l'obturateur roulant.
  • Modélisation cinématique spatio-temporelle : Elle génère des champs de dégradation paramétrés ($O_l$) en calculant la projection des coordonnées des pixels sur l'axe de la bande, en incorporant un décalage de phase dépendant du temps pour simuler le délai de l'obturateur roulant.
  • Fusion de bandes à double couche : Le modèle synthétise des scénarios complexes en fusionnant deux couches indépendantes : une couche de bande de base (bandes haute fréquence) et une couche de bande épaisse. La dégradation finale est le maximum de ces deux couches, simulant la coexistence de multiples types d'artefacts présents dans la réalité.

B. Le cadre VDFP

Le processus de restauration est un pipeline en deux étapes construit sur un modèle de diffusion vidéo pré-entraîné (adaptant spécifiquement l'architecture STAR) :

1. Perception d'a priori continu spatio-temporel (CPP) :

   • Au lieu d'une segmentation binaire, un Video-SwinUNet est entraîné pour prédire une carte de confiance d'artefacts continue ($\hat{A}_{flicker} \in [0, 1]$).
   • Ce module est optimisé à l'aide d'une perte Erreur quadratique moyenne consciente du scintillement (FA-MSE), qui capture le spectre complet des transitions de luminance et des bords de bandes, plutôt que de simplement classifier les pixels comme « scintillement » ou « pas de scintillement ».

2. Injection de condition consciente des bandes :

   • La carte de confiance prédite est injectée dans le modèle de diffusion pré-entraîné en tant que canal supplémentaire.
   • Stratégie d'initialisation à zéro : La couche d'entrée est étendue de 4 à 5 canaux. Les poids correspondant au nouveau canal d'a priori sont initialisés à zéro. Cela garantit qu'au début de l'entraînement, le modèle repose entièrement sur ses a priori génératifs pré-entraînés, évitant ainsi des décalages de distribution catastrophiques. À mesure que l'entraînement progresse, le modèle apprend à utiliser la carte d'a priori pour guider la restauration.
   • Cette approche permet au modèle de supprimer sélectivement les bandes de scintillement tout en préservant les détails spatiaux haute fidélité et la cohérence temporelle, sans lisser excessivement l'arrière-plan.

3. Contributions clés

L'article énonce quatre contributions principales :

1. Jeu de données DeViD : La construction d'un jeu de données réel de déflickérisation vidéo couvrant diverses scènes de la vie quotidienne pour faciliter l'entraînement et l'évaluation.
2. Modélisation du champ de dégradation (DFM) : Un pipeline de simulation basé sur la physique de l'obturateur roulant qui synthétise des scénarios complexes à multiples bandes (combinant bandes de base et bandes épaisses) pour pallier la rareté des données.
3. Perception d'a priori continu spatio-temporel (CPP) : Un nouveau module utilisant la perte FA-MSE pour générer des cartes de confiance continues, couplé à une stratégie d'injection de condition initialisée à zéro pour guider le modèle de diffusion.
4. Supériorité des performances : Des expériences extensives démontrant que VDFP surpasse significativement les méthodes existantes tant en métriques quantitatives qu'en qualité visuelle, éliminant efficacement des bandes complexes tout en maintenant l'intégrité structurelle.

4. Résultats expérimentaux

Les auteurs ont évalué VDFP par rapport aux méthodes de l'état de l'art en restauration vidéo (par exemple, STBN, DLoRAL, FPANet) et en suppression de scintillement (Flickerformer).

• Métriques quantitatives : VDFP a obtenu les meilleurs résultats sur toutes les métriques basées sur une référence (SSIM, LPIPS, DISTS) et sans référence (MUSIQ, BRISQUE, DOVER, $E^*_{warp}$) sur le jeu de test DeViD. Notamment, il a obtenu un score DOVER de 0,6484 et un $E^*_{warp}$ de 10,5442, surpassant significativement la deuxième meilleure méthode (DLoRAL).
• Comparaison visuelle : Les résultats qualitatifs montrent que VDFP élimine presque complètement les bandes épaisses et les bandes d'arrière-plan. En revanche, les autres méthodes laissent soit des rayures résiduelles, soit floutent le contenu vidéo, soit échouent à maintenir la cohérence temporelle lors de la visualisation de la vidéo dans son ensemble.
• Étude d'ablation : L'étude confirme que le module DFM (pour une meilleure simulation des données d'entraînement) et le module CPP (pour une injection précise des a priori) contribuent de manière incrémentale aux performances finales, le pipeline complet obtenant les métriques les plus élevées.

5. Importance et limites

L'article affirme que VDFP établit un cadre hautement efficace pour la déflickérisation vidéo réelle, une tâche où les modèles précédents peinaient en raison de la complexité de la dégradation et du manque de données. En exploitant une approche de génération guidée par la perception, la méthode parvient à équilibrer avec succès une suppression agressive des artefacts avec la préservation des détails fins.

Limites :
Les auteurs notent modestement que le jeu de données DeViD actuel contient exclusivement des bandes capturées à partir de matrices LED. Par conséquent, les performances du modèle sur les bandes induites par d'autres technologies d'affichage, telles que les écrans LCD et OLED, restent un domaine à investiguer pour l'avenir.

Impact sociétal :
Positivement, ce travail vise à aider les utilisateurs à restaurer des vidéos et à sauver des souvenirs précieux qui seraient autrement dégradés par des artefacts de bandes induits par les écrans.