BluRef: Unsupervised Image Deblurring with Dense-Matching References

1. Problématique

Le flou de mouvement est un problème fréquent dans les images et les vidéos, dégradant la qualité visuelle et affectant les performances des applications de vision par ordinateur. Les méthodes actuelles de défloutage (deblurring) reposent principalement sur l'apprentissage supervisé, qui nécessite des paires de données parfaitement alignées (une image floue et son correspondant net).

• Limites de l'apprentissage supervisé : La collecte de ces paires est coûteuse, complexe (nécessitant des séparateurs de faisceau, une synchronisation temporelle précise, etc.) et souvent impossible dans des scénarios réels comme les caméras embarquées (dashcams) ou les bodycams.
• Limites des méthodes non supervisées existantes : Les approches actuelles sans données appariées souffrent souvent d'un "écart de domaine" (domain gap) ou reposent sur des pipelines multi-étapes complexes (comme la méthode "reblurring") qui sont peu efficaces et difficiles à adapter.

L'objectif de ce travail est de développer une méthode de défloutage non supervisée capable d'apprendre directement dans le domaine cible, sans nécessiter de données d'entraînement appariées ni de réseaux pré-entraînés sur des données synthétiques.

2. Méthodologie : BluRef

BluRef propose un cadre novateur guidé par des références non appariées. L'idée centrale est d'utiliser des images nettes de référence (issues de la même scène mais non alignées géométriquement ou temporellement avec l'image floue) pour générer des pseudo-références (pseudo-ground truth) de haute qualité.

Le processus se déroule en plusieurs étapes clés :

A. Collecte de données et Hypothèse

Le modèle apprend à partir d'images floues et d'images nettes de référence non appariées. Ces références n'ont pas besoin d'être capturées simultanément ni d'être parfaitement alignées géométriquement ; elles doivent simplement provenir de scènes similaires.

B. Entraînement du Modèle de Correspondance Dense (Dense Matching - DM)

Pour établir des liens entre l'image floue et les références nettes, un modèle de correspondance dense est entraîné de manière auto-supervisée.

• Données d'entraînement : Le modèle est entraîné sur des paires synthétiques créées à partir d'images nettes en appliquant des transformations géométriques aléatoires (homographie, spline) et des augmentations de flou (inspirées de BSRGAN).
• Fonction : Ce modèle apprend à identifier les correspondances de pixels entre une image cible (floue ou déformée) et une image de référence nette, en produisant une carte de confiance.

C. Génération itérative de Pseudo-Netteté

Le cœur de l'algorithme est un processus itératif par époques :

1. Estimation initiale : Le réseau de défloutage produit une estimation floue de l'image d'entrée.
2. Correspondance et Génération : Le modèle DM compare cette estimation avec les images de référence nettes pour transférer les détails nets vers l'image estimée, générant une image pseudo-nette ($I_{pseudo}$) et un masque de confiance ($M_{pseudo}$).
3. Optimisation : Le réseau de défloutage est mis à jour en minimisant une fonction de perte de reconstruction pondérée par le masque de confiance (les régions non fiables sont ignorées).
4. Raffinement : Ce processus se répète, améliorant progressivement la qualité de l'image pseudo-nette et la performance du réseau de défloutage.

Stratégies d'agrégation : Le papier explore trois façons de combiner plusieurs références :

• Moyenne pondérée : Fusion simple des résultats.
• Accumulation séquentielle : Raffinement itératif où la sortie d'une étape sert d'entrée à la suivante.
• Moyenne progressive de référence (Progressive Reference Averaging) : La stratégie la plus performante, qui conserve les détails nets des itérations précédentes tout en intégrant sélectivement de nouveaux détails des références.

D. Inférence

Une fois entraîné, le modèle BluRef fonctionne comme un défloutage direct standard. Les modules de correspondance dense et de génération de pseudo-références sont abandonnés lors de l'inférence. Le modèle ne nécessite qu'une seule image floue en entrée, offrant une complexité de calcul identique à un réseau de défloutage classique.

3. Contributions Clés

1. Premier cadre non supervisé guidé par référence : BluRef est la première méthode à utiliser des références non appariées pour générer des pseudo-références et entraîner un réseau de défloutage sans aucune donnée appariée ni réseau pré-entraîné sur des paires.
2. Génération de données réutilisables : Le processus itératif génère des paires pseudo-appariées de haute qualité qui peuvent être réutilisées pour entraîner d'autres architectures de réseaux (y compris des modèles légers pour mobiles), augmentant ainsi l'utilité pratique de la méthode.
3. Performance supérieure : La méthode atteint des performances proches, voire supérieures dans certains cas, aux modèles supervisés, tout en éliminant le besoin de collecte de données coûteuse.

4. Résultats Expérimentaux

Les expériences ont été menées sur des ensembles de données synthétiques (GoPro) et réels (RB2V, PhoneCraft).

• Performance Quantitative :
  • Sur GoPro (données synthétiques), BluRef avec le backbone NAFNet et la stratégie "Progressive Averaging" atteint un PSNR de 31,94 dB (pour $\Delta=1$), se rapprochant fortement du modèle supervisé NAFNet (33,32 dB).
  • Sur RB2V (données réelles), la méthode dépasse même la borne supérieure supervisée (Restormer) avec un PSNR de 27,87 dB contre 27,43 dB pour le modèle supervisé.
  • Les méthodes non supervisées existantes (DualGAN, UID-GAN, UAUD) obtiennent des scores nettement inférieurs.
• Robustesse : La méthode reste stable même lorsque les images de référence sont décalées temporellement de 20 images ($\Delta=20$), ce qui démontre sa capacité à gérer des changements de contenu et de mouvement importants.
• Qualité Visuelle : Les résultats qualitatifs montrent une récupération précise des détails (visages, branches d'arbres) que les méthodes non supervisées classiques échouent à restaurer, éliminant les artefacts de flou de mouvement.

5. Signification et Impact

BluRef représente une avancée significative dans le domaine du défloutage d'images :

• Accessibilité : Il rend le défloutage de haute qualité accessible pour des scénarios où la collecte de données appariées est impossible (caméras de surveillance, véhicules autonomes, smartphones).
• Efficacité : En éliminant le besoin de pipelines complexes multi-étapes lors de l'inférence, il offre une solution scalable et légère.
• Généralisation : La capacité à fonctionner avec des données non appariées et à s'adapter à divers domaines de flou ouvre la voie à des applications pratiques dans le monde réel, au-delà des limites des méthodes purement synthétiques ou supervisées.

En résumé, BluRef démontre qu'il est possible d'entraîner des modèles de défloutage performants entièrement dans le domaine cible en exploitant intelligemment la similarité sémantique entre des images floues et des références nettes non appariées.