Résumé technique : Modèles de flux génératif alignés sur la restauration pour le déflouage de mouvement aveugle

Énoncé du problème

Le déflouage de mouvement aveugle vise à restaurer une image latente nette à partir d'une seule observation floue. Bien que les architectures d'apprentissage profond basées sur la restauration aient atteint une haute fidélité (correspondance étroite avec les images de référence via des pertes au niveau des pixels), elles peinent souvent à produire des détails perceptuellement réalistes, aboutissant à des sorties trop lissées. À l'inverse, les modèles génératifs (tels que les modèles de diffusion et d'appariement de flux) entraînés sur des images naturelles à grande échelle excellent en qualité perceptuelle, mais souffrent d'une dégradation sévère de la fidélité lorsqu'ils sont appliqués directement à des tâches de restauration. Ce « effondrement de la fidélité » survient car les objectifs d'entraînement des modèles génératifs (transporter du bruit vers des données propres) sont intrinsèquement désalignés par rapport aux objectifs de restauration (restaurer un contenu spécifique à partir d'une entrée dégradée). L'application naïve de modèles génératifs au-dessus de réseaux de restauration haute fidélité conduit souvent à une baisse significative du PSNR, échouant à préserver la qualité de reconstruction initiale.

Méthodologie : DeblurFlow

Les auteurs proposent DeblurFlow, un cadre qui résout le décalage d'objectifs entre la génération et la restauration en reformulant la trajectoire du flux génératif. La méthodologie se compose de trois composants principaux :

1. Formulation de flux alignée sur la restauration

Les modèles d'appariement de flux standard apprennent un champ vectoriel pour transporter un échantillon de bruit ($\epsilon$) vers une image nette ($x$). DeblurFlow réinterprète cette trajectoire en remplaçant le point de terminaison du bruit par l'observation floue ($y$).

• Redéfinition de la trajectoire : Le chemin est défini comme $x^*_t = (1-t)x + ty$, où $y$ est l'entrée floue et $x$ est la vérité terrain nette.
• Champ vectoriel comme résidu : La dérivée de ce chemin, $v^* = y - x$, représente naturellement l'erreur résiduelle entre le flou et l'image nette.
• Alignement de la perte : Dans cette formulation, la perte standard d'appariement de flux coïncide avec une perte résiduelle ($L_{res} = \|v_\theta(x^*_t, t) - (y - x)\|^2$). Cela permet d'optimiser des modèles de flux préentraînés selon des objectifs orientés restauration via une adaptation de faible rang (LoRA), leur permettant de prédire des résidus plutôt que de générer des images à partir du bruit.

2. Stratégie d'échantillonnage à double expert

Pour équilibrer la fidélité de restauration et le réalisme perceptuel, le cadre décompose la tâche en deux rôles complémentaires :

• Expert de fidélité : Un réseau de restauration préentraîné (par exemple NAFNet) fournit une estimation initiale haute fidélité ($x^*_t = f_\psi(y)$).
• Expert de réalisme : DeblurFlow agit comme un expert de réalisme préservant la fidélité. Il affine l'estimation initiale en prédisant l'erreur résiduelle dans le processus d'échantillonnage par appariement de flux.
• Co-entraînement : Pour combler les éventuels écarts de distribution entre l'entraînement sur des entrées brutes floues et celui sur des initialisations haute fidélité, le modèle est co-entraîné à la fois sur la cartographie directe flou-vers-net ($y \to x$) et sur la cartographie dépendante de l'expert ($f_\psi(y) \to x$).

3. Représentation latente dans l'espace r

Pour assurer l'efficacité computationnelle, le cadre opère dans un espace latent spécialisé appelé espace r, plutôt que dans les espaces latents VAE standards.

• Conception : L'espace r est conçu pour le décodage résiduel plutôt que pour la reconstruction d'images nettes.
• Architecture : Il utilise une paire encodeur-décodeur avec des raccourcis résiduels qui propagent les indices structurels directement depuis l'entrée floue.
• Efficacité : Cette conception réduit considérablement le coût computationnel des composants encodeur-décodeur par rapport aux VAE standards, rendant le processus d'échantillonnage itératif pratique pour les applications réelles.

Contributions clés

1. Formulation alignée sur la restauration : L'article propose un nouveau cadre de déflouage qui reformule la trajectoire du flux génératif pour traiter le champ vectoriel comme une erreur résiduelle alignée sur la tâche. Cela atténue l'effondrement de la fidélité et rend les modèles de flux génératifs compatibles avec les modèles de déflouage haute fidélité.
2. Espace latent r : L'introduction de l'espace r permet un encodage et un décodage préservant la fidélité avec une haute efficacité computationnelle, réduisant le coût de l'encodeur-décodeur jusqu'à 9 fois par rapport aux latents VAE standards.
3. Échantillonnage à double expert : Une stratégie qui décompose le problème en un expert de fidélité et un expert de réalisme préservant la fidélité, assurant une haute fidélité de restauration tout en améliorant substantiellement le réalisme perceptuel.

Résultats expérimentaux

Les auteurs ont évalué DeblurFlow sur quatre jeux de données : GoPro, HIDE, RealBlur-J et RWBI.

• Fidélité vs Réalisme : Sur le jeu de données GoPro, DeblurFlow a atteint un PSNR de 33,05 dB (comparé à 33,69 dB pour l'expert de fidélité seul et 27,60 dB pour une application générative naïve) et un score MUSIQ de 50,81 (significativement supérieur aux méthodes basées sur la restauration comme NAFNet à 45,28). Cela démontre la capacité à préserver la fidélité tout en améliorant la qualité perceptuelle.
• Généralisation : Sur le jeu de données réel RWBI (qui ne dispose pas de vérité terrain), DeblurFlow a surpassé les méthodes basées sur la restauration et sur la diffusion sur toutes les métriques sans référence (CLIPIQA, NIQE, MUSIQ, MANIQA).
• Efficacité computationnelle : DeblurFlow traite des images de résolution 2K en 0,41 seconde sur un seul GPU. C'est environ 3,4 fois plus rapide que DiffIR et 6,5 fois plus rapide que FFTFormer. L'utilisation de l'espace r a réduit le coût computationnel de l'encodeur-décodeur de 422,7 GMACs à 19,5 GMACs.
• Études d'ablation : Les expériences ont confirmé que l'objectif de génération standard provoque un effondrement de la fidélité (baisse du PSNR de 33,69 à 27,60). La formulation de perte résiduelle proposée a atténué cette baisse (rétablissant le PSNR à 32,40), et l'espace r a amélioré davantage la fidélité et le réalisme tout en réduisant les coûts.

Importance et revendications

L'article revendique que DeblurFlow comble avec succès le fossé entre la restauration et la génération. En reformulant la trajectoire du flux génératif pour l'aligner sur les objectifs de restauration (prédire des résidus plutôt que de transporter du bruit), le cadre permet à un modèle génératif unique de fonctionner efficacement comme outil de déflouage sans sacrifier la fidélité fournie par les réseaux de restauration traditionnels.

Les auteurs soulignent que leur contribution ne réside pas simplement dans la combinaison de composants existants, mais dans l'unification sous une formulation générative alignée sur la restauration. Cette approche suggère que la restauration et la génération ne doivent pas être considérées comme des tâches distinctes et incompatibles, mais peuvent être explorées au sein d'un seul modèle de flux génératif. La méthode est présentée comme une solution pratique qui atteint une forte fidélité de restauration et un réalisme perceptuel tout en restant suffisamment efficace sur le plan computationnel pour un déploiement dans le monde réel. Les auteurs notent que ce cadre pourrait potentiellement être étendu à d'autres tâches de restauration telles que le débruitage d'images et la super-résolution.