Beyond the Ground Truth: Enhanced Supervision for Image Restoration

1. Problématique

La restauration d'images basée sur l'apprentissage profond a connu des succès majeurs, mais elle reste limitée par la qualité des images de vérité terrain (Ground Truth - GT) utilisées pour l'entraînement. Dans les scénarios réels, l'acquisition de vérités terrain parfaites est difficile :

• Défloutage : Les GT sont souvent extraites de séquences vidéo, contenant des tremblements de caméra ou des mouvements d'objets, ce qui réduit la netteté.
• Débruitage : Les GT sont fréquemment construites par moyennage de multiples captures bruyantes, entraînant des références floues.

Les modèles entraînés sur ces données suboptimales héritent de ces imperfections, limitant leur capacité à produire des restaurations de haute qualité perceptuelle. De plus, les méthodes génératives récentes (comme les modèles de diffusion) risquent d'introduire des hallucinations (détails faux) pour améliorer la qualité, compromettant la fidélité sémantique.

2. Méthodologie

Les auteurs proposent un cadre novateur en deux étapes : l'amélioration de la supervision (création de GT améliorées) et un réseau de raffinement de sortie léger.

A. Cadre d'Amélioration de la Supervision (Supervision Enhancement Framework)

L'objectif est de générer des images de vérité terrain "améliorées" ($\hat{I}^{GT}$) à partir des GT originales ($I^{GT}_0$) et de leurs variantes super-résolues.

1. Super-Résolution (ISR) :

   • Une image GT originale est upscalée avec différents facteurs d'échelle (2x, 3x, 4x).
   • Un modèle de super-résolution basé sur un modèle de diffusion en une étape (OSEDiff) est appliqué pour générer des variantes perceptuellement améliorées ($I^{GT}_i$). Ces variantes contiennent des détails haute fréquence riches mais peuvent introduire des distorsions sémantiques.

2. Mixup dans le Domaine Fréquentiel (Frequency-Domain Mixup) :

   • Au lieu de fusionner les images dans l'espace spatial (ce qui crée des artefacts), les auteurs fusionnent les composantes fréquentielles.
   • Générateur de Masques Fréquentiels Conditionnels : Un réseau ($g$) prédit des coefficients pour combiner un ensemble de masques de base gaussiens en forme d'anneau ($R_b$). Ces masques permettent un contrôle précis des bandes de fréquence (des basses aux hautes fréquences) tout en assurant des transitions lisses.
   • Fusion : L'image améliorée est construite par la transformée de Fourier inverse de la somme pondérée des composantes fréquentielles de la GT originale et des variantes super-résolues, guidée par les masques adaptatifs ($M_i$).
   • Avantage : Cette approche préserve la structure sémantique et les basses fréquences de la GT originale tout en enrichissant sélectivement les détails haute fréquence, évitant ainsi les hallucinations.

B. Réseau de Raffinement de Sortie (Output Refinement Network - ORNet)

• Une fois les GT améliorées générées, un réseau léger (ORNet) est entraîné.
• Stratégie : Au lieu de réentraîner un modèle de restauration complet, ORNet est conçu comme un module plug-and-play. Il prend en entrée la sortie d'un modèle de restauration pré-entraîné ($R_\phi$) et la raffine pour qu'elle ressemble davantage à la GT améliorée ($\hat{I}^{GT}$) plutôt qu'à la GT originale.
• Architecture : Basée sur des blocs NAF (NAFBlocks) dans une architecture U-Net, ORNet est très léger et agnostique au modèle de base.
• Contrôle : Un paramètre $\lambda$ permet de contrôler l'intensité de l'amélioration perceptuelle, offrant un compromis entre fidélité et qualité visuelle.

3. Contributions Clés

1. Identification du goulot d'étranglement : Mise en évidence du fait que la qualité suboptimale des vérités terrain est une limite fondamentale pour la restauration d'images réelles.
2. Cadre d'amélioration par Mixup Fréquentiel : Proposition d'une méthode pour générer des supervisions de haute qualité en fusionnant des variantes super-résolues avec l'original via des masques fréquentiels adaptatifs, préservant la fidélité sémantique.
3. Réseau de Raffinement Modulaire (ORNet) : Introduction d'un réseau léger, agnostique et sans besoin de réentraînement des modèles de base, capable d'améliorer les sorties de n'importe quel modèle de restauration existant.
4. Validation Robuste : Démonstration de la robustesse du modèle dans des scénarios hors distribution (OOD) et validation par des études utilisateurs.

4. Résultats Expérimentaux

Les expériences ont été menées sur des tâches de défloutage (GoPro, HIDE) et de débruitage (SIDD, LOL).

• Qualité Perceptuelle : L'ajout d'ORNet aux modèles de pointe (comme FFTformer, NAFNet, Restormer) entraîne des gains significatifs sur les métriques sans référence (MUSIQ, MANIQA, TOPIQ, LIQE). Par exemple, sur GoPro, le score MUSIQ passe de ~46 à ~64 pour FFTformer.
• Fidélité Sémantique et Hallucinations : Les analyses (OCR, reconnaissance faciale) montrent que les images améliorées conservent une haute précision sémantique, contrairement aux méthodes génératives pures qui introduisent des artefacts.
• Généralisation (OOD) : Le modèle fonctionne efficacement sur des dégradations non vues lors de l'entraînement (bruit blanc, flou gaussien supplémentaire), prouvant sa capacité à supprimer les dégradations résiduelles sans sur-spécialisation.
• Efficacité : ORNet est extrêmement léger (4,5 M de paramètres, 20 G MACs) comparé aux modèles de base, permettant une intégration facile avec un coût computationnel négligeable.
• Études Utilisateurs : Les participants ont systématiquement préféré les images générées avec la GT améliorée et les sorties raffinées par ORNet par rapport aux méthodes de base.

5. Signification et Impact

Ce travail propose un changement de paradigme dans la restauration d'images : au lieu de simplement optimiser les architectures de réseaux pour s'adapter à des données imparfaites, il améliore la qualité des données d'entraînement elles-mêmes.

• Pratique : La méthode offre une voie pratique pour obtenir des résultats de restauration plus réalistes et visuellement convaincants dans des scénarios réels, sans nécessiter de réentraînement coûteux des modèles existants.
• Scientifique : Elle démontre qu'un contrôle fin dans le domaine fréquentiel permet de concilier la richesse des détails (souvent associée aux modèles génératifs) avec la fidélité sémantique (souvent associée aux méthodes de reconstruction classiques), résolvant ainsi le compromis traditionnel entre PSNR et qualité perceptuelle.

En résumé, cette approche permet de "dépasser la vérité terrain" en créant des cibles d'apprentissage supérieures, conduisant à des modèles de restauration plus performants, robustes et fidèles à la réalité.