Résumé technique : Débruitage d'images basé sur la perception via compression générative

1. Énoncé du problème

Le débruitage d'images vise à éliminer le bruit tout en préservant les détails structurels et le réalisme perceptuel. Cependant, les méthodes traditionnelles optimisées pour des métriques de distorsion au niveau des pixels (par exemple, l'erreur quadratique moyenne ou le PSNR) produisent souvent des reconstructions trop lissées, en particulier sous un bruit intense ou lors de décalages de distribution. Cela s'explique par le fait que la minimisation de la distorsion seule est insuffisante pour la qualité perceptuelle ; le compromis Taux-Distorsion-Perception (RDP) formalise que la minimisation de la distorsion sans tenir compte des contraintes perceptuelles entraîne une perte de textures fines et de statistiques d'images naturelles.

Les méthodes existantes de restauration perceptuelle, telles que les GAN conditionnels de Wasserstein (WGAN), peuvent souffrir d'un entraînement instable et d'une capture inadéquate de la diversité des images naturelles. À l'inverse, les modèles de diffusion offrent un entraînement stable et une bonne couverture des modes, mais nécessitent une intégration avec les principes de compression pour traiter efficacement la nature structurée du bruit par rapport aux signaux naturels.

2. Méthodologie

L'article propose un cadre de compression générative où le débruitage est obtenu en reconstruisant des images à partir de représentations latentes codées par entropie. La prémisse centrale est que les signaux naturels présentent une faible complexité, tandis que le bruit est non structuré. En faisant fonctionner un compresseur à un niveau de distorsion correspondant à la force du bruit, le bruit à haute complexité est supprimé tandis que le contenu structuré est préservé.

Les auteurs introduisent deux instantiations complémentaires de ce cadre :

2.1. Débruiteur par compression basé sur WGAN conditionnel (CGanDeCompress)

Cette approche intègre une compression avec perte apprise avec un entraînement adversaire conditionnel.

• Architecture : Un encodeur ($E$) mappe une entrée bruitée $y$ vers une représentation latente quantifiée $z$. Un décodeur ($G$) reconstruit l'image débruitée $\hat{x}$ à partir de $z$.
• Contrôle du débit : Le latent $z$ est codé par entropie à l'aide d'un modèle de probabilité appris $P$, générant un débit $r(z) = -\log P(z)$.
• Objectif d'entraînement : Le système minimise une fonction de perte combinée :
  $$L_{EGP} = \mathbb{E}_y[\lambda r(z) + d(x, \hat{x}) - \beta \log D(\hat{x}, z)]$$
  où $d(x, \hat{x})$ combine la perte MSE et la perte de similarité d'images par patchs perceptuelle apprise (LPIPS). Un discriminateur WGAN conditionnel $D$ distingue les images reconstruites des images propres conditionnées sur $z$, favorisant le réalisme perceptuel.
• Contrôle : Les paramètres $\lambda$ et $\beta$ contrôlent explicitement le compromis taux-distorsion-perception (RDP).

2.2. Reconstruction basée sur diffusion conditionnelle (DiffDeCompress)

Cette approche exploite les modèles de diffusion comme priors génératifs guidés par des latents compressés.

• Architecture : Un encodeur stochastique mappe $y$ vers un latent compact $z$. Un décodeur modélise la distribution conditionnelle $p(x_0|z)$ via un processus de diffusion inverse.
• Processus : Le processus inverse est conditionné sur $z$, guidant la trajectoire de débruitage vers des reconstructions sémantiquement cohérentes, tandis que les variables latentes intermédiaires permettent la synthèse de détails à fine échelle.
• Objectif d'entraînement : Le modèle optimise une borne supérieure variationnelle sur la vraisemblance négative logarithmique de la diffusion, augmentée d'une perte LPIPS explicite :
  $$L = \rho L_p + (1-\rho)L_c$$
  où $L_p$ est la perte LPIPS et $L_c$ inclut la contrainte de débit et la perte de reconstruction par diffusion.

3. Contributions théoriques

L'article établit des garanties non asymptotiques pour le débruitage par maximum de vraisemblance (ML) basé sur la compression sous bruit gaussien blanc additif (AWGN).

• Bornes d'erreur de reconstruction : Les auteurs dérivent des bornes supérieures sur l'erreur de reconstruction $\|x - \hat{x}\|$ en fonction du débit de compression $R$, de la distorsion $D(P)$ et du niveau de perception $P$. La borne indique qu'avec une forte probabilité, l'erreur est proche de la limite théorique distorsion-perception $D(P)$.
• Probabilité d'erreur de décodage : L'article fournit une borne sur la probabilité que le débruiteur ML sélectionne un mot de code incorrect, montrant que cette probabilité diminue de manière exponentielle avec le débit de compression $R$.
• Lien avec la théorie RDP : Le cadre théorique relie explicitement la performance de débruitage à la théorie RDP, démontrant que les méthodes proposées opèrent dans les limites théoriques des compromis distorsion-perception.

4. Résultats expérimentaux

Les méthodes ont été évaluées sur du bruit gaussien synthétique (ensembles de données KODAK et DIV2K) et du bruit réel (Ensemble de données de microscopie à fluorescence et Ensemble de données de débruitage d'images de smartphones - SIDD).

• Bruit synthétique :

  • Qualité perceptuelle : Les deux méthodes proposées ont constamment surpassé les bases classiques (BM3D) et basées sur l'apprentissage (N2C, N2N, Deep Decoder) selon les métriques perceptuelles (FID, LPIPS, PI).
  • Compromis de distorsion : Bien que les méthodes supervisées comme N2C aient atteint des PSNR/SSIM plus élevés, elles ont présenté des scores FID et LPIPS significativement plus élevés, indiquant des sorties trop lissées. Les méthodes proposées ont maintenu des performances de distorsion compétitives tout en atteignant un réalisme perceptuel supérieur.
  • Détails : À $\sigma=15$, CGanDeCompress a atteint le FID et le LPIPS les plus bas. À des niveaux de bruit plus élevés ($\sigma=50$), DiffDeCompress a atteint la meilleure qualité perceptuelle (PI le plus bas) sur KODAK, tandis que CGanDeCompress a excellé dans la similarité distributionnelle (FID) sur DIV2K.

• Bruit réel :

  • Sur les ensembles de données FMD et SIDD, CGanDeCompress a démontré une robustesse face aux décalages de domaine et au bruit réel complexe.
  • FMD : Le LPIPS est passé de 0,439 (bruité) à 0,035, avec une augmentation du PSNR de 28,45 dB à 36,71 dB.
  • SIDD : Le LPIPS a été réduit de 0,646 à 0,093, et le PSNR a augmenté de 26,35 dB à 32,70 dB, avec des gains significatifs en similarité structurelle (SSIM).

5. Importance et revendications

L'article revendique que le cadre de compression générative proposé comble avec succès le fossé entre le débruitage piloté par la distorsion et le débruitage piloté par la perception. En interprétant le débruitage comme une projection sur une classe de signaux de faible complexité induite par un codec avec perte, la méthode atteint :

1. Contrôle explicite : La capacité de gérer explicitement le compromis RDP grâce à des modèles de compression appris.
2. Fidélité perceptuelle : La génération de textures réalistes et de détails fins qui sont souvent perdus dans les méthodes optimisées pour le MSE.
3. Fondement théorique : L'établissement de bornes non asymptotiques reliant le débit de compression à l'erreur de débruitage, validant l'approche par des principes de la théorie de l'information.
4. Robustesse : Des performances constantes sur des benchmarks synthétiques et des scénarios réels complexes impliquant des décalages de domaine et des distributions de bruit complexes.

Les auteurs concluent que la compression générative offre un paradigme robuste pour le débruitage d'images basé sur la perception, atteignant une fidélité perceptuelle améliorée sans sacrifier des performances de distorsion compétitives.