Résumé Technique : Modélisation Unifiée de la Dégradation Hétérogène Dynamique par Apprentissage Auto-supervisé pour la Restauration d'Images Zero-Shot

1. Énoncé du Problème

La restauration d'images zero-shot vise à récupérer des images propres à partir de dégradations diverses et imprévisibles sans réentraînement spécifique à la tâche. Bien que les approches existantes offrent une flexibilité, elles rencontrent des limitations significatives :

• Priors de Dégradation Insuffisants : Les méthodes actuelles traitent souvent les dégradations comme des perturbations boîte noire, s'appuyant sur un apprentissage de caractéristiques implicite ou des couches empilées. Cela manque de priors physiquement cohérents, conduisant à des capacités de représentation faibles.
• Coûts Élevés d'Entraînement et d'Échantillonnage : L'absence de signaux physiques explicites force les modèles de diffusion à inférer les dégradations par un échantillonnage stochastique étape par étape, imposant une lourde charge d'entraînement et des coûts d'échantillonnage élevés.
• Convergence Sous-optimale : Les trajectoires d'inférence fixes s'effondrent souvent dans des minima locaux sous des corruptions complexes ou mixtes (par exemple, faible luminosité combinée au bruit et au brouillard), échouant à atteindre des solutions globalement optimales.
• Limites de Généralisation : Les modèles spécifiques à une tâche manquent de généralisation entre différents types de dégradations, tandis que les modèles « tout-en-un » reposent souvent sur des réseaux profonds pour capturer implicitement les caractéristiques de dégradation, contraignant la capacité de représentation.

2. Méthodologie : UP-ZeroIR

Les auteurs proposent UP-ZeroIR (Restauration d'Images Zero-Shot Physique Unifiée), un cadre qui passe de l'apprentissage de caractéristiques implicite à la modélisation explicite de la distribution de dégradation. L'idée centrale est que les dégradations hétérogènes peuvent être reparamétrées en un ensemble minimal de paramètres physiquement cohérents au sein de l'espace de diffusion latent.

Le cadre se compose de quatre composants clés :

A. Modélisation de Dégradation Physiquement Cohérente (PCDM)

Au lieu d'apprendre des caractéristiques de dégradation de haute dimension, UP-ZeroIR modélise les dégradations hétérogènes comme une distribution unifiée et homogène dans l'espace latent.

• Paramétrisation : Les auteurs emploient la Distribution Gaussienne Généralisée (GGD) pour approximer la distribution latente des images dégradées. La distribution est définie par deux statistiques suffisantes de basse dimension : l'échelle ($\sigma$) et la forme ($\alpha$).
• Translation Homogène : L'analyse empirique montre que les dégradations diverses (bruit, brouillard, faible luminosité) se manifestent par des déplacements systématiques dans les distributions du domaine des pixels. PCDM mappe ces dégradations hétérogènes vers une seule représentation paramétrique ancrée physiquement dans l'espace de diffusion latent.
• Implémentation : Un réseau léger mappe la représentation latente propre prédite ($\hat{z}_0$) vers une observation dégradée physiquement plausible $\phi(\hat{x}_0)$ en utilisant les paramètres GGD estimés.

B. Échantillonnage Postérieur Sensible à la Dégradation

Le cadre utilise un Modèle de Diffusion Latente (LDM) pré-entraîné, mais conditionne le processus d'échantillonnage sur les indices explicites de dégradation fournis par PCDM.

• Gradient de Vraisemblance : La direction d'échantillonnage postérieur est guidée par un terme de correction dérivé du gradient de vraisemblance $\nabla_{z_t} \log p(x_{lq} | z_t)$.
• Contrôle Explicite : En estimant la vraisemblance de dégradation $p(x_{lq} | \hat{z}_0)$, l'échantillonneur effectue des mises à jour sensibles à la dégradation plutôt qu'une diffusion non guidée, orientant le processus vers une restauration physiquement cohérente.

C. Perte d'Alignement de Dégradation (DegLoss)

Pour garantir que la distribution latente estimée s'aligne avec le modèle de dégradation physique, les auteurs introduisent une nouvelle fonction de perte.

• Divergence de Kullback-Leibler (KLD) : La perte mesure la divergence entre la distribution de l'image dégradée synthétisée ($\phi(\hat{x}_0)$) et l'image dégradée d'entrée réelle ($x_{lq}$) dans l'espace latent.
• Objectif Total : L'optimisation combine DegLoss avec des pertes de reconstruction standard (MSE, Perceptuelle, Adversariale) et un terme de qualité ($Q$) qui évalue la luminance et la chrominance pour garantir la fidélité perceptuelle.

D. Stratégie de Raffinement Dynamique de la Qualité (DQR)

Pour résoudre le problème de convergence sous-optimale sous des corruptions complexes, UP-ZeroIR introduit une stratégie d'inférence adaptative.

• Auto-évaluation : Pendant l'inférence, un modèle pré-entraîné d'évaluation de la qualité d'image sans référence (Arniqa) évalue la qualité de restauration à des intervalles spécifiques.
• Trajectoire Adaptative : Si le score de qualité ne s'améliore pas suffisamment, la stratégie ajuste adaptativement la trajectoire d'échantillonnage. Plus précisément, si le processus stagne, du bruit est réintroduit dans la représentation latente actuelle pour réinitialiser l'échantillonnage postérieur, permettant au modèle d'échapper aux minima locaux et de se diriger vers une solution globalement optimale.

3. Contributions Clés

1. Paramétrisation Physique Unifiée : L'article propose une paramétrisation physique unifiée des dégradations hétérogènes utilisant un ensemble compact de paramètres GGD interprétables. Cela permet un contrôle explicite de la distribution dans l'espace latent pour la restauration zero-shot, s'éloignant de l'apprentissage de caractéristiques implicite.
2. Raffinement Dynamique de la Qualité : Une stratégie dynamique auto-évaluée est introduite pour ajuster adaptativement la trajectoire de diffusion. Cela garantit l'optimalité globale avec des coûts d'inférence minimaux en échappant aux minima locaux lors de corruptions complexes.
3. Performances de l'État de l'Art : Des expériences extensives démontrent que UP-ZeroIR surpasse constamment les méthodes précédentes (à la fois les méthodes spécifiques à une tâche et les méthodes d'échantillonnage postérieur zero-shot) sur les dégradations simples (débruitage, défloutage, amélioration en faible luminosité) et les dégradations mixtes.

4. Résultats Expérimentaux

La méthode a été évaluée sur trois tâches principales utilisant des jeux de données standard :

• Amélioration en Faible Luminosité (LOLv1, LOLv2) : UP-ZeroIR a obtenu le PSNR et le SSIM les plus élevés, surpassant la deuxième meilleure méthode zero-shot (LD-RPS) de 0,95 dB et 0,98 dB respectivement. Elle a également dépassé les méthodes supervisées tout-en-un sur plusieurs métriques.
• Défloutage d'Images (Sous-ensemble HSTS de RESIDE) : La méthode a amélioré le PSNR de 1,03 dB par rapport à la deuxième meilleure méthode zero-shot, éliminant efficacement le brouillard tout en préservant les détails fins et la fidélité des couleurs.
• Débruitage d'Images (Kodak24) : UP-ZeroIR a atteint une amélioration de 0,85 dB du PSNR par rapport à la deuxième meilleure méthode, supprimant avec succès le bruit tout en conservant les détails structurels tels que les textures et les bords.
• Dégradations Mixtes : Dans des scénarios combinant faible luminosité, bruit et brouillard, la méthode a démontré une robustesse supérieure par rapport aux autres méthodes d'échantillonnage postérieur, qui souffraient souvent de baisses de performance avec des dégradations imbriquées.

5. Signification et Revendications

L'article revendique que UP-ZeroIR représente un tournant vers la restauration d'images physiquement interprétable. En modélisant explicitement la dégradation comme un problème d'alignement au niveau de la distribution plutôt que comme une tâche d'apprentissage de caractéristiques, la méthode :

• Réduit l'Incertitude : Elle atténue l'incertitude inhérente à la diffusion à trajectoire fixe en permettant une exploration de solutions contrôlable et sensible à la dégradation.
• Généralise Efficacement : Le modèle de distribution unifiée permet au cadre de généraliser à des dégradations invisibles et mixtes sans réentraînement spécifique à la tâche.
• Améliore l'Efficacité : La stratégie de raffinement dynamique de la qualité réduit le temps d'inférence d'environ 30 % par rapport aux bases de référence à trajectoire fixe tout en améliorant la convergence.

Les auteurs positionnent ce travail comme la première exploration d'un paradigme de restauration physiquement interprétable via un contrôle explicite au niveau de la distribution, offrant une solution pratique pour le déploiement zero-shot dans des scénarios réels où les types de dégradations sont inconnus et variables.