A Principled Self-Referenced Early Stopping Approach for Deep Image Prior

Résumé Technique : Une Approche Principée d'Arrêt Anticipé Auto-Référencée pour l'Image Prior Profonde

Énoncé du Problème
L'Image Prior Profonde (Deep Image Prior, DIP) est apparue comme une méthode puissante, ne nécessitant pas de données d'entraînement, pour résoudre des problèmes d'imagerie inverse (Inverse Imaging Problems, IIPs), tels que le débruitage, la super-résolution et la reconstruction d'images médicales. En optimisant un réseau de neurones convolutifs (CNN) initialisé aléatoirement pour ajuster des mesures bruitées, le DIP capture efficacement les statistiques d'images à basse fréquence. Cependant, en raison de la sur-paramétrisation du réseau, le DIP est sujet au surajustement du bruit de mesure ou aux artefacts de l'espace nul. Par conséquent, déterminer le point d'arrêt optimal (Arrêt Anticipé, Early Stopping, ES) est critique.

Les méthodes d'ES existantes font face à des limitations significatives :

1. Méthodes basées sur la variance (par exemple, WMV-ES) : Elles suivent les fluctuations de la variance en cours d'exécution de la sortie du réseau. Bien qu'efficaces dans certains contextes, elles détectent souvent le surajustement prématurément pour les images haute résolution ou celles présentant des structures fines (par exemple, des images naturelles texturées ou des scanners médicaux), conduisant à des reconstructions instables loin du point d'arrêt optimal « oracle ».
2. Méthodes basées sur le risque (par exemple, SURE) : L'estimateur de risque non biaisé de Stein fournit une estimation de risque principée mais nécessite une connaissance précise du niveau de bruit. Dans les configurations DIP par instance, ces estimations peuvent présenter une variance élevée, conduisant à des décisions peu fiables.
3. Absence de données de validation : La validation standard nécessite une image de vérité terrain propre, qui n'est pas disponible dans les IIPs. Bien que l'obtention de deux copies bruitées totalement indépendantes de l'image dégradée permette théoriquement une détection de surajustement quasi optimale, cela est généralement irréalisable en pratique.

Méthodologie
Les auteurs proposent un cadre qui réduit l'arrêt anticipé du DIP à un problème de validation en utilisant des images pseudo auto-référencées. L'insight théorique central est qu'une pseudo-référence n'a pas besoin d'être parfaitement indépendante des données d'ajustement ; il suffit que la composante partagée entre les signaux d'ajustement et de validation soit faible ou ne soit pas ajustée préférentiellement avant le bruit restant.

L'article introduit trois algorithmes spécifiques basés sur ce principe, adaptés à différents types d'images et modèles de bruit :

1. ES à Référence de Similarité de Canaux (CSR-ES) pour les Images RVB :

   • Mécanisme : Exploite le fait que les canaux RVB partagent des informations structurelles mais contiennent un bruit partiellement décorrélaté.
   • Procédure : La méthode identifie la paire de canaux bruités $(i, j)$ avec la distance minimale (la plus haute similarité). Elle entraîne le DIP sur l'image RVB complète mais utilise la cohérence inter-canaux (ajustement du canal $i$ contre le canal de référence $j$) comme critère d'arrêt.
   • Raison d'être : Cela réduit le biais inter-canaux propre tout en assurant que le bruit spécifique au canal reste moins corrélé avec le canal ajusté.

2. ES à Référence Masquée (MR-ES) pour les Images Niveaux de Gris :

   • Mécanisme : Construit une pseudo-référence en retenant un petit sous-ensemble de pixels (par exemple, 2 % des pixels) via un masque de rétention élevée $M$.
   • Procédure : Le DIP est entraîné en utilisant une perte masquée $\|M \odot (f_\theta(z) - y)\|^2$, excluant explicitement les pixels retenus de l'optimisation. Le critère d'arrêt est l'erreur sur les pixels retenus : $\|H \odot (\hat{x}_t - y)\|^2$, où $H = 1-M$.
   • Raison d'être : Puisque les pixels retenus sont exclus de la fonction de perte d'entraînement, le bruit à ces emplacements est indépendant de la trajectoire ajustée, fournissant un signal de validation valide.

3. ES à Référence de Canal Augmenté (ACR-ES) pour un Bruit Flexible/Difficile :

   • Mécanisme : Augmente l'espace de sortie du réseau DIP pour gérer les cas où des masques simples ou des divisions de canaux sont peu fiables (par exemple, bruit de Poisson dépendant du signal).
   • Procédure : Deux pseudo-copies de l'image bruitée sont générées : $y^{(1)} = y + \zeta_1$ et $y^{(2)} = y + \zeta_2$, où $\zeta_1, \zeta_2$ sont des perturbations auxiliaires indépendantes. Un réseau DIP à 2C canaux est entraîné pour ajuster $Y = \text{concat}(y, y^{(1)})$. Les canaux principaux reconstruisent l'image, tandis que les canaux auxiliaires sont surveillés par rapport à la pseudo-copie indépendante $y^{(2)}$.
   • Métrique d'Arrêt : Au lieu de l'erreur quadratique moyenne (MSE) brute, ACR-ES utilise un score de biais fréquentiel (le deuxième moment du spectre résiduel). Ce score atteint un pic lorsque le réseau passe de la récupération des détails structurels à l'ajustement du bruit, le rendant plus sensible au biais spectral du DIP.

Contributions Théoriques
L'article fournit une justification théorique pour ces approches :

• Validation à Référence Unique : Prouve que si une référence bruitée indépendante était disponible, la perte de validation se concentrerait autour de l'erreur quadratique moyenne (MSE) de l'image propre plus une constante, permettant un arrêt quasi-oracle.
• Analyse de Pseudo-Validation : Démontre que même avec une composante partagée $s$ entre l'ajustement et la validation, si l'énergie partagée est une petite fraction de la variance non partagée, l'excès de MSE par rapport à l'oracle est quadratiquement plus serré que la borne du pire cas.
• Généralisation : Étend la théorie de la validation aux problèmes d'inversion linéaires généraux ($y = A(x) + \eta$) et établit les conditions selon lesquelles la validation dans le domaine de la mesure se transfère au risque dans le domaine de l'image.

Résultats Expérimentaux
Les auteurs ont évalué leurs méthodes par rapport à des références (WMV-ES et SURE-ES) sur la restauration d'images naturelles (Set14, CBSD68, Urban100, etc.) et la reconstruction d'images médicales (IRM, CT, PD, T2) sous des bruits gaussien, de Poisson et impulsionnel.

• Performance : Les méthodes proposées (CSR-ES, MR-ES, ACR-ES) ont constamment atteint des points d'arrêt beaucoup plus proches de l'oracle (l'itération produisant le PSNR maximal) que les méthodes existantes.
  • Pour les images naturelles, CSR-ES et ACR-ES ont réduit l'écart de PSNR par rapport à l'oracle de manière significative (par exemple, d'environ 1,0 dB à environ 0,1–0,2 dB dans de nombreux cas).
  • Pour les images médicales, MR-ES et ACR-ES ont surpassé WMV-ES et SURE-ES, en particulier dans les scénarios de bruit de Poisson difficiles où WMV-ES s'arrêtait souvent prématurément.
• Robustesse : Les méthodes ne nécessitaient pas d'estimations précises du niveau de bruit. ACR-ES a montré une robustesse face aux variations de l'amplitude du bruit auxiliaire et aux types de bruit non correspondants.
• Généralisation : Le principe d'arrêt a été étendu avec succès aux tâches de super-résolution et de complétion d'image (inpainting), où les méthodes basées sur la variance échouaient à s'aligner avec la région d'arrêt optimale.

Importance et Revendications
L'article revendique que l'arrêt anticipé pour le DIP peut être efficacement réduit à un problème de validation soluble sans vérité terrain propre ni estimations précises du bruit. En construisant des images pseudo auto-référencées qui décorrèlent suffisamment le signal de validation du processus d'ajustement, les auteurs offrent une alternative principée au suivi heuristique de la variance.

L'importance réside dans :

1. Approche Principée : Passer d'une surveillance heuristique de la variance à un cadre basé sur la validation soutenu par des inégalités de concentration.
2. Applicabilité Pratique : Offrir des algorithmes spécifiques et adaptés à la tâche (CSR, MR, ACR) qui fonctionnent sur divers IIPs (débruitage, super-résolution, complétion d'image) et types de bruit sans nécessiter de données d'entraînement externes ni de réglage du niveau de bruit.
3. Fiabilité : Démontrer que ces méthodes sélectionnent constamment des itérations plus proches de la qualité de reconstruction optimale que les techniques d'ES actuelles de l'art, atténuant ainsi le problème de surajustement inhérent aux réseaux DIP sur-paramétrés.