📄 other

Diffusion Model-Based Image Restoration: Interactive Learning of Determinism and Stochasticity

Cet article propose un nouveau cadre de diffusion pour la restauration d'images qui emploie une modélisation interactive du déterminisme et de la stochasticité afin de s'adapter efficacement aux exigences hétérogènes de diverses tâches de dégradation, atteignant ainsi des performances et une interprétabilité supérieures à travers de multiples scénarios de restauration.

Auteurs originaux : Sha Luo, Siyuan Peng, Dawei Zhao, Qingwei Gao

Publié 2026-07-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Sha Luo, Siyuan Peng, Dawei Zhao, Qingwei Gao

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de réparer une photographie floue, pluvieuse ou sombre. Dans le monde de l'informatique, cela s'appelle la « Restauration d'Image ». Pendant longtemps, les ordinateurs ont tenté de réparer ces photos en apprenant des règles strictes, comme « la pluie ressemble toujours à ceci » ou « les ombres ressemblent toujours à cela ». Mais le monde réel est désordonné ; la pluie peut être forte ou légère, et les ombres peuvent avoir des formes bizarres. Récemment, un nouveau type d'IA appelé « Modèle de Diffusion » est devenu célèbre pour réparer les images. Pensez au modèle de diffusion comme à un sculpteur qui part d'un bloc de statique bruyant (comme la neige sur un téléviseur) et qui cisèle lentement le bruit pour révéler une statue parfaite. Le problème est que ce sculpteur travaille généralement de la même manière pour chaque statue. Si vous avez besoin d'une statue parfaitement nette (comme un scanner médical), le sculpteur pourrait la rendre trop ondulée. Si vous avez besoin d'une statue qui ressemble à une peinture avec de nombreuses versions possibles, le sculpteur pourrait la rendre trop rigide. La grande question que se posent les chercheurs est la suivante : comment enseigner à ce sculpteur d'IA à savoir quand être précis et quand être créatif, tout cela en une seule fois ?

Ce document présente une nouvelle façon ingénieuse d'enseigner au sculpteur d'IA, appelée « Apprentissage Interactif du Déterminisme et de la Stochasticité ». En français simple, le « déterminisme » est la partie du processus qui est stricte, prévisible et suit un chemin clair (comme suivre une recette exactement). La « stochasticité » est la partie qui est aléatoire, flexible et permet des surprises (comme ajouter une pincée de sel pour le goût). Les auteurs, Sha Luo et son équipe de l'Université d'Anhui, ont remarqué que les méthodes précédentes tentaient de gérer ces deux idées séparément, comme si deux sculpteurs différents travaillaient sur la même statue sans se parler. Cela entraînait souvent de la confusion ou un gaspillage d'efforts.

Au lieu de cela, l'équipe a conçu un nouveau cadre où le chemin « strict » et le chemin « aléatoire » communiquent constamment. Ils ont construit un système composé de deux cerveaux d'IA simples (appelés U-Nets) qui travaillent ensemble. Un cerveau se concentre sur les parties prévisibles de l'image (les « résidus », ou les dommages spécifiques comme une goutte de pluie), et l'autre se concentre sur le bruit aléatoire. Mais voici la magie : ils ne travaillent pas seulement en parallèle. Ils partagent leurs pensées et leurs caractéristiques très tôt. C'est comme avoir une équipe de deux chefs : l'un est un maître des mesures exactes, et l'autre est un maître de l'improvisation. Au lieu de cuisiner des plats séparés, ils goûtent les ingrédients l'un de l'autre et ajustent leur cuisine en temps réel. Si l'image doit être super nette, le chef « strict » prend la direction. Si l'image doit paraître naturelle et variée, le chef « créatif » intervient. Ils interagissent dynamiquement pour trouver l'équilibre parfait pour le problème spécifique qu'ils résolvent.

Les chercheurs ont testé cette équipe « interactive » sur quatre tâches très différentes : supprimer le bruit des photos, éliminer les ombres, éclaircir les images sombres et nettoyer la pluie sur les vitres. Ils ont constaté que leur méthode était incroyablement efficace pour toutes ces tâches. Par exemple, lors de la suppression de la pluie, leur modèle était capable d'effacer complètement les traînées, alors que d'autres modèles en laissaient derrière eux ou rendaient l'image bizarre. Ils ont également découvert qu'en laissant ces deux chemins interagir, l'IA n'avait pas besoin de faire autant d'étapes pour terminer le travail. Alors que certains autres modèles prenaient 1 000 étapes pour nettoyer une photo (ce qui prend beaucoup de temps), leur modèle pouvait le faire en seulement 2 à 4 étapes, ce qui est beaucoup plus rapide.

Le document suggère que cette approche est une étape importante en avant car elle ne force pas l'IA à être une chose ou l'autre. En laissant les parties « déterministes » et « stochastiques » apprendre les unes des des autres, le modèle devient un caméléon, s'adaptant aux besoins spécifiques de l'image. Les auteurs admettent que, bien que cela fonctionne très bien pour la plupart des choses, le modèle éprouve parfois de petites difficultés avec les changements de lumière très complexes dans les photos sombres, mais dans l'ensemble, il préserve mieux les détails et les textures que la concurrence. Ils ont même partagé leur code en ligne, invitant les autres à essayer cette méthode de « cuisine interactive » par eux-mêmes.

Résumé technique : Restauration d'images basée sur la diffusion via l'apprentissage interactif du déterminisme et de la stochasticité

Problématique

La restauration d'images (RI) vise à reconstruire l'information visuelle latente à partir d'observations dégradées, une tâche complexifiée par les écarts de distribution significatifs entre les différents types de dégradations (ex. : bruit, pluie, ombres, faible luminosité) dans l'espace des caractéristiques. Les méthodes existentes d'apprentissage profond, incluant les CNN, les Transformers et les GAN, peinent souvent à se généraliser à travers diverses tâches de RI sans une conception spécifique à chaque tâche. Bien que les modèles de diffusion offrent une haute fidélité et une grande interprétabilité, les approches actuelles font face à deux limitations principales :

Inefficacité de la RI : Les modèles de diffusion standards commencent le processus inverse à partir d'un bruit pur, ce qui est inefficace pour la RI où l'entrée contient déjà des informations structurelles.
Modélisation statique du déterminisme et de la stochasticité : Les tentatives précédentes pour unifier la diffusion déterministe (basée sur les résidus) et stochastique (basée sur le bruit), telles que le Modèle de Diffusion de Dénouage Résiduel (RDDM), utilisent des U-Nets indépendants pour chaque chemin. Cette séparation statique ne parvient pas à capturer les distributions de probabilité distinctes des différents types de dégradation et peut introduire une diversité excessive qui entrave la précision de la reconstruction.

Méthodologie

Les auteurs proposent un nouveau cadre de diffusion employant l'Apprentissage Interactif du Déterminisme et de la Stochasticité (ILDS) pour répondre à ces limitations. L'architecture centrale utilise un réseau à double chemin basé sur deux U-Nets simples.

1. Construction du processus de diffusion direct

Contrairement à la diffusion standard qui n'ajoute que du bruit, le processus direct proposé incorpore à la fois des résidus (déterminisme) et du biment (stochasticité). La transition est définie par :
$x_t = x_{t-1} + \alpha_t x_{res} + \beta_t \epsilon_{t-1}$
où $x_{res} = x_{in} - x_0$ représente le résidu de dégradation, et $\epsilon$ est un bruit gaussien. Cela permet à la trajectoire directe de préserver les structures liées à la dégradation, permettant au processus inverse de partir d'états plus proches de la cible qu'un bruit pur, réduisant ainsi le nombre d'étapes d'échantillonnage requis.

2. Mécanisme d'apprentissage interactif

Pour surmonter les limites de la modélisation indépendante de RDDM, les auteurs introduisent une stratégie d'apprentissage interactif au sein de l'architecture U-Net :

Prédiction à double chemin : Deux U-Nets sont utilisés pour prédire respectivement le bruit ( $\epsilon_\theta$ ) et le résidu ( $x_{res}^\theta$ ).
Fusion de caractéristiques : Au lieu d'opérer de manière isolée, les encodeurs des deux U-Nets partagent des caractéristiques. Plus précisément, après le premier bloc de sous-échantillonnage, les caractéristiques des deux chemins sont concaténées et traitées par des convolutions $1 \times 1$ ( $\tilde{h}_{res}$ et $\tilde{h}_\epsilon$ ).
Modélisation dynamique dépendante du temps : Les entrées de l'étape de temps (timestep) pour les deux chemins sont modulées dynamiquement par des paramètres contrôlant l'accumulation temporelle ( $\bar{\alpha}_t$ ) et l'intensité du bruit ( $\bar{\beta}_t$ ). Cela permet au modèle d'ajuster de manière adaptative la contribution des composantes déterministes et stochastiques en fonction de la distribution de probabilité spécifique des caractéristiques du type de dégradation.
Contexte partagé : Les caractéristiques interactives fournissent des informations contextuelles croisées partagées pendant la phase de décodage, garantissant que le guidage déterministe et la diversité stochastique s'influencent mutuellement.

3. Entraînement et Génération

Le modèle est entraîné pour minimiser la divergence de Kullback-Leibler (KL) entre la distribution postérieure réelle et la transition inverse apprise. La fonction de perte finale est la somme des erreurs quadratiques pour les prédictions de bruit et de résidu :
$L = L_{res}(\theta) + L_{\epsilon}(\theta)$
Notamment, ces composantes ne sont pas pondérées, car le mécanisme interactif facilite un équilibre auto-adaptatif pendant l'entraînement. Lors de l'inférence, le modèle génère des images de haute qualité en échantillonnant de manière itérative à partir de la distribution conditionnelle, le processus devenant entièrement déterministe lorsque le facteur d'échelle du bruit $\eta = 0$ .

Contributions Clés

Nouveau cadre de diffusion : La conception d'un cadre qui modélise de manière interactive les aspects déterministes et stochastiques de la dégradation d'image, permettant au processus de diffusion de s'adapter aux tâches nécessitant soit une haute fidélité (précision), soit de la diversité.
Modélisation dynamique dépendante du temps : L'incorporation de paramètres d'accumulation temporelle et d'intensité de bruit pour moduler dynamiquement les entrées de l'étape de temps pour les doubles chemins de diffusion, améliorant la généralisation à travers divers scénarios de RI.
Architecture à double chemin efficace : L'implémentation de la diffusion à double chemin utilisant uniquement deux U-Nets simples avec des caractéristiques d'encodeur partagées. Cette conception atteint des performances compétitives avec un surcoût de paramètres minimal et une haute extensibilité.

Résultats Expérimentaux

La méthode proposée a été évaluée sur quatre tâches de RI représentatives : Débruitage d'image, Suppression d'ombres, Amélioration de faible luminosité et Dépluvage d'image.

Performance : La méthode a obtenu des performances supérieures ou compétitives sur toutes les tâches.
- Débruitage (SIDD) : A atteint le meilleur PSNR (41,67 dB) et SSIM (0,9385), surpassant RDDM et les autres bases de référence.
- Suppression d'ombres (ISTD) : A obtenu le meilleur PSNR (29,29 dB) et MAE (8,776), avec le deuxième meilleur SSIM.
- Dépluvage (Raindrop) : A atteint le meilleur PSNR (31,30 dB) et SSIM (0,9460), supprimant avec succès les traînées de pluie là où d'autres méthodes laissaient des artefacts.
- Amélioration de faible luminosité (LOL) : A obtenu la deuxième meilleure performance (PSNR 24,04, SSIM 0,9118), suivant de près LLFormer en métriques, tout en maintenant une forte préservation structurelle.
Efficacité : L'apprentissage interactif a considérablement amélioré l'efficacité de l'échantillonnage. Le modèle n'a nécessité que 1 à 4 étapes d'échantillonnage pour obtenir des résultats de haute qualité, contre des centaines ou des milliers pour d'autres méthodes basées sur la diffusion (ex. : DiffusionVI nécessite 1000 étapes).
Études d'ablation :
- Le retrait du module d'interaction a entraîné des baisses de performance sur toutes les tâches, confirmant le bénéfice de la fusion de caractéristiques.
- L'utilisation de la modélisation dynamique dépendante du temps ( $\bar{\alpha}_t, \bar{\beta}_t$ ) a surpassé la modélisation statique de l'étape de temps ( $t$ ).
- Le nombre optimal d'étapes d'échantillonnage variait selon la tâche (1 pour la faible luminosité, 2 pour le débruitage, 3 pour la suppression d'ombres, 4 pour le dépluvage).

Signification et Revendications

L'article affirme que le cadre proposé offre une solution unifiée pour la restauration d'images multi-tâches qui équilibre la précision de la reconstruction et la diversité. En intégrant la modélisation déterministe et stochastique via l'apprentissage interactif, l'approche offre une plus grande interprétabilité que les méthodes basées sur les GAN et une meilleure généralisation que les CNN ou Transformers spécifiques à une tâche.

Les auteurs reconnaissent des limites, partic en ce qui concerne les tâches d'amélioration de faible luminosité avec de grands gradients d'illumination, où la restauration de la luminosité peut être insuffisante par rapport à des bases de référence spécialisées. Ils notent également la dépendance actuelle aux données appariées (propre/dégradée) pour l'entraînement supervisé. Les travaux futurs sont orientés vers l'optimisation des équations de diffusion pour les tâches sensibles à l'illumination et le développement de stratégies d'entraînement non supervisées pour réduire la dépendance aux données.

Dans l'ensemble, l'étude démontre qu'une architecture de diffusion à double chemin simple et interactive peut gérer efficacement l'hétérogénéité des processus de dégradation d'image, offrant une alternative évolutive et efficace pour divers défis de restauration d'images.