💻 informatique

Severity-Conditioned Pixel-Wise Asynchronous Diffusion for Semi-Transparent Mural Restoration

Cet article propose la Diffusion Asynchrone par Pixel Conditionnée par la Sévérité (SC-PAD), un nouveau cadre qui améliore la restauration de fresques semi-transparentes en estimant un champ de sévérité continu pour piloter la progression de la diffusion asynchrone pixel par pixel, surmontant ainsi les limites des masques binaires et de la modélisation temporelle uniforme dans la gestion des dégradations spatialement non uniformes.

Auteurs originaux : Yu Wu, Erchao Li, Furui Jia, Jinjiang Zhao, Lei Zhang

Publié 2026-10-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yu Wu, Erchao Li, Furui Jia, Jinjiang Zhao, Lei Zhang

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Les peintures murales anciennes sont des fenêtres fragiles sur le passé, préservant les croyances, l'art et la vie quotidienne de civilisations disparues depuis longtemps. Cependant, le temps est un ennemi implacable. Au fil des siècles, les fluctuations de température, d'humidité et l'exposition à la lumière et à la poussière provoquent la décoloration, le ternissement, la fissuration et le développement de moisissures sur ces surfaces peintes. Contrairement à une simple rayure qui retire un morceau d'une peinture, beaucoup de ces dommages sont semi-transparents. Imaginez une couche de saleté ou une tache qui assombrit les couleurs en dessous sans les cacher complètement. Le pigment, la texture et les contours originaux restent souvent visibles, simplement obscurcis. Restaurer ces images est une tâche délicate pour les conservateurs numériques. Si un ordinateur tente simplement de combler les zones endommagées comme s'il s'agissait de parties manquantes, il risque d'inventer des détails qui n'ont jamais existé ou d'effacer les traces originales ténues qui sont encore là. Le défi consiste à distinguer ce qui est perdu de ce qui est simplement caché, puis à révéler soigneusement l'image originale sans écraser les preuves subtiles qui subsistent.

Pendant des années, les outils de restauration numérique se sont appuyés sur une approche binaire : ils identifient une zone endommagée avec un masque simple, traitant chaque pixel à l'intérieur de ce masque comme étant également brisé. Cette méthode fonctionne bien pour les trous ou les pièces manquantes, mais elle échoue lorsque le dommage varie en intensité à travers une seule région. Une plaque de moisissure peut être épaisse au centre et fine sur les bords, pourtant un masque standard traite toute la plaque de la même manière. De plus, la plupart des algorithmes de restauration modernes, qui utilisent des modèles génératifs avancés pour imaginer les détails manquants, appliquent une chronologie unique et uniforme à l'ensemble de l'image. Ils supposent que chaque partie du tableau nécessite la même durée de « nettoyage » pour atteindre un état restauré. Cette approche uniformisée peine face aux murales dont la dégradation est inégale, ce qui conduit souvent à des résultats soit trop boueux, soit artificiellement nets.

Pour remédier à ces limites, une équipe de chercheurs de l'Université de technologie de Lanzhou et de l'Académie de sciences du Gansu a développé une nouvelle méthode appelée Severity-Conditioned Pixel-Wise Asynchronous Diffusion (Diffusion asynchrone par pixel conditionnée par la sévérité). Au lieu de traiter une murale endommagée comme une collection de parties brisées et intactes, ce système considère le dommage comme un champ continu d'intensité variable. Les chercheurs apprennent d'abord à l'ordinateur à estimer exactement la sévérité de la dégradation en chaque point de l'image, créant ainsi une carte détaillée de la force du dommage plutôt qu'un simple contour. Cette carte sert de guide, indiquant au moteur de restauration quelle partie de l'image originale est encore visible sous la saleté en chaque endroit donné.

L'innovation centrale de ce travail est le passage d'un processus synchronisé à un processus asynchrone. Dans les méthodes traditionnelles, l'ordinateur travaille sur l'ensemble de l'image à la même vitesse, passant d'un état bruité et endommagé à un état propre de manière cadencée. La nouvelle méthode permet à chaque pixel de progresser à son propre rythme. Si une zone spécifique est seulement légèrement décolorée, le système reconnaît qu'elle nécessite très peu d'aide et la restaure rapidement. Si une autre zone est fortement obscurcie, le système consacre plus d'efforts de calcul pour la reconstruire avec soin. Cela est géré par un système dynamique qui ajuste le « progrès de la restauration » pour chaque pixel individuellement, garantissant que le résultat final respecte l'histoire unique des dommages dans chaque recoin de la murale. Le processus utilise également une règle mathématique spécifique, semblable à la façon dont les couches de peinture transparente se mélangent, pour s'assurer que l'image restaurée se fond naturellement avec les zones saines environnantes, préservant ainsi les contours et les textures originaux.

Les chercheurs ont testé leur système sur un ensemble de données de murales de Dunhuang, qui sont célèbres pour leur importance historique et artistique. Ils ont comparé leur nouvelle méthode à plusieurs techniques existantes, y compris celles utilisant des masques standards et d'autres modèles génératifs avancés. Les résultats ont montré que la nouvelle approche produisait des restaurations nettement plus claires et plus précises. En termes de précision au niveau du pixel, la nouvelle méthode a obtenu un score de 30,61, surpassant la deuxième meilleure méthode qui a obtenu 29,7. Plus important encore, les résultats visuels ont démontré que le système pouvait gérer bien mieux les transitions subtiles des dommages semi-transparents que les outils précédents. Il a préservé les lignes fines et les détails structurels des murales sans introduire le flou ou la netteté artificielle souvent observés dans d'autres restaurations.

Cependant, l'étude a également mis en évidence un goulot d'étranglement critique. Bien que le système fonctionne exceptionnellement bien lorsqu'on lui donne la sévérité exacte et réelle du dommage, ses performances chutent lorsqu'il doit estimer cette sévérité par lui-même. L'écart entre les résultats obtenus avec une connaissance parfaite du dommage et ceux obtenus avec ses propres estimations suggère que la capacité à mesurer précisément la profondeur du dommage est le prochain obstacle majeur. Les chercheurs ont constaté que, bien que leur carte de sévérité continue soit une amélioration considérable par rapport aux simples masques binaires, il reste de la marge pour l'amélioration de la façon dont l'ordinateur interprète les indices visuels de dégradation.

En fin de compte, ce travail fournit un cadre plus nuancé pour la conservation numérique. En s'éloignant des processus rigides et uniformes pour embrasser la réalité complexe et inégale du vieillissement des murales, les chercheurs ont créé un outil capable de mieux respecter l'intégrité de ces trésors culturels. La méthode ne se contente pas de remplir les blancs ; elle écoute les variations subtiles de la surface endommagée, permettant à l'art original d'émerger avec une plus grande fidélité. Bien que la technologie ne soit pas encore parfaite, particulièrement dans sa capacité à évaluer la sévérité du dommage sans intervention humaine, elle représente une étape significative vers une restauration numérique perçue comme un processus de révélation minutieuse plutôt que de simple reconstruction. Les conclusions suggèrent que les avancées futures se concentreront probablement sur le perfectionnement de la capacité du système à « voir » la profondeur du dommage, garantissant que les gardiens numériques de notre patrimoine puissent protéger ces récits fragiles avec une précision encore accrue.

Résumé Technique : Diffusion Asynchrone par Pixel Conditionnée par la Sévérité pour la Restauration de Fresques Semi-Transparentes

Énoncé du Problème
La restauration numérique de fresques fait face à un défi spécifique lié aux dégradations semi-transparentes (ex. : décoloration, ternissement, moisissure, suie) où le pigment, la texture et les contours originaux restent partiellement visibles. Les approches actuelles de l'apprentissage profond, particulièrement celles basées sur les modèles de diffusion probabiliste, reposent généralement sur des masques de dommages binaires. Ces masques identifient le support spatial de la dégradation mais ne parviennent pas à encoder la sévérité continuellement variable au sein de cette région. De plus, les modèles de diffusion standards assignent un progrès temporel partagé ( $t$ ) à l'image entière, traitant tous les pixels comme étant au même état de diffusion. Cette synchronisation globale est mal adaptée à une dégradation spatialement hétérogène, où différents pixels possèdent des plages d'états admissibles et nécessitent des dynamiques de restauration distinctes. Les méthodes actuelles traitent souvent la sévérité simplement comme un canal de conditionnement auxiliaire plutôt que comme une variable d'état explicite régissant la trajectoire de diffusion.

Méthodologie : SC-PAD
Les auteurs proposent la Diffusion Asynchrone par Pixel Conditionnée par la Sévérité (SC-PAD), un cadre qui modélise explicitement la sévérité terminale continue et découple le progrès temporel de chaque pixel tout en maintenant un calendrier global unifié. La méthode se compose de trois composantes clés :

Estimation de la Sévérité Terminale Continue :
Au lieu de s'appuyer uniquement sur un masque binaire, SC-PAD estime un champ de sévérité continue $A \in [0,1]^{H \times W}$ à partir de l'observation dégradée et d'un support binaire grossier. Ceci est réalisé via un estimateur guidé par masque avec une branche de raffinement de logit résiduel borné. Pour traiter le problème où les pixels "faciles" dominent la perte et occultent les erreurs locales importantes, les auteurs introduisent une supervision orientée vers le risque, comprenant :
- Une perte de queue top- $q$ pour les plus grandes erreurs absolues.
- Une pénalité unilatérale pour les erreurs de sévérité positives.
- Une pénalité de pic de voisinage pour supprimer les prédictions de haute sévérité isolées.
Reparamétrage de Trajectoire Asynchrone par Pixel :
Le cadre introduit un exposant de déformation temporelle $\gamma(u)$ , prédit par un prédicteur de trajectoire conditionné par l'image dégradée et la sévérité terminale estimée. Cet exposant mappe le progrès de référence global partagé $m_t$ vers un progrès de restauration local par pixel $g_t(u) = m_t^{\gamma(u)}$ .
- Contraintes : $\gamma$ est borné (ex. : $[0,35, 3,0]$ ) pour garantir que le processus reste dans une plage temporelle globale unifiée.
- Propriétés : Ce reparamétrage préserve les points de départ ( $t=0$ ) et de fin ( $t=T$ ) communs pour tous les pixels tout en permettant des horloges locales strictement croissantes. Cela permet des trajectoires de restauration spatialement différenciées sans altérer les conditions limites fondamentales du processus de diffusion.
État Alpha Dynamique et Diffusion Résiduelle :
Le progrès local $g_t$ est mappé vers un état Alpha dynamique $\alpha_t$ qui satisfait la cohérence des points terminaux, la monotonie temporelle et la loi de composition d'Alpha.
- Formulation : $\alpha_t = 1 - (1-A)^{g_t}$ . Cela suit la structure multiplicative de la composition d'Alpha dans le domaine de la transmittance plutôt qu'une interpolation linéaire arbitraire.
- Activation Résiduelle : Le résidu terminal dans l'espace de l'image $R_M = Y - X_0$ est progressivement activé en utilisant un ratio $\rho_t$ dérivé de $\alpha_t$ . L'état intermédiaire bruité est construit comme $X_t = X_0 + \rho_t \odot R_M + \sigma_t \epsilon$ .
- Couplage : Cette formulation lie explicitement la sévérité terminale, le temps local et l'état de diffusion intermédiaire, garantissant que la trajectoire de restauration est contrainte par la sévérité estimée.

Contributions Clés
L'article expose trois contributions principales :

État de Sévérité Explicite : Formulation de la sévérité terminale continue comme une variable d'état explicite plutôt que comme une condition auxiliaire. Un estimateur spécialisé avec raffinement borné et supervision orientée vers le risque réduit l'écart local, permettant à la sévérité d'agir comme une contrainte d'état terminal.
Reparamétrage Temporel Asynchrone par Pixel : Introduction d'un mécanisme de déformation temporelle par pixel conditionné par la sévérité qui mappe le progrès global au progrès local. Cela permet des trajectures de restauration spatialement différenciées au sein d'un calendrier de diffusion unique tout en préservant l'ordre temporel et les points terminaux communs.
Alpha Dynamique de Cohérence de Composition : Construction d'un état Alpha dynamique contraint par la sévérité terminale qui satisfait la loi de composition d'Alpha. Cela contrôle l'activation progressive du résidu dans l'espace de l'image, établissant un lien mathématique explicite entre la sévérité, le temps local et l'état de diffusion.

Résultats Expérimentaux
Les expériences ont été menées sur le jeu de données de fresques de Dunhuang (400 images d'entraînement, 100 de test) couvrant dix catégories de dégradation (cristallisation saline, décoloration, fissuration, etc.). SC-PAD a été comparé à des méthodes de pointe incluant LRDiff, StrDiffusion, RDDM et PGRDiff.

Performance Quantitative : SC-PAD a obtenu les scores les plus élevés parmi toutes les méthodes : PSNR 30,61 dB, SSIM 0,925 et LPIPS 0,071. Il a surpassé la base de comparaison la plus proche (PGRDiff) de 0,91 dB en PSNR et de 0,0073 en SSIM.
Ablation sur la Représentation de la Sévérité : Le remplacement du masque binaire par l'Alpha progressif prédit a amélioré le PSNR de 3,27 dB (passant de 27,34 à 30,61). L'utilisation de l'Alpha de vérité terrain (oracle) a encore augmenté le PSNR à 33,87 dB, indiquant que bien que la modélisation continue de la sévérité soit très efficace, la précision de l'estimation de la sévérité reste un goulot d'étranglement de performance.
Sensibilité de la Trajectoire : L'étude a évalué le temps synchrone versus asynchrone et l'état Alpha linéaire versus cohérent avec la composition. Le temps asynchrone par pixel a systématiquement amélioré les performances pour les deux formulations d'Alpha. L'état Alpha cohérent avec la composition a donné les meilleurs résultats lorsqu'il était combiné avec le temps asynchrone (PSNR 31,52), surpassant la formulation linéaire dans cette configuration spécifique.

Signification et Revendications
L'article affirme que SC-PAD fournit un cadre de diffusion contrôlable spécifiquement conçu pour la restauration de fresques semi-transparentes et spatialement non uniformes. Sa signification réside dans :

Le passage d'une complétion de "région manquante" binaire à la modélisation de la dégradation comme un processus continu et spatialement variable.
Le découplage du progrès temporel de chaque pixel pour mieux correspondre à la nature hétérogène de la détérioration des fresques.
La démonstration que la représentation de la sévérité continue et le progrès asynchrone par pixel sont les deux composantes les plus critiques soutenues par les résultats actuels.

Les auteurs notent modestement que bien que la formulation proposée améliore la fidélité des pixels et la cohérence structurelle, l'exactitude de l'estimation de la sévérité demeure un goulot d'étranglement significatif, comme en témoigne l'écart entre les performances de l'Alpha prédit et de la vérité terrain. Les travaux futurs sont orientés vers l'amélioration de l'estimation de la sévérité sous des conditions réelles complexes et l'intégration de preuves multimodales (ex. : imagerie multispectrale, analyse des matériaux).

Articles similaires