Unmixing microinfrared spectroscopic images of cross-sections of historical oil paintings

Cet article propose une méthode d'apprentissage profond non supervisée, basée sur un autoencodeur convolutif et une nouvelle fonction de perte de distance angulaire spectrale pondérée, pour décomposer automatiquement et objectivement les images hyperspectrales infrarouges de coupes transversales de peintures à l'huile historiques, comme démontré sur le Retable de Gand.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, conçue pour être comprise par tout le monde, même sans être expert en science ou en informatique.

🎨 Le Problème : Décoder le "Smoothie" des Anciens Peintres

Imaginez que vous avez un vieux tableau, comme ceux peints par les frères Van Eyck il y a des siècles. Pour comprendre de quoi il est fait (les pigments, les liants, les vernis), les scientifiques prennent un tout petit échantillon, le coupent en tranche et l'observent au microscope.

Le problème, c'est que cette tranche est comme un smoothie complexe.

• Dans chaque petit point de l'image, il y a un mélange de plusieurs ingrédients (peinture, poussière, produits de dégradation).
• Les instruments modernes (un type de scanner infrarouge très précis) prennent des milliers de photos de chaque point, créant une "image hyperspectrale". C'est une montagne de données.
• Le défi : Regarder ces données à l'œil nu pour dire "Ah, ici c'est du bleu, là c'est du blanc" est comme essayer de goûter un smoothie et de lister exactement combien de fraises, de bananes et de lait il y a, sans se tromper. C'est lent, subjectif et souvent impossible à faire parfaitement. De plus, l'air ambiant (le CO2, l'humidité) vient polluer le "goût" de l'échantillon, comme si quelqu'un avait soufflé sur votre verre.

🤖 La Solution : Un Détective IA (Le "FTIR-unmixer")

Les auteurs de ce papier ont créé un détective intelligent, une intelligence artificielle (un réseau de neurones), qu'ils appellent FTIR-unmixer. Son travail est de faire du "démêlage" (unmixing) : séparer le smoothie en ses ingrédients purs.

Voici comment cela fonctionne, avec des analogies simples :

1. Le Réseau de Neurones : Un Chef Cuisinier qui apprend

Imaginez un chef cuisinier (l'IA) qui reçoit une photo d'un plat mélangé.

• L'Encodeur (Le Goût) : Il regarde le plat et essaie de deviner la "recette" (la proportion de chaque ingrédient). Il ne regarde pas juste un point isolé, mais tout un petit quartier autour (comme regarder un morceau de gâteau entier plutôt qu'un seul grain de sucre) pour comprendre la texture et la structure.
• Le Décodeur (La Recette) : Il prend cette recette devinée et essaie de "recréer" le plat original à l'écran.
• L'Apprentissage : Si le plat recréé ne ressemble pas au plat original, le chef se corrige. Il répète cela des milliers de fois jusqu'à ce qu'il puisse parfaitement reconstruire l'image originale en connaissant exactement quels ingrédients sont présents et où.

2. Le Grand Secret : Le "Filtre Anti-Bruit" (WSAD)

C'est la vraie innovation de ce papier.
Dans les données infrarouges, il y a des zones très bruyantes (comme le CO2 de l'air ou des défauts de l'appareil). Si on laisse l'IA apprendre normalement, elle va essayer de mémoriser ce bruit, comme un étudiant qui apprendrait par cœur les erreurs d'un professeur au lieu de la leçon.

Les chercheurs ont inventé une nouvelle règle d'apprentissage appelée WSAD (Distance Spectrale Angulaire Pondérée).

• L'analogie du "Poids" : Imaginez que vous écoutez un concert où certains instruments sont bien accordés et d'autres sont faux ou couverts par le vent.
  • Les instruments fiables (les vraies couleurs de la peinture) ont un poids lourd (on les écoute fort).
  • Les instruments faux ou le vent (le bruit du CO2) ont un poids très léger (on les ignore presque).
• Comment l'IA le sait-elle ? Elle utilise trois astuces mathématiques automatiques pour repérer le bruit :
  1. La régularité : Si une couleur ne change jamais d'un point à l'autre, c'est probablement du bruit (comme un fond uni).
  2. La cohérence des voisins : Si une couleur est très différente de celle juste à côté, c'est suspect (comme un grain de sable dans une photo lisse).
  3. La rugosité : Si la courbe de la couleur fait des pointes bizarres et soudaines, c'est un accident de mesure.

Grâce à ce filtre, l'IA apprend à ignorer le "vent" (le CO2) et se concentre uniquement sur les "instruments" réels (les pigments).

🖼️ Le Résultat : La Révélation du "Ghent Altarpiece"

Ils ont testé cette méthode sur un échantillon du célèbre Retable de Gand (les frères Van Eyck).

• Sans le filtre (méthode classique) : L'IA voyait un peu de bruit partout, et la répartition des "savons métalliques" (un type de dégradation) était floue et confuse.
• Avec le filtre (leur méthode) : L'image est devenue claire ! L'IA a pu localiser précisément :
  • Les oxalates de calcium (comme de la pierre).
  • Les protéines (liants organiques).
  • Les savons métalliques (dégradation).
  • Et surtout, elle a réussi à effacer le CO2 de l'air qui polluait les résultats.

💡 En Résumé

Ce papier nous dit : "Ne laissez pas le bruit de l'air gâcher l'analyse de nos trésors historiques."
Ils ont créé un outil intelligent qui, comme un bon chef, sait distinguer les vrais ingrédients d'une peinture ancienne du bruit de fond, en ignorant automatiquement ce qui ne sert à rien. Cela permet aux conservateurs de mieux comprendre comment les tableaux vieillissent et comment les restaurer, sans avoir à passer des heures à deviner à la main.

C'est la première fois qu'une telle méthode automatique est appliquée avec succès à ce type de coupes transversales de peintures anciennes !

Résumé technique

Voici un résumé technique détaillé de l'article « Unmixing microinfrared spectroscopic images of cross-sections of historical oil paintings », présenté en français.

1. Problématique

Le domaine de la science du patrimoine utilise de plus en plus l'imagerie spectroscopique (SI), et plus spécifiquement la microspectroscopie infrarouge à transformée de Fourier en réflexion totale atténuée (ATR-µFTIR), pour analyser les coupes transversales de peintures à l'huile historiques. Ces données génèrent des images hyperspectrales (HSI) où chaque pixel contient un spectre complet (souvent > 1500 bandes).

Cependant, l'interprétation de ces données rencontre plusieurs obstacles majeurs :

• Complexité des échantillons : Les coupes transversales sont hétérogènes, multicouches et dégradées, contenant des mélanges complexes de pigments, liants, vernis et produits de dégradation (savons métalliques, oxalates).
• Limites des méthodes actuelles : La pratique courante repose sur une comparaison manuelle avec des bibliothèques de référence, ce qui est lent, subjectif et difficilement évolutif.
• Défis techniques spécifiques à l'ATR-µFTIR : Contrairement aux images de réflectance VIS-NIR, les données ATR-µFTIR présentent un bruit d'acquisition important (ex: absorption atmosphérique par le CO2 et H2O), une dimensionnalité spectrale élevée et des artefacts (pics isolés). Les algorithmes existants, souvent conçus pour d'autres types de données, traitent toutes les bandes spectrales de manière égale, ce qui fausse les résultats en laissant les zones bruyantes ou non informatives influencer excessivement l'apprentissage.

2. Méthodologie

Les auteurs proposent une méthode d'unmixing aveugle (blind unmixing) basée sur un autoencodeur convolutif (CNN) nommé FTIR-unmixer. L'approche repose sur un modèle de mélange linéaire (LMM) adapté aux spécificités des coupes transversales.

A. Architecture du Réseau (FTIR-unmixer)

Le modèle utilise une approche par patchs (fenêtres spatiales) pour exploiter la structure spatiale locale des données, contrairement aux modèles pixel par pixel.

• Encodeur : Composé de couches de convolution (3x3 et 1x1), de normalisation par lots (Batch Norm), de dropout spatial et d'activation Leaky-ReLU. Il produit des cartes d'abondance contraintes à être non-négatives et à somme unitaire (via une fonction softmax pondérée).
• Décodeur : Une seule couche linéaire convolutive qui reconstruit le patch spectral à partir des cartes d'abondance. Les poids de cette couche sont interprétés comme les spectres des endmembers (composants purs).
• Modèle de mélange : Le spectre reconstruit est une combinaison convolutive des spectres d'endmembers et des abondances spatiales.

B. Contribution Clé : La Perte WSAD (Weighted Spectral Angle Distance)

La contribution principale est l'introduction d'une fonction de perte WSAD qui intègre des poids de fiabilité des bandes spectrales automatiquement estimés. Au lieu de traiter toutes les 1500+ bandes avec la même importance, le modèle pénalise moins les bandes suspectes.

Les poids sont calculés de manière entièrement automatique à partir des statistiques de l'image hyperspectrale via trois indicateurs :

1. Platitude spatiale (Spatial Flatness) : Les bandes avec une variance spatiale anormalement faible (souvent des effets atmosphériques ou instrumentaux homogènes) sont pénalisées.
2. Accord des voisins (Neighbour Agreement) : Les bandes qui ne sont pas corrélées avec leurs voisins immédiats (indiquant des artefacts isolés ou des pics de bruit) sont pénalisées.
3. Rugosité spectrale (Spectral Roughness) : Une mesure de la courbure du spectre médian (différence finie seconde) permet de détecter et de supprimer les pics anormalement aigus (spikes) typiques des artefacts d'acquisition, sans supprimer les pics chimiques réels.

Ces indicateurs sont combinés en un score de "hors-norme" (outlier score) et transformés en poids via une fonction sigmoïde, réduisant l'influence des bandes bruyantes (comme celles autour de 2350 cm⁻¹ dues au CO2) lors de l'entraînement.

3. Résultats Expérimentaux

La méthode a été testée sur une coupe transversale de la Polyptyque de Gand (attribuée aux frères Van Eyck), un échantillon historique complexe.

• Configuration : Des patchs de 5x5 pixels ont été extraits d'un cube de 64x64x1504. Le nombre d'endmembers ($K$) a été déterminé empiriquement à 10.
• Comparaison : Les auteurs comparent l'autoencodeur entraîné avec la perte standard SAD (Spectral Angle Distance) contre celui entraîné avec la nouvelle perte WSAD.
• Observations :
  • SAD (Standard) : Identifie correctement les composants majeurs (protéines, savons métalliques, oxalates de calcium), mais les cartes d'abondance pour les savons métalliques sont moins uniformes. Les spectres des endmembers montrent encore des artefacts résiduels liés au CO2 (autour de 2350 cm⁻¹).
  • WSAD (Proposé) : Améliore significativement la cohérence spatiale des cartes d'abondance (notamment pour les savons métalliques). Les spectres des endmembers sont plus propres, avec une suppression marquée des artefacts liés au CO2 et à l'eau, tout en préservant les structures chimiques informatives.
  • La méthode réussit à localiser spatialement des composants spécifiques (oxalates de calcium, protéines, savons métalliques) avec une précision supérieure à la méthode de référence.

4. Contributions et Signification

• Innovation Méthodologique : C'est la première proposition d'une méthode d'unmixing automatisée spécifiquement conçue pour les données ATR-µFTIR de coupes transversales de peintures.
• Robustesse aux Artefacts : L'introduction de la perte WSAD avec pondération automatique des bandes résout le problème critique du bruit et des interférences atmosphériques dans les données FTIR, un défi que les méthodes d'apprentissage profond standards ne gèrent pas bien.
• Impact pour le Patrimoine : Cette approche permet une cartographie chimique non invasive, objective et reproductible des matériaux dans les œuvres d'art, facilitant l'étude des techniques de fabrication, de la stratigraphie et des processus de dégradation sans nécessiter d'expertise manuelle intensive pour chaque pixel.

En résumé, ce travail démontre que l'intégration de connaissances physiques sur la nature du bruit spectral (via la pondération des bandes) dans un cadre d'apprentissage profond améliore considérablement l'interprétabilité et la fiabilité de l'analyse chimique des artefacts culturels complexes.