Unmixing microinfrared spectroscopic images of cross-sections of historical oil paintings

De auteurs presenteren een onbewaakte CNN-autoencoder met een gewogen spectrale hoekafstand (WSAD) voor het automatisch ontwarren van micro-IR spectroscopische beelden van historische olieverfschilderingen, zoals de Ghentse Altaarstuk, om de interpretatie van complexe materiaalmengsels te versnellen en te objectiveren.

De kern

Stel je voor dat je een oud, kostbaar schilderij uit de 15e eeuw hebt, zoals de beroemde Gentse Altarstuk van de gebroeders Van Eyck. Om te begrijpen hoe het gemaakt is, of hoe het veroudert, nemen conservatoren een heel klein stukje af (zo groot als een haar). Ze snijden dit in een dunne plak, zetten het in hars en kijken erdoorheen met een microscoop.

Maar hier komt de uitdaging: in dat ene kleine stukje zitten tientallen verschillende pigmenten, lijm, vernis en vervormingsproducten door elkaar heen. Het is alsof je een glas water hebt waarin honderd verschillende soorten inkt is gemengd. Als je naar het glas kijkt, zie je alleen een modderige kleur. Je wilt weten: Welke inkt zit er precies in? En hoeveel?

In de wetenschap noemen we dit spectroscopie. Ze nemen een foto van elk puntje in die plak, maar in plaats van kleuren, meten ze honderden verschillende "kleuren" van licht (infrarood). Dit geeft een enorme hoeveelheid data, een soort 3D-kaart van de chemie.

Het probleem is dat deze data vaak rommelig is. Er zit "ruis" in, zoals lucht (CO2 en waterdamp) die tijdens het meten tussen de lens en het schilderij zat. Dat is alsof je probeert een gesprek te horen in een drukke fabriekshal. De oude methoden om deze data te analyseren waren traag, afhankelijk van menselijke experts en vaak niet goed genoeg om de rommel uit elkaar te halen.

De Oplossing: Een Slimme AI met een "Oor" voor Ruis

De auteurs van dit paper hebben een nieuwe, slimme manier bedacht om deze rommelige data op te ruimen. Ze hebben een kunstmatige intelligentie (AI) getraind die als een super-ontmaskerend detective werkt.

Hier is hoe hun methode werkt, vertaald naar alledaagse termen:

1. De AI als een Puzzelmeester
Stel je voor dat je een enorme puzzel hebt waarbij alle stukjes door elkaar zijn gemengd. De AI (die ze een "autoencoder" noemen) kijkt naar de hele puzzel en probeert te raden: "Welke originele stukjes (de 'eindkleuren' of endmembers) zaten hier oorspronkelijk in, en waar zaten ze precies?"
In plaats van elk stukje apart te bekijken, kijkt de AI naar groepjes stukjes tegelijk. Dit helpt haar om patronen te zien, net zoals je in een landschap niet alleen naar één boom kijkt, maar naar het hele bos om te begrijpen wat er gebeurt.

2. Het Grote Probleem: De "Luie" en "Luidruchtige" Kanalen
De data die ze meten, bestaat uit meer dan 1500 verschillende "kanalen" (zoals 1500 verschillende microfoons).

• Sommige microfoons horen de echte chemie van het schilderij perfect.
• Andere microfoons horen alleen maar ruis (zoals de geluiden van de lucht of de machine zelf).

Als je een gewone AI traint, luistert die naar alle microfoons even hard. Dat is alsof je een zanger probeert te horen terwijl een van de microfoons een piepende geluid maakt en een andere alleen maar wind hoort. De piep en de wind verstoren het beeld van de zanger.

3. De Innovatie: De "Slimme Luisteraar" (WSAD)
Dit is het echte vernieuwende deel van dit paper. De auteurs hebben een nieuwe regel bedacht voor de AI, genaamd WSAD (een soort slimme weegschaal voor geluid).

Stel je voor dat de AI een luisteraar is met een speciale bril. Deze bril kan zien welke microfoons (spectrale banden) betrouwbaar zijn en welke niet.

• Als een microfoon alleen maar statische ruis hoort (bijvoorbeeld door CO2 in de lucht), geeft de bril die microfoon een dunne stem. De AI luistert er bijna niet naar.
• Als een microfoon een duidelijk chemisch signaal geeft (bijvoorbeeld van een specifieke verf), geeft de bril die microfoon een dikke stem. De AI luistert daar heel goed naar.

De AI leert dit automatisch door te kijken naar de data zelf:

• Is het signaal erg vlak en saai? (Dan is het waarschijnlijk niet interessant).
• Is het signaal erg schokkerig en piepend? (Dan is het waarschijnlijk een storing).
• Stemt het signaal overeen met de buren? (Als een microfoon iets hoort dat totaal anders is dan de microfoon ernaast, is het waarschijnlijk een foutje).

Wat leverde dit op?

Toen ze deze slimme AI testten op een echt stukje van de Gentse Altarstuk, gebeurde er iets moois:

• De AI kon duidelijk zien waar eiwitten (de lijm) zaten.
• Ze kon precies lokaliseren waar metaalzeepjes (een soort vervorming) zaten.
• Ze kon calciumoxalaat (een ander type vervorming) vinden.

Maar het belangrijkste verschil met de oude methode was dat de AI nu niet meer verward werd door de lucht. De oude methode dacht soms dat de CO2 in de lucht een onderdeel van het schilderij was. De nieuwe methode met de "Slimme Luisteraar" negeerde die CO2 en gaf een veel schoner, duidelijker beeld van wat er echt in het schilderij zat.

Conclusie

Kortom: Dit paper introduceert een slimme computer die kan "ontmaskeren" wat er in de lagen van oude schilderijen zit, zelfs als de metingen rommelig zijn. Door slim te beslissen welke data belangrijk is en welke data je moet negeren, krijgen conservatoren een veel duidelijker beeld van de geschiedenis en de gezondheid van onze culturele schatten, zonder dat ze urenlang handmatig hoeven te zoeken. Het is alsof je van een wazige foto ineens een haarscherpe foto krijgt, puur door een slimme filter te gebruiken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Unmixing microinfrared spectroscopic images of cross-sections of historical oil paintings" in het Nederlands.

Probleemstelling

Spectroscopische imaging (SI), en specifiek ATR-µFTIR (geabsorbeerde totale reflectie Fourier-getransformeerde infrarood microspectroscopie), is een cruciale techniek in de erfgoedwetenschap om de materiaalsamenstelling van historische schilderijen te analyseren. Bij deze methode wordt voor elke pixel in een dwarsdoorsnede van een schilderij een volledig spectrum opgenomen, wat resulteert in een hyperspectrale afbeelding (HSI).

De interpretatie van deze data is echter complex om de volgende redenen:

1. Heterogeniteit: Dwarsdoorsneden bevatten vaak tientallen pigmenten, bindmiddelen, vernissen en afbraakproducten (zoals metalen zeep of oxalaten) die als mengsels in één pixel voorkomen.
2. Ruis en artefacten: De spectra bevatten vaak storingen door atmosferische gassen (zoals CO2 en H2O), detectorfouten en meetruis, vooral bij de hoge spectrale resolutie (>1500 banden).
3. Beperkingen van bestaande methoden: De huidige praktijk vertrouwt sterk op handmatige vergelijking met referentiebibliotheken, wat tijdrovend, subjectief en moeilijk schaalbaar is. Bestaande automatische methoden (vaak ontwikkeld voor VIS-NIR-reflectie) zijn niet direct toepasbaar op ATR-µFTIR-absorptiedata vanwege de specifieke ruisprofielen en het hoge aantal banden.

Methodologie: FTIR-unmixer

De auteurs stellen een ongezuperviseerde CNN-auto-encoder voor, genaamd FTIR-unmixer, voor het "blinde" ontmengen (blind unmixing) van ATR-µFTIR-data. De methode maakt gebruik van een lineair mengmodel (LMM) binnen een patch-based (op vlakjes gebaseerde) architectuur om lokale ruimtelijke structuren te benutten.

De kerncomponenten zijn:

1. Architectuur:

   • Encoder: Bestaat uit convolutielaagjes die de input-patches omzetten in abondantie-kaarten (hoeveelheid van elke component per pixel). Een geschaalde softmax-functie zorgt ervoor dat de abondanties niet-negatief zijn en optellen tot 1 (Simplex-constraints).
   • Decoder: Een enkele lineaire convolutielaag die de abondantie-kaarten terugreconstrueert naar het spectrum. De gewichten van deze laag worden geïnterpreteerd als de endmember-spectra (de zuivere spectra van de componenten).

2. Nieuwe Loss-functie: Weighted Spectral Angle Distance (WSAD):
   Dit is de belangrijkste innovatie. In plaats van alle spectrale banden gelijk te behandelen (zoals bij de standaard Spectral Angle Distance - SAD), introduceert de WSAD een gewichtingsvector die de betrouwbaarheid van elke band weergeeft.

   • Doel: De invloed van onbetrouwbare banden (bijv. door atmosferische absorptie of ruis) op de trainingsfout verminderen.
   • Automatische gewichtschatting: De gewichten worden automatisch afgeleid uit de data zelf via drie statistische maatstaven:
     1. Ruimtelijke vlakheid: Banden met zeer lage variatie (vaak gemeenschappelijke modus of oninformatief) krijgen een lagere score.
     2. Nabijheids-akkoord: Banden die sterk afwijken van hun directe buren (indicatie van geïsoleerde artefacten) worden bestraft.
     3. Spectrale ruwheid: Banden met abnormale kromming of piekachtige ruis (spikes) in het mediaan-spectrum worden gedempt.
   • Deze factoren worden gecombineerd tot een outlier-score, die via een sigmoid-functie wordt omgezet in een gewicht tussen een minimumwaarde en 1.

Belangrijkste Bijdragen

• Eerste automatische oplossing voor ATR-µFTIR dwarsdoorsneden: Dit is, voor zover bekend, het eerste voorstel voor geautomatiseerd ontmengen van ATR-µFTIR-data van historische schilderijdwarsdoorsneden.
• WSAD Loss-functie: Een nieuwe loss-functie die specifiek is ontworpen om om te gaan met de hoge dimensie en de specifieke ruisprofielen van FTIR-data, zonder dat handmatige filtering nodig is.
• Ruimtelijk-spectrale modellering: Het gebruik van een patch-based CNN-architectuur die zowel spectrale als ruimtelijke samenhang benut, wat essentieel is voor de interpretatie van gelaagde materialen.

Resultaten

De methode werd getest op een ATR-µFTIR dwarsdoorsnede van het Gentse Altaarstuk (toegeschreven aan de gebroeders Van Eyck).

• Vergelijking: De prestaties van FTIR-unmixer met WSAD werden vergeleken met een versie die gebruikmaakte van de standaard SAD loss-functie.
• Kwalitatieve uitkomsten:
  • Beide methoden slaagden erin belangrijke chemische componenten te identificeren, zoals eiwitten, metalene zeep en calciumoxalaten.
  • De WSAD-versie leverde echter duidelijk betere resultaten op:
    • De ruimtelijke coherentie van de "metalene zeep" was verbeterd en meer consistent met referentiekaarten.
    • De spectra van de endmembers toonden minder artefacten rond de 2350 cm⁻¹ regio (waar CO2 en H2O absorptie veroorzaken). De WSAD slaagde erin deze storingen te onderdrukken terwijl de chemisch informatieve structuren behouden bleven.
    • De standaard SAD-methode liet nog steeds duidelijke CO2-contaminatie zien in de geschatte spectra.
• Aantal endmembers: Door een iteratieve procedure werd het aantal componenten (K) bepaald als 10, wat een goede balans bood tussen ondermodelleren en overmodelleren.

Betekenis en Conclusie

Dit onderzoek biedt een significante doorbraak in de erfgoedwetenschap door een robuuste, datagedreven methode te introduceren voor de analyse van complexe historische materialen.

• Efficiëntie: Het elimineert de noodzaak voor tijdrovende, subjectieve handmatige analyse.
• Robuustheid: De WSAD-loss maakt het mogelijk om onbetrouwbare meetbanden automatisch te negeren, wat leidt tot zuiverere spectra en nauwkeurigere kaarten van materiaaldistributie.
• Toepasbaarheid: De methode is specifiek ontworpen voor de uitdagingen van ATR-µFTIR (hoge dimensie, ruis) en kan potentieel worden toegepast op andere complexe spectroscopische datasets in de archeologie en conservatie.

Samenvattend bewijst dit werk dat diep leren, gecombineerd met een slimme, datagestuurde loss-functie, de interpretatie van hyperspectrale data van historische kunstwerken fundamenteel kan verbeteren.