Unmixing microinfrared spectroscopic images of cross-sections of historical oil paintings

Questo articolo presenta un autoencoder CNN non supervisionato, dotato di una funzione di perdita basata sulla distanza angolare spettrale ponderata (WSAD), per l'analisi non distruttiva e l'identificazione automatica dei componenti nei campioni stratificati di dipinti storici, come dimostrato su una sezione trasversale del Polittico di Gand.

L'essenziale

Immagina di avere un antico dipinto, come quelli famosi dei fratelli Van Eyck. Per capire di cosa è fatto, come è stato costruito e come si sta degradando nel tempo, gli scienziati devono guardare "dentro" il quadro. Non possono strappare via la pittura, quindi prendono un minuscolo pezzetto (grande quanto un capello), lo tagliano in sezione e lo osservano al microscopio.

Questo è il punto di partenza di questo studio. Ecco come funziona la loro nuova invenzione, spiegata in modo semplice:

1. Il Problema: La "Zuppa" di Colori

Quando analizzano questo pezzetto di pittura con una speciale luce infrarossa (una sorta di "super-visione" chimica), ottengono un'immagine piena di dati. Ogni puntino dell'immagine ha uno spettro, che è come un'impronta digitale chimica.

Il problema è che i puntini non contengono mai un solo colore puro. Sono come zuppe miste: in un singolo puntino ci sono pigmenti, collanti, vernici e prodotti di degradazione mescolati insieme.

• Il metodo vecchio: Gli esperti umani guardano questi grafici complicati e provano a indovinare, confrontandoli con un libro di riferimento. È come cercare di riconoscere gli ingredienti di una zuppa guardando solo il colore del brodo: è lento, soggettivo e spesso si sbaglia.
• Il rumore di fondo: Inoltre, i dati sono "sporchi". C'è il rumore dell'aria (anidride carbonica e vapore acqueo) che si mescola ai dati veri, come se qualcuno avesse versato dell'acqua nella tua zuppa mentre la assaggiavi.

2. La Soluzione: L'Intelligenza Artificiale "Chef"

Gli autori hanno creato un'intelligenza artificiale (una rete neurale) chiamata FTIR-unmixer. Immaginala come uno chef robotico super intelligente il cui compito è separare gli ingredienti di una zuppa complessa.

Ecco come funziona il suo trucco:

• Guarda il contesto (Non solo un puntino): Invece di guardare un solo puntino alla volta, l'AI guarda un piccolo quadrato di puntini vicini (una "patch"). È come se, invece di assaggiare un solo chicco di riso, guardasse l'intero piatto per capire meglio cosa c'è dentro. Questo aiuta a capire la struttura del dipinto.
• Il filtro magico (WSAD): Questa è la parte più geniale. L'AI sa che alcune parti dello spettro sono "spazzatura" (come il rumore dell'aria o picchi strani causati da errori della macchina).
  • Immagina di ascoltare una canzone in una stanza rumorosa. Se provi a cantare a squarciagola, senti tutto il rumore.
  • Questo nuovo metodo (chiamato WSAD) è come un filtro audio intelligente. Ascolta la canzone e dice: "Ok, questa parte della frequenza è solo rumore del vento, abbassiamo il volume di quel suono. Ma questa altra parte è la voce del cantante, alziamola!".
  • In pratica, l'AI calcola automaticamente quali "note" (bande di frequenza) sono affidabili e quali sono rumore, dandogli un peso diverso durante l'apprendimento.

3. Il Risultato: La Magia del Dipinto di Van Eyck

Hanno testato questo metodo su un campione reale del famoso Polittico di Gand (Ghent Altarpiece).

• Senza il filtro: L'AI vedeva il rumore dell'anidride carbonica come se fosse un ingrediente importante del dipinto, confondendo i risultati.
• Con il filtro (WSAD): L'AI è riuscita a "pulire" i dati. Ha identificato chiaramente ingredienti specifici come:
  • Ossalato di calcio (spesso legato a certi tipi di degrado).
  • Proteine (usate come collanti).
  • Saponi metallici (un tipo di degradazione comune nei dipinti a olio).

L'AI ha creato delle "mappe" che mostrano esattamente dove si trovano questi ingredienti nel pezzetto di pittura, molto più chiaramente rispetto ai metodi precedenti.

In Sintesi

Questo studio è come aver dato agli scienziati del patrimonio culturale un nuovo paio di occhiali intelligenti.
Invece di dover guardare a occhio nudo una montagna di dati confusi e rumorosi, questi occhiali (l'AI) filtrano automaticamente il "rumore" (come il vento o gli errori della macchina) e mettono a fuoco solo gli ingredienti veri del dipinto. Questo permette di capire meglio la storia dell'arte, come è stato fatto il quadro e come proteggerlo, tutto senza toccarlo e in modo molto più veloce e preciso rispetto al passato.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper in italiano, strutturato secondo le sezioni richieste.

Titolo: Scomposizione (Unmixing) di immagini microspettroscopiche infrarosse di sezioni trasversali di dipinti a olio storici

1. Il Problema

La scienza del patrimonio culturale si avvale sempre più della spettroscopia di imaging (SI), in particolare della microspettroscopia infrarossa a trasformata di Fourier in riflessione totale attenuata (ATR-µFTIR), per analizzare le sezioni trasversali dei dipinti storici. Questa tecnica genera immagini iperspettrali (HSI) dove ogni pixel contiene uno spettro completo, permettendo di mappare la distribuzione dei materiali (pigmenti, leganti, vernici, prodotti di degrado).

Tuttavia, l'interpretazione di questi dati presenta sfide significative:

• Complessità dei campioni: Le sezioni trasversali sono eterogenee, multistrato e spesso degradate. Gli spettri dei pixel sono miscele di molte specie chimiche (endmember).
• Limiti dei metodi attuali: La pratica corrente si basa su confronti manuali con librerie di riferimento, un processo lento, soggettivo e difficile da scalare.
• Specificità dei dati ATR-µFTIR: A differenza delle immagini di riflettanza VIS-NIR, i dati ATR-µFTIR presentano un'alta dimensionalità (>1500 bande), rumore significativo (es. assorbimento atmosferico di $H_2O$ e $CO_2$) e artefatti di acquisizione.
• Fallimento degli algoritmi esistenti: I metodi di unmixing tradizionali (basati su modelli lineari o deep learning standard) trattano tutte le bande spettrali allo stesso modo. Questo porta a bias nei risultati, poiché le bande rumorose o non informative (come quelle contaminate da $CO_2$) influenzano eccessivamente la funzione di perdita, distorcendo la stima degli endmember e delle abbondanze.

2. Metodologia Proposta

Gli autori propongono FTIR-unmixer, un metodo di unmixing cieco (blind) basato su un autoencoder CNN (Convolutional Neural Network) non supervisionato, specificamente adattato per i dati ATR-µFTIR.

• Modello di Mescolanza: Si assume un Modello di Mescolanza Lineare (LMM), valido per i dati ATR-µFTIR secondo la legge di Beer-Lambert.
• Approccio Spaziale (Patch-based): Invece di trattare i pixel singolarmente, il metodo utilizza un approccio basato su "patch" (finestre spaziali). Questo permette di sfruttare le regolarità spaziali e strutturali dei campioni storici.
  • Encoder: Stima le mappe di abbondanza ($A_c$) per ogni pixel all'interno di una patch, vincolando i vettori di abbondanza al semplice (non negatività e somma a uno) tramite una funzione softmax scalata.
  • Decoder: Ricostruisce la patch spettrale utilizzando un filtro convoluzionale lineare. I pesi del decoder sono interpretati come gli spettri degli endmember.
• Funzione di Perdita Innovativa (WSAD): Il contributo principale è l'introduzione della Distanza Angolare Spettrale Pesata (Weighted Spectral Angle Distance - WSAD).
  • A differenza della SAD standard, la WSAD applica un vettore di pesi di affidabilità ($w$) alle bande spettrali prima del calcolo della distanza.
  • Questo permette di "sotto-pesare" (downweight) le bande inaffidabili o rumorose, riducendo il loro impatto sulla funzione di perdita e prevenendo che gli artefatti dominino l'addestramento.

3. Contributi Chiave

1. Stima Automatica dei Pesi di Banda: Il paper introduce un metodo completamente automatico per derivare i pesi di affidabilità delle bande ($w$) direttamente dai dati osservati, senza bisogno di etichette o conoscenza a priori. I pesi sono calcolati combinando tre metriche statistiche:
   • Flattezza Spaziale: Le bande con varianza spaziale anomalmamente bassa (spesso effetti atmosferici o strumentali omogenei) vengono penalizzate.
   • Accordo con i Vicini (Neighbour Agreement): Le bande che mostrano bassa correlazione con le bande adiacenti (indicando artefatti isolati o "spike") vengono penalizzate.
   • Rugosità Spettrale: Le bande con una curvatura anomala o picchi acuti nello spettro mediano (tipici di rumore di acquisizione o glitch) vengono soppresse.
2. Primo approccio automatizzato per sezioni trasversali: Questo è il primo lavoro che propone un metodo di unmixing automatizzato specifico per i dati ATR-µFTIR di sezioni trasversali di dipinti storici, adattandosi alle loro peculiarità (alta dimensionalità, rumore specifico).
3. Integrazione Spazio-Spettrale: L'uso di un autoencoder CNN su patch permette di modellare sia la struttura spettrale che quella spaziale, migliorando la coerenza delle mappe di abbondanza.

4. Risultati Sperimentali

Il metodo è stato testato su una sezione trasversale del Polittico di Gand (attribuito ai fratelli Van Eyck), un campione storico complesso contenente ossalati di calcio, proteine e saponi metallici.

• Configurazione: Sono state utilizzate patch $5 \times 5$e un numero di endmember ($K$) selezionato empiricamente (ottimizzato a$K=10$).
• Confronto: Il metodo è stato confrontato con un autoencoder CNN standard addestrato con la perdita SAD non pesata.
• Performance:
  • Coerenza Spaziale: Con la perdita WSAD, la mappa di abbondanza per i saponi metallici (Map 8) ha mostrato una coerenza spaziale visivamente superiore rispetto al metodo SAD, risultando più uniforme e allineata alle aspettative chimiche.
  • Soppressione del Rumore: Gli spettri degli endmember ottenuti con WSAD hanno mostrato una significativa riduzione dei residui legati alla contaminazione da $CO_2$ (attorno a $2350 cm^{-1}$), che invece apparivano prominenti nel metodo SAD.
  • Identificazione Chimica: Entrambi i metodi hanno recuperato i componenti principali (proteine, ossalati di calcio, saponi metallici), ma WSAD ha fornito una separazione più pulita, riducendo la sensibilità alle bande rumorose e migliorando l'interpretabilità delle regioni spettrali critiche.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti cruciale nell'applicazione del deep learning alla scienza del patrimonio culturale.

• Automazione e Oggettività: Offre una soluzione automatizzata che riduce la dipendenza dall'esperto umano e dai bias interpretativi, rendendo l'analisi scalabile per grandi dataset.
• Robustezza ai Dati Reali: Dimostra come l'adattamento delle funzioni di perdita (tramite pesi dinamici delle bande) sia essenziale per gestire dati reali rumorosi e complessi, tipici dei musei e dei laboratori di conservazione.
• Nuovo Standard: Stabilisce un nuovo paradigma per l'analisi di sezioni trasversali ATR-µFTIR, permettendo di estrarre informazioni chimiche sottili da campioni degradati che altrimenti sarebbero difficili da interpretare con i metodi tradizionali.

In sintesi, gli autori hanno sviluppato uno strumento robusto che combina l'apprendimento profondo con una modellazione statistica intelligente del rumore, permettendo una mappatura chimica più accurata e affidabile di opere d'arte storiche.