XRFormer: Multiscale Tokenization for XRF Representation Learning

Sintesi Tecnica: XRFormer per l'Apprendimento di Rappresentazioni XRF

Problematica
La spettroscopia a fluorescenza a raggi X (XRF) è una tecnica non distruttiva fondamentale per l'analisi elementale nel Patrimonio Culturale (CH), in particolare per l'identificazione e l'unmixing dei pigmenti. Tuttavia, l'apprendimento automatizzato da spettri XRF rimane complesso a causa della natura intricata dei segnali. Gli spettri XRF sono segnali monodimensionali caratterizzati da picchi elementali acuti, strutture spettrali ampie e variazioni del fondo. I modelli di apprendimento esistenti, come le 1D-CNN, catturano efficacemente i pattern locali ma faticano a modellare le dipendenze a lungo raggio lungo l'asse dell'energia, che sono cruciali per comprendere le emissioni correlate e gli effetti del fondo. Al contrario, i classici Vision Transformer (ViT) e le recenti adattamenti spettrali spesso non riescono a considerare esplicitamente le specifiche caratteristiche fisiche dei dati XRF, come la coesistenza di picchi stretti e strutture ampie, o richiedono risorse computazionali eccessive per mantenere un'alta risoluzione spettrale.

Metodologia
Il documento introduce XRFormer, un'architettura transformer progettata specificamente per gli spettri XRF. L'innovazione principale risiede in un tokenizer convoluzionale multiscala che precede un encoder transformer standard.

1. Tokenizzazione Multiscala: A differenza dell'embedding lineare per patch (ViT) o del semplice embedding spettrale per gruppi (SpectralFormer), XRFormer impiega un tokenizer che riduce progressivamente la risoluzione spettrale aumentando la dimensionalità dell'embedding. Ciò è ottenuto attraverso tre blocchi convoluzionali 1D con campi recettivi effettivi crescenti. Le convoluzioni con stride riducono la risoluzione spettrale di un fattore due dopo il primo e il secondo blocco, mentre uno strato di pooling adattivo alla fine produce un numero fisso di token. Questo design introduce bias induttivi di località e multi-risoluzione, permettendo al modello di catturare sia i picchi elementali stretti che le strutture di fondo più ampie prima dell'applicazione dell'attenzione globale (self-attention).
2. Architettura: La sequenza di token risultante viene elaborata da un encoder transformer standard utilizzando la Multi-Head Self-Attention (MHSA) per modellare le dipendenze spettrali globali. Un token [CLS] apprendibile viene preposto per fungere da rappresentazione globale per i task a valle.
3. Pre-addestramento Auto-supervisionato: Per affrontare la scarsità di dati comune nelle applicazioni di CH, gli autori investigano due obiettivi auto-supervisionati:
   • Modellazione Spettrale Mascherata (MSM): Un compito di ricostruzione in cui il 15% dei token viene mascherato e il modello apprende a ricostruire i valori spettrali originali, incoraggiando la cattura sia della forma dei picchi locali che delle dipendenze a lungo raggio.
   • Predizione della Presenza dei Picchi (PPP): Un compito pretestuale informato dalla fisica in cui il modello predice una firma binaria della presenza dei picchi derivata dal rilevamento dei massimi locali nello spettro di input. Questo compito non dipende dalle etichette dei pigmenti, rendendolo un obiettivo specifico della modalità che costringe il modello a concentrarsi sui picchi di emissione caratteristici.

Contributi Chiave

• Tokenizzazione Consapevole della Modalità: La proposta di un tokenizer convoluzionale multiscala che combina efficacemente la località con l'analisi multi-risoluzione, progettato specificamente per gestire la doppia natura dei segnali XRF (picchi acuti e strutture ampie).
• Auto-supervisione Informata dalla Fisica: L'introduzione del compito di Predizione della Presenza dei Picchi (PPP), che sfrutta le proprietà fisiche degli spettri XRF (rilevamento dei picchi) come compito pretestuale per potenziare l'apprendimento della rappresentazione senza richiedere dati etichettati sui pigmenti.
• Valutazione Completa: Una rigorosa valutazione sul dataset Pigments Checker STANDARD v.5 (PCSv5) sia per l'identificazione dei pigmenti che per l'unmixing, confrontando XRFormer con ViT, SpectralFormer (con e senza Cross-layer Adaptive Fusion) e baseline 1D-CNN.

Risultati Sperimentali
Gli esperimenti sono stati condotti sul dataset PCSv5 (22 pigmenti) e sul dataset Infraart per il pre-addestramento.

• Identificazione dei Pigmenti: XRFormer ha superato costantemente le baseline ViT, SpectralFormer (senza CAF) e 1D-CNN. Nello specifico, XRFormer ha migliorato l'Accuratezza Assoluta (AA) dal 68,76% (ViT) al 71,29% nell'impostazione non pre-addestrata. Con il pre-addestramento auto-supervisionato (MSM+PPP), la migliore configurazione di XRFormer ha raggiunto un'AA del 76,78%, superando tutti gli altri modelli.
• Unmixing dei Pigmenti: XRformer ha dimostrato una robusta stima dell'abbondanza, superando ViT nell'Abbondanza RMSE (0,0435 vs 0,0457). Sebbene SpectralFormer abbia ottenuto i migliori parametri di unmixing complessivi, ciò è stato attribuito alla sua capacità significativamente superiore (3,37M di parametri, 512 token) rispetto a XRformer (1,5M di parametri, 128 token). XRformer ha ottenuto prestazioni di unmixing competitive con meno della metà dei parametri e a una risoluzione di token inferiore.
• Impatto del Pre-addestramento: MSM ha fornito guadagni costanti in entrambi i compiti. L'aggiunta di PPP ha ulteriormente potenziato le prestazioni, in particolare quando la prominenza del picco è stata calibrata correttamente (maggiore prominenza per l'identificazione, minore per l'unmixing).
• Scalabilità del Modello: L'aumento della capacità del modello da XRformer-B a XRformer-L ha portato a miglioramenti sistematici in entrambi i parametri di identificazione e unmixing.

Significatività e Rivendicazioni
Il documento sostiene che la tokenizzazione multiscala e consapevole della modalità sia una base efficace e parsimoniosa di parametri per la modellazione XRF basata su transformer, particolarmente in condizioni di dati limitati. I risultati suggeriscono che i principali guadagni di prestazione in XRformer derivino dall'allineamento della strategia di tokenizzazione con le caratteristiche fisiche dei segnali XRF, piuttosto che esclusivamente dai raffinamenti del livello di encoder o dall'aumento della complessità del modello. Gli autori sostengono che questo approccio offra un'alternativa robusta ai modelli ad alta risoluzione e ad alta densità di parametri come SpectralFormer per compiti che richiedono un apprendimento di rappresentazione efficiente.

Gli autori mantengono una posizione modesta riguardo all'impatto più ampio, notando che la scarsità di dataset benchmark su larga scala e di campioni reali diversificati nel campo del Patrimonio Culturale limita attualmente la capacità di condurre ablazioni più profonde o confronti su molteplici dataset indipendenti. Esprimono la speranza che questo lavoro possa motivare la comunità a sviluppare benchmark aperti e standardizzati per la valutazione rigorosa dei futuri modelli di deep learning in questo dominio.