XRFormer: Multiscale Tokenization for XRF Representation Learning

Resumen Técnico: XRFormer para el Aprendizaje de Representaciones de XRF

Planteamiento del Problema
La espectroscopia de fluorescencia de rayos X (XRF) es una técnica crítica de análisis elemental no destructivo en el Patrimonio Cultural (CH), particularmente para la identificación y la mezcla de pigmentos. Sin embargo, el aprendizaje automatizado a partir de los espectros de XRF sigue siendo un desafío debido a la naturaleza compleja de las señales. Los espectros de XRF son señales unidimensionales caracterizadas por picos elementales agudos, estructuras espectrales más anchas y variaciones de fondo. Los modelos de aprendizaje existentes, como las 1D-CNN, capturan eficazmente patrones locales pero tienen dificultades para modelar dependencias de largo alcance a lo de lo largo del eje de energía, las cuales son cruciales para comprender las emisiones elementales correlacionadas y los efectos de fondo. Por el contrario, los Vision Transformers (ViT) estándar y las adaptaciones espectrales recientes a menudo no logran considerar explícitamente las características físicas específicas de los datos de XRF, tales como la coexistencia de picos estrechos y estructuras anchas, o requieren recursos computacionales excesivos para mantener una alta resolución espectral.

Metodología
El artículo presenta XRFormer, una arquitectura de transformador diseñada específicamente para los espectros de XRF. La innovación central reside en un tokenizador convolucional multiescala que precede a un codificador de transformador estándar.

1. Tokenización Multiescala: A diferencia del embebido por parches lineales (ViT) o del embebido espectral simple por grupos (SpectralFormer), XRFormer emplea un tokenizador que reduce progresivamente la resolución espectral mientras aumenta la dimensionalidad del embebido. Esto se logra mediante tres bloques convolucionales 1D con campos receptivos efectivos crecientes. Las convoluciones con salto (strided convolutions) reducen la resolución espectral por un factor de dos después del primer y segundo bloque, mientras que una capa de agrupación adaptativa al final produce un número fijo de tokens. Este diseño inyecta sesgos inductivos de localidad y multirresolución, permitiendo al modelo capturar tanto los picos elementales estrechos como las estructuras de fondo más anchas antes de aplicar la atención de auto-atención global.
2. Arquitectura: La secuencia de tokens resultante es procesada por un codificador de transformador estándar utilizando Atención de Múltiples Cabezales (MHSA) para modelar las dependencias espectrales globales. Se antepone un token [CLS] aprendible para servir como una representación global para tareas posteriores.
3. Preentrenamiento Autosupervisado: Para abordar las limitaciones de datos comunes en las aplicaciones de CH, los autores investigan dos objetivos autosupervisados:
   • Modelado Espectral Enmascarado (MSM): Una tarea de reconstrucción donde se enmascaran el 15% de los tokens, y el modelo aprende a reconstruir los valores espectrales originales, fomentando la captura tanto de las formas de los picos locales como de las dependencias de largo alcance.
   • Predicción de Presencia de Picos (PPP): Una tarea de pretexto informada por la física donde el modelo predice una firma binaria de presencia de picos derivada de la detección de máximos locales en el espectro de entrada. Esta tarea no depende de etiquetas de pigmentos, lo que la convierte en un objetivo específico de la modalidad que obliga al modelo a centrarse en los picos de emisión característicos.

Contribuciones Clave

• Tokenización Consciente de la Modalidad: La propuesta de un tokenizador convolucional multiescala que combina eficazmente la localidad con el análisis de multirresolución, diseñado específicamente para manejar la naturaleza dual de las señales de XRF (picos agudos y estructuras anchas).
• Autosupervisión Informada por la Física: La introducción de la tarea de Predicción de Presencia de Picos (PPP), que aprovecha las propiedades físicas de los espectros de XRF (detección de picos) como una tarea de pretexto para mejorar el aprendizaje de representaciones sin requerir datos de pigmentos etiquetados.
• Evaluación Exhaustiva: Una evaluación rigurosa en el conjunto de datos Pigments Checker STANDARD v.5 (PCSv5) tanto para la identificación de pigmentos como para la mezcla (unmixing), comparando XRFormer contra ViT, SpectralFormer (con y sin CAF) y líneas base de 1D-CNN.

Resultados Experimentales
Los experimentos se realizaron en el conjunto de datos PCSv5 (22 pigmentos) y el conjunto de datos Infraart para el preentrenamiento.

• Identificación de Pigmentos: XRFormer superó consistentemente a las líneas base de ViT, SpectralFormer (sin CAF) y 1D-CNN. Específicamente, XRFormer mejoró la Precisión Absoluta (AA) del 68.76% (ViT) al 71.29% en el entorno sin preentrenamiento. Con el preentrenamiento autosupervisado (MSM+PPP), la mejor configuración de XRFormer alcanzó una AA de 76.78%, superando a todos los demás modelos.
• Mezcla de Pigmentos (Unmixing): XRFormer demostró una estimación de abundancia robusta, superando a ViT en el RMSE de Abundancia (0.0435 vs. 0.0457). Aunque SpectralFormer logró las mejores métricas de mezcla en general, esto se atribuyó a su capacidad significativamente mayor (3.37M de parámetros, 512 tokens) en comparación con XRFormer (1.5M de parámetros, 128 tokens). XRFormer logró un rendimiento de mezcla competitivo con menos de la mitad de los parámetros y a una menor resolución de tokens.
• Impacto del Preentrenamiento: El MSM proporcionó ganancias consistentes en ambas tareas. La adición de PPP mejoró aún más el rendimiento, particularmente cuando la prominencia de los picos se ajustó adecuadamente (mayor prominencia para identificación, menor para mezcla).
• Escalabilidad del Modelo: El aumento de la capacidad del modelo de XRformer-B a XRformer-L condujo a mejoras sistemáticas tanto en las métricas de identificación como de mezcla.

Significancia y Reivindicaciones
El artículo sostiene que la tokenización multiescala y consciente de la modalidad es una base efectiva y eficiente en parámetros para el modelado de XRF basado en transformadores, particularmente bajo condiciones de datos limitados. Los resultados sugieren que las principales ganancias de rendimiento en XRFormer provienen de la alineación de la estrategia de tokenización con las características físicas de las señales de XRF, más que únicamente de refinamientos en el codificador o del aumento de la complejidad del modelo. Los autores postulan que este enfoque ofrece una alternativa robusta a los modelos de alta resolución y altos parámetros como SpectralFormer para tareas que requieren un aprendizaje de representaciones eficiente.

Los autores mantienen una postura modesta respecto al impacto más amplio, señalando que la escasez de conjuntos de datos de referencia a gran escala y de muestras diversas del mundo real en el campo del Patrimonio Cultural limita actualmente la capacidad de realizar ablaciones más profundas o comparaciones entre múltiples conjuntos de datos independientes. Expresan su esperanza de que este trabajo motive a la comunidad a desarrollar estándares abiertos para la evaluación rigurosa de futuros modelos de aprendizaje profundo en este dominio.