XRFormer: Multiscale Tokenization for XRF Representation Learning

Resumo Técnico: XRFormer para Aprendizado de Representação de XRF

Problema
A espectroscopia de fluorescência de raios X (XRF) é uma técnica não destrutiva crítica para a análise elementar em Patrimônio Cultural (CH), particularmente para identificação e desmistura (unmixing) de pigmentos. No entanto, o aprendizado automatizado a partir de espectros de XRF permanece desafiador devido à natureza complexa dos sinais. Os espectros de XRF são sinais unidimensionais caracterizados por picos elementares agudos, estruturas espectrais mais largas e variações de fundo. Modelos de aprendizado existentes, como 1D-CNNs, capturam efetivamente padrões locais, mas têm dificuldade em modelar dependências de longo alcance ao longo do eixo de energia, que são cruciais para compreender emissões elementares correlacionadas e efeitos de fundo. Por outro lado, os Vision Transformers (ViT) padrão e adaptações espectrais recentes muitas vezes falham em considerar explicitamente as características físicas específicas dos dados de XRF, como a coexistência de picos estreitos e estruturas largas, ou exigem recursos computacionais excessivos para manter uma alta resolução espectral.

Metodologia
O artigo apresenta o XRFormer, uma arquitetura transformer especificamente adaptada para espectros de XRF. A inovação central reside em um tokenizador convolucional multiescala que precede um codificador transformer padrão.

1. Tokenização Multiescala: Diferente da incorporação por patches lineares (ViT) ou da simples incorporação espectral por grupos (SpectralFormer), o XRFormer emprega um tokenizador que reduz progressivamente a resolução espectral enquanto aumenta a dimensionalidade da incorporação (embedding). Isso é alcançado através de três blocos convolucionais 1D com campos receptivos efetivos crescentes. Convoluções com salto (strided convolutions) reduzem a resolução espectral por um fator de dois após o primeiro e o segundo blocos, enquanto uma camada de agrupamento adaptativo (adaptive pooling) ao final produz um número fixo de tokens. Esse design injeta vieses indutivos de localidade e multiresolução, permitindo que o modelo capture tanto picos elementares estreitos quanto estruturas de fundo mais largas antes que a atenção global de si mesmo (self-attention) seja aplicada.
2. Arquitetura: A sequência de tokens resultante é processada por um codificador transformer padrão usando Multi-Head Self-Attention (MHSA) para modelar dependências espectrais globais. Um token [CLS] aprendível é prefixado para servir como uma representação global para tarefas de jusante (downstream tasks).
3. Pré-treinamento Autossupervisionado: Para lidar com as limitações de dados comuns em aplicações de CH, os autores investigam dois objetivos autossupervisionados:
   • Modelagem Espectral Mascarada (MSM): Uma tarefa de reconstrução onde 15% dos tokens são mascarados, e o modelo aprende a reconstruir os valores espectrais originais, incentivando a captura tanto de formas de picos locais quanto de dependências de longo alcance.
   • Predição de Presença de Pico (PPP): Uma tarefa de pretexto informada pela física onde o modelo prevê uma assinatura binária da presença de picos derivada da detecção de máximos locais no espectro de entrada. Esta tarefa não depende de rótulos de pigmentos, tornando-a um objetivo específico da modalidade que força o modelo a focar em picos de emissão característicos.

Principais Contribuições

• Tokenização Consciente da Modalidade: A proposta de um tokenizador convolucional multiescala que combina efetivamente localidade com análise de multiresolução, projetado especificamente para lidar com a natureza dual dos sinais de XRF (picos agudos e estruturas largas).
• Autossupervisão Informada pela Física: A introdução da tarefa de Predição de Presença de Pico (PPP), que utiliza propriedades físicas dos espectros de XRF (detecção de picos) como uma tarefa de pretexto para aprimorar o aprendizado de representação sem a necessidade de dados de pigmentos rotulados.
• Avaliação Abrangente: Uma avaliação rigorosa no conjunto de dados Pigments Checker STANDARD v.5 (PCSv5) para tanto identificação de pigmentos quanto desmistura, comparando o XRFormer contra ViT, SpectralFormer (com e sem Cross-layer Adaptive Fusion - CAF) e baselines de 1D-CNN.

Resultos Experimentais
Experimentos foram conduzidos no conjunto de dados PCSv5 (22 pigmentos) e no dataset Infraart para pré-treinamento.

• Identificação de Pigmentos: O XRFormer superou consistentemente os baselines ViT, SpectralFormer (sem CAF) e 1D-CNN. Especificamente, o XRFormer melhorou a Acurácia Absoluta (AA) de 68,76% (ViT) para 71,29% na configuração sem pré-treinamento. Com o pré-treinamento autossupervisionado (MSM+PPP), a melhor configuração do XRFormer alcançou uma AA de 76,78%, superando todos os outros modelos.
• Desmistura de Pigmentos (Unmixing): O XRFormer demonstrou uma estimativa de abundância robusta, superando o ViT em RMSE de Abundância (0.0435 vs. 0.0457). Embora o SpectralFormer tenha alcançado as melhores métricas de desmistura no geral, isso foi atribuído à sua capacidade significativamente maior (3,37M de parâmetros, 512 tokens) em comparação ao XRFormer (1,5M de parâmetros, 128 tokens). O XRFormer obteve um desempenho de desmistura competitivo com menos da metade dos parâmetros e em uma resolução de tokens inferior.
• Impacto do Pré-treinamento: O MSM proporcionou ganhos consistentes em ambas as tarefas. A adição do PPP aumentou ainda mais o desempenho, particularmente quando a proeminência do pico foi ajustada apropriadamente (proeminência mais alta para identificação, mais baixa para desmistura).
• Escalabilidade do Modelo: Aumentar a capacidade do modelo de XRFormer-B para XRFormer-L levou a melhorias sistemáticas em ambas as métricas de identificação e desmistura.

Significância e Alegações
O artigo afirma que a tokenização multiescala e consciente da modalidade é uma base eficaz e eficiente em termos de parâmetros para a modelagem de XRF baseada em transformer, particularmente sob condições de dados limitados. Os resultados sugerem que os principais ganhos de desempenho no XRFormer derivam do alinhamento da estratégia de tokenização com as características físicas dos sinais de XRF, e não apenas de refinamentos no nível do codificador ou aumento da complexidade do modelo. Os autores postulam que esta abordagem oferece uma alternativa robusta para modelos de alta resolução e alto número de parâmetros, como o SpectralFormer, para tarefas que exigem aprendizado de representação eficiente.

Os autores mantêm uma postura modesta em relação ao impacto mais amplo, observando que a escassez de conjuntos de dados de referência de larga escala e amostras diversas do mundo real no campo do Patrimônio Cultural atualmente limita a capacidade de realizar ablações mais profundas ou comparações entre múltiplos conjuntos de dados independentes. Eles expressam a esperança de que este trabalho motive a comunidade a desenvolver benchmarks abertos e padronizados para a avaliação rigorosa de futuros modelos de aprendizado profundo neste domínio.