XRFormer: Multiscale Tokenization for XRF Representation Learning

기술 요약: XRF 표현 학습을 위한 XRFormer

문제 정의
X-선 형광(XRF) 분광법은 문화유산(CH) 분야, 특히 안료 식별 및 언믹싱(unmixing)을 위한 원소 분석에 있어 중요한 비파괴 기술이다. 그러나 XRF 스펙트럼의 복잡한 특성으로 인해 자동화된 학습 기반 모델링은 여전히 도전적인 과제이다. XRF 스펙트럼은 날카로운 원소 피크, 넓은 스펙트럼 구조, 그리고 배경 변화를 특징으로 하는 1차원 신호이다. 기존의 1D-CNN과 같은 학습 기반 모델은 국소적 패턴을 효과적으로 포착하지만, 상관관계가 있는 원소 방출 및 배경 효과를 이해하는 데 필수적인 에너지 축 전반의 장거리 의존성(long-range dependencies)을 모델링하는 데 어려움을 겪는다. 반대로, 표준 비전 트랜스포머(ViT) 및 최근의 스펙트럼 적응 모델들은 XRF 데이터의 구체적인 물리적 특성(좁은 피크와 넓은 구조의 공존)을 명시적으로 고려하지 못하거나, 높은 스펙트럼 해상도를 유지하기 위해 과도한 계산 자원을 요구한다.

방법론
본 논문은 XRF 스펙트럼에 특화된 트랜스포머 아키텍처인 XRFormer를 소개한다. 핵심 혁신은 표준 트랜스포머 인코더에 앞서 배치되는 **다중 스케일 컨볼루션 토크나이저(multiscale convolutional tokenizer)**에 있다.

1. 다중 스케일 토크나이제이션: 선형 패치 기반 임베딩(ViT)이나 단순 그룹 기반 스펙트럼 임베딩(SpectralFormer)과 달리, XRFormer는 점진적으로 스펙트럼 해상도를 줄이면서 임베딩 차원을 높이는 토크나이저를 사용한다. 이는 유효 수용 영역(effective receptive field)이 증가하는 세 개의 1D 컨볼루션 블록을 통해 달성된다. 첫 번째와 두 번째 블록 이후 스트라이드 컨볼루션(strided convolutions)을 통해 스펙트럼 해상도를 2배로 다운샘플링하며, 마지막의 적응형 풀링(adaptive pooling) 레이어가 고정된 수의 토큰을 생성한다. 이 설계는 국소성과 다중 해상도 유도 편향(inductive biases)을 주입하여, 전역 셀프 어텐션(global self-attention)이 적용되기 전에 모델이 좁은 원소 피크와 넓은 배경 구조를 모두 포착할 수 있도록 한다.
2. 아키텍처: 생성된 토큰 시퀀스는 다중 헤드 셀프 어텐션(MHSA)을 사용하는 표준 트랜스포머 인코더에 의해 처리되어 전역적 스펙트럼 의존성을 모델링한다. 학습 가능한 [CLS] 토큰이 앞에 추가되어 다운스트림 태스크를 위한 전역 표현 역할을 수행한다.
3. 자기 지도 사전 학습(Self-Supervised Pretraining): 문화유산 분야에서 흔히 발생하는 데이터 제한 문제를 해결하기 위해, 저자들은 두 가지 자기 지도 목적 함수를 조사한다.
   • 마스크 스펙트럴 모델링(Masked Spectral Modeling, MSM): 15%의 토큰을 마스킹하고 모델이 원래의 스펙트럼 값을 재구성하도록 학습하는 재구성 작업으로, 국소적 피크 형태와 장거리 의존성을 모두 포착하도록 유도한다.
   • 피크 존재 예측(Peak Presence Prediction, PPP): 입력 스펙트럼의 국소 최댓값 검출로부터 도출된 이진 시그니처를 예측하는 물리 정보 기반 프리텍스트(pretext) 태스크이다. 이 태스크는 안료 라벨에 의존하지 않으므로, 모델이 특징적인 방출 피크에 집중하도록 강제하는 모달리티 특화 목적 함수이다.

주요 기여

• 모달리티 인식 토크나이제이션: XRF 신호의 이중적 성질(날카로운 피크와 넓은 구조)을 처리하기 위해 설계된, 국소성과 다중 해상도 분석을 효과적으로 결리한 다중 스케일 컨볼루션 토크나이저를 제안하였다.
• 물리 정보 기반 자기 지도 학습: 라벨링된 안료 데이터 없이도 표현 학습을 강화하기 위해, XRF 스펙트럼의 물리적 특성(피크 검출)을 활용한 프리텍스트 태스크인 피크 존재 예측(PPP)을 도입하였다.
• 포괄적 평가: Pigments Checker STANDARD v.5 (PCSv5) 데이터셋을 사용하여 안료 식별 및 언믹싱 작업에 대해 ViT, SpectralFormer (Cross-layer Adaptive Fusion 적용 여부에 따른 비교), 1D-CNN 베이스라인과 엄격한 평가를 수행하였다.

실험 결과
실험은 사전 학습을 위해 PCSv5 데이터셋(22개 안료)과 Infraart 데이터셋을 사용하였다.

• 안료 식별: XRFormer는 ViT, SpectralFormer (CAF 미적용), 1D-CNN 베이스라인보다 일관되게 우수한 성능을 보였다. 구체적으로, XRFormer는 비사전 학습 설정에서 절대 정확도(Absolute Accuracy, AA)를 ViT의 68.76%에서 71.29%로 향상시켰다. 자기 지도 사전 학습(MSM+PPP)을 적용했을 때, 최적의 XRFormer 구성은 76.78%의 AA를 달eric하여 다른 모든 모델을 능가했다.
• 안료 언믹싱: XRFormer는 견고한 풍부도(abundance) 추정 능력을 보여주었으며, 풍부도 RMSE 측면에서 ViT(0.0435 vs 0.0457)를 앞질렀다. SpectralFormer가 전체적으로 가장 좋은 언믹싱 지표를 달성했으나, 이는 XRFormer(1.5M 파라미터, 128 토큰)에 비해 현저히 높은 용량(3.37M 파라미터, 512 토큰) 덕분이었다. XRFormer는 절반 미만의 파라미터와 더 낮은 토큰 해상도로도 경쟁력 있는 언믹싱 성능을 달성했다.
• 사전 학습의 영향: MSM은 두 태스크 모두에서 일관된 이득을 제공했다. PPP의 추가는 특히 피크 돌출도(prominence)를 적절히 조절했을 때(식별에는 높은 돌출도, 언믹싱에는 낮은 돌출도) 성능을 더욱 향상시켰다.
• 모델 스케일링: 모델 용량을 XRFormer-B에서 XRFormer-L로 늘림에 따라 식별 및 언믹싱 지표 모두에서 체계적인 개선이 나타났다.

의의 및 주장
본 논문은 다중 스케일 및 모달리티 인식 토크나이제가 특히 데이터가 제한적인 상황에서 트랜스포머 기반 XRF 모델링을 위한 효과적이고 매개변수 효율적인 기초가 된다고 주장한다. 결과는 XRFormer의 주요 성능 향상이 단순히 인코더 수준의 개선이나 모델 복잡성 증가가 아니라, 토크나이제이션 전략을 XRF 신호의 물리적 특성에 정렬시킨 데서 기인함을 시사한다. 저자들은 이 접근 방식이 높은 해상도와 높은 파라미터를 요구하는 SpectralFormer와 같은 모델에 대한 강력한 대안을 제공한다고 상정한다.

저자들은 문화유산 분야의 대규모 벤치마크 데이터셋과 다양한 실제 샘플의 부족이 더 깊은 절제 실험(ablation)이나 여러 독립적인 데이터셋 간의 비교를 제한하고 있음을 언급하며 신중한 입장을 유지했다. 그들은 본 연구가 이 분야의 미래 딥러닝 모델에 대한 엄격한 평가를 위한 개방적이고 표준화된 벤치마크 개발을 촉진하는 계기가 되기를 희망한다.