Unmixing microinfrared spectroscopic images of cross-sections of historical oil paintings

이 논문은 역사적 유물인 반 에이크 형제의 '겐트 제단화' 단면 분석을 위해 대기 및 획득 아티팩트에 강인한 가중 스펙트럼 각도 거리 (WSAD) 손실 함수를 도입한 비지도 CNN 오토인코더를 제안하여, 복잡한 혼합 스펙트럼을 자동으로 분해하고 해석하는 새로운 방법을 제시합니다.

핵심

🎨 1. 문제 상황: "혼합된 스프"를 분리해야 합니다

고대 그림의 단면 (가로로 잘린 조각) 을 현미경으로 보면, 한 점 (픽셀) 안에도 여러 가지 재료가 섞여 있는 것을 볼 수 있습니다.

• 비유: 마치 한 숟가락에 치킨 스프, 토마토 소스, 그리고 치즈가 섞인 상태라고 상상해 보세요.
• 현실: 연구자들은 이 '혼합된 스프'를 분석하여 "어떤 재료가 얼마나 들어갔는지"를 알아내야 합니다. 하지만 문제는 이 스프가 너무 복잡하고, 오래되어 변질되었으며, 분석 장비가 잡음 (소음) 을 많이 낸다는 것입니다.
• 기존 방식: 예전에는 전문가들이 눈으로 직접 스프의 맛을 보고 "아, 이건 토마토 소스 같아!"라고 추측하는 방식이었습니다. 하지만 이는 시간도 많이 걸리고, 사람마다 의견이 달라서 (주관적), 복잡한 경우엔 실패하기 쉽습니다.

🤖 2. 새로운 해결책: "AI 요리사"와 "신중한 귀"

연구팀은 **인공지능 (AI)**을 이용해 이 혼합된 스프를 자동으로 분리하는 방법을 개발했습니다. 이를 **'FTIR-unmixer'**라고 부릅니다.

A. AI 의 역할 (CNN 오토인코더)

이 AI 는 마치 요리사처럼 작동합니다.

1. 입력: 섞인 스프 (혼합된 스펙트럼 데이터) 를 받습니다.
2. 추측: "이 스프는 아마도 치킨 30%, 토마토 50%, 치즈 20% 로 섞였을 거야"라고 추측합니다.
3. 재구성: 추측한 비율로 다시 스프를 만들어 봅니다.
4. 교정: 만들어본 스프가 원래 스프와 다르면, 비율을 다시 조정합니다. 이 과정을 반복하며 가장 정확한 비율을 찾아냅니다.

B. 핵심 기술: "신중한 귀" (WSAD)

이 연구의 가장 큰 특징은 AI 가 소음 (잡음) 을 잘 구별한다는 점입니다.

• 문제: 분석 장비는 때때로 공기 중의 이산화탄소나 수분 때문에 엉뚱한 신호 (잡음) 를 만들어냅니다. 마치 요리사가 "치즈 냄새"를 맡다가 "창문 밖의 자동차 소음"을 치즈 냄새로 착각하는 것과 같습니다.
• 해결책 (WSAD): 연구팀은 AI 에게 **"신중한 귀"**를 달아주었습니다.
  • 비유: AI 가 스프를 분석할 때, "이 부분은 확실히 치즈 냄새야 (중요함)"라고 판단하면 귀를 쫑긋 세우고 집중합니다. 반면, "이 부분은 그냥 바람 소리 같아 (잡음)"라고 판단하면 귀를 막고 무시합니다.
  • 이 '신중한 귀'는 자동으로 잡음이 많은 부분을 찾아내어 그 부분의 중요도를 낮추고, 진짜 재료의 신호만 선명하게 분리해냅니다.

🖼️ 3. 실제 적용: "겐트 제단화"의 비밀을 풀다

이 방법은 벨기에에 있는 유명한 고전 명화 **'겐트 제단화 (Ghent Altarpiece)'**의 단면 분석에 사용되었습니다.

• 결과: AI 는 그림 속에 숨겨진 단백질, 금속 비누, 칼슘 옥살레이트 같은 성분들을 찾아냈습니다.
• 기존 방식 vs 새 방식:
  • 기존 (잡음 무시 안 함): "아, 이 부분은 금속 비누인 것 같은데, 왜 이리 흩어져 있지?"라고 혼란스러워했습니다. 잡음 때문에 분포가 불규칙하게 보였습니다.
  • 새 방식 (신중한 귀 사용): "이 부분은 금속 비누가 고르게 퍼져 있네!"라고 훨씬 더 선명하고 정확한 지도를 그려냈습니다. 특히 공기 중 잡음 (이산화탄소) 때문에 생기는 오류를 깔끔하게 제거했습니다.

💡 4. 요약: 왜 이것이 중요한가요?

이 연구는 고대 유물을 파괴하지 않고도 (비파괴), 인공지능을 이용해 그 안의 재료를 자동으로, 정확하게 찾아내는 첫 번째 시도입니다.

• 기존: 전문가가 눈으로 일일이 찾아야 함 (느리고 주관적).
• 새로운 방법: AI 가 잡음을 걸러내며 자동으로 분리 (빠르고 객관적).

이 기술이 발전하면, 앞으로 우리가 모르는 고대 그림이나 유적의 비밀을 훨씬 더 쉽고 정확하게 밝혀낼 수 있을 것입니다. 마치 AI 가 고대 유물의 '레시피'를 자동으로 읽어주는 마법과 같습니다.

기술 요약

논문 요약: 역사적 유화 단면의 ATR-µFTIR 이미지에 대한 비정형 (Blind) 언믹싱

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 문화유산 과학 분야에서 분광 이미징 (Spectroscopic Imaging, SI) 은 유물의 비파괴적 분석에 필수적입니다. 특히 감쇠 전반사 푸리에 변환 적외선 현미경 (ATR-µFTIR) 은 유화 단면 (cross-section) 의 층별 화학 성분을 분석하는 데 널리 사용됩니다.
• 문제점:
  • 복잡한 데이터: 유화 단면은 이질적이고 다층 구조이며 열화 (degradation) 가 진행된 샘플로, 각 픽셀의 스펙트럼은 여러 물질 (엔드멤버, endmembers) 의 혼합물입니다.
  • 해석의 어려움: 현재 분석은 주로 참조 라이브러리와의 수동 비교에 의존하여 시간이 많이 소요되고 주관적이며 확장성이 낮습니다.
  • ATR-µFTIR 의 특수성: 기존 가시광선 - 근적외선 (VIS-NIR) 반사 이미징용 알고리즘은 ATR-µFTIR 데이터에 직접 적용하기 어렵습니다. ATR-µFTIR 은 1500 개 이상의 고차원 흡수 스펙트럼을 가지며, 대기 중 $H_2O$나 $CO_2$로 인한 노이즈, 아티팩트 (artifacts), 그리고 밴드별 정보량의 불균형이 심합니다.
  • 기존 방법의 한계: 재구성 기반 학습 (오토인코더 등) 에서 모든 스펙트럼 밴드를 동일하게 취급할 경우, 노이즈가 많은 영역이 손실 함수 (loss) 를 지배하여 잘못된 엔드멤버와 풍부도 (abundance) 를 추정하게 됩니다.

2. 제안된 방법론 (Methodology)

저자들은 ATR-µFTIR 데이터의 비정형 언믹싱을 위한 **CNN 기반 오토인코더 (FTIR-unmixer)**와 새로운 손실 함수인 **가중 스펙트럼 각도 거리 (Weighted Spectral Angle Distance, WSAD)**를 제안합니다.

• 모델 아키텍처 (FTIR-unmixer):

  • 선형 혼합 모델 (LMM) 기반: 베르 - 램베르트 법칙을 따르는 ATR-µFTIR 데이터 특성을 반영하여 선형 혼합 모델을 가정합니다.
  • 패치 기반 (Patch-wise) 접근: 픽셀 단위가 아닌 $p \times p$ 크기의 패치를 입력으로 사용하여 국소적인 공간적 구조 (spectral-spatial regularities) 를 활용합니다.
  • 인코더 (Encoder): 3x3 및 1x1 컨볼루션 레이어를 통해 스펙트럼 - 공간 정보를 추출하고, 풍부도 맵 (abundance maps) 을 생성합니다. 소프트맥스 (softmax) 를 사용하여 비음수 (ANC) 및 합이 1 이 되는 (ASC) 제약을 만족시킵니다.
  • 디코더 (Decoder): 생성된 풍부도 맵을 선형 레이어를 통해 재구성된 스펙트럼으로 변환합니다. 디코더의 가중치는 엔드멤버 스펙트럼으로 해석됩니다.

• 핵심 혁신: 가중 스펙트럼 각도 거리 (WSAD) 손실 함수:

  • 목적: 신뢰할 수 없는 스펙트럼 밴드 (대기 흡수, 노이즈 등) 의 영향을 줄이고, 신뢰할 수 있는 화학적 정보를 보존하기 위함입니다.
  • 자동 밴드 가중치 추정: 학습 데이터 (입력 큐브) 에서 직접 3 가지 통계적 지표를 기반으로 밴드별 신뢰도 가중치 ($w$) 를 자동으로 계산합니다.
    1. 공간적 평탄도 (Spatial Flatness): 공간적 분산이 비정상적으로 낮은 밴드는 정보량이 적거나 공통 모드 (atmospheric) 효과일 수 있으므로 가중치를 낮춥니다.
    2. 이웃 상관관계 결손 (Neighbour-correlation deficit): 인접한 FTIR 밴드는 매끄럽게 변해야 합니다. 이웃 밴드와 불일치하는 밴드는 아티팩트일 가능성이 높으므로 가중치를 낮춥니다.
    3. 스펙트럼 거칠기 (Spectral Roughness): 스펙트럼의 2 차 유한 차분을 계산하여 비정상적으로 날카로운 피크 (스파이크) 를 감지하고 가중치를 낮춥니다.
  • 손실 함수: 표준 SAD 대신, 계산된 가중치를 적용한 WSAD 를 사용하여 재구성 오차를 최소화합니다.

3. 실험 및 결과 (Experiments and Results)

• 데이터셋: 네덜란드의 '겐트 제단화 (Ghent Altarpiece)'에서 채취한 유화 단면 샘플의 ATR-µFTIR 데이터 (64x64x1504 크기의 5 개 타일 병합).
• 실험 설정:
  • 엔드멤버 수 ($K$) 는 6 에서 20 까지 반복적으로 탐색하여 $K=10$으로 설정 (과소/과대 모델링 확인).
  • 비교 대상: 표준 SAD 손실 함수를 사용한 모델 vs. 제안된 WSAD 손실 함수를 사용한 모델.
• 주요 결과:
  • 화학적 성분 식별: 두 모델 모두 단백질 (proteins), 금속 비누 (metal soaps), 칼슘 옥살레이트 (calcium oxalates) 등 주요 성분을 성공적으로 분리했습니다.
  • WSAD 의 우수성:
    • 노이즈 억제: WSAD 모델은 $CO_2$와 $H_2O$에 의한 간섭 피크 (약 2350 $cm^{-1}$) 를 엔드멤버 스펙트럼에서 효과적으로 제거했습니다. 반면, 표준 SAD 모델은 이러한 아티팩트가 엔드멤버에 포함되는 경향이 있었습니다.
    • 공간적 일관성: 금속 비누 (Map 8) 의 분포가 참조 지도와 비교하여 더 균일하고 명확하게 매핑되었습니다.
    • 해석 가능성: WSAD 를 사용하면 노이즈가 많은 밴드의 영향을 줄여 화학적으로 의미 있는 구조를 더 잘 보존한 엔드멤버를 추정했습니다.

4. 주요 기여 (Key Contributions)

1. 최초의 자동화 언믹싱 제안: 역사적 유화 단면의 ATR-µFTIR 데이터에 대한 자동화된 비정형 언믹싱 방법을 최초로 제안했습니다.
2. WSAD 손실 함수 개발: 밴드별 신뢰도를 자동으로 추정하고 이를 손실 함수에 반영하여, 대기 오염 및 Acquisition 아티팩트에 강건한 딥러닝 모델을 설계했습니다.
3. 패치 기반 CNN 아키텍처: 공간적 구조를 활용하면서도 비음수 및 합 1 제약을 만족하는 효율적인 오토인코더 구조를 적용했습니다.

5. 의의 및 결론 (Significance)

• 문화유산 보존: 유화 단면 분석에서 수동 의존도를 줄이고, 노이즈가 많은 고차원 스펙트럼 데이터에서 정확한 화학 성분을 자동으로 추출할 수 있는 도구를 제공했습니다.
• 기술적 확장성: 제안된 WSAD 기법은 고차원 스펙트럼 데이터에서 밴드별 신뢰도가 불균등한 다른 응용 분야 (원격 탐사 등) 로도 확장 적용 가능합니다.
• 성공적 검증: 실제 역사적 유물 (겐트 제단화) 데이터에 적용하여, 기존 원격 탐사 커뮤니티의 최첨단 방법론보다 노이즈에 강건하고 해석 가능한 결과를 도출함을 입증했습니다.

이 연구는 딥러닝 기반 스펙트럼 언믹싱 기술이 문화유산 과학의 구체적인 도전 과제 (고차원, 노이즈, 복잡한 혼합) 를 해결하는 데 어떻게 기여할 수 있는지를 보여주는 중요한 사례입니다.