Regularizing INR with diffusion prior self-supervised 3D reconstruction of neutron computed tomography data

이 논문은 합성 데이터로 사전 훈련된 확산 기반 인과적 신경 표현 (DINR) 을 제안하여, 기존 방법들이 심각한 열화를 보이는 극도로 희소한 뷰의 중성자 CT 데이터에서도 고품질의 3 차원 재구성과 미세 구조 분석을 가능하게 함을 보여줍니다.

핵심

🎨 1. 문제 상황: "조각난 퍼즐과 흐릿한 사진"

상상해 보세요. 거대한 콘크리트 벽돌 하나를 X-ray(중성자) 로 찍으려는데, 시간이 너무 부족해서 카메라가 벽돌을 360 도 회전하며 찍어야 할 사진 중 단 5~10 장만 찍을 수 있다고 가정해 봅시다.

• 기존 방식 (FBP): 이 경우 기존 기술로는 사진이 너무 적어 "퍼즐 조각이 1000 개인데 5 개만 있다"는 상황과 같습니다. 결과물은 심하게 찌그러지거나, 줄무늬가 생기고, 중요한 구멍 (미세 구조) 이 사라진 흐릿한 이미지가 나옵니다.
• 왜 중요한가요? 이 기술은 수소 연료전지, 배터리, 혹은 콘크리트 건물의 안전성을 검사할 때 필수적입니다. 하지만 검사 시간이 길어지면 설비가 망가질 수 있으니, 적은 데이터로 빠르게 정확한 이미지를 만들어야 합니다.

🧠 2. 새로운 해결사: "DINR (디네어)"

이 논문에서 제안한 DINR은 이 문제를 해결하기 위해 두 가지 강력한 도구를 합친 '슈퍼 영웅'입니다.

① Implicit Neural Representation (INR): "무한히 확대 가능한 지도 그리기"

기존의 3D 이미지는 픽셀 (점) 의 모음입니다. 하지만 INR 은 수학 함수로 3D 공간을 표현합니다.

• 비유: 픽셀 방식이 "레고 블록"이라면, INR 은 **"무한히 부드럽게 늘릴 수 있는 점토"**입니다. 어떤 크기로도 확대해도 깨지지 않고, 메모리도 적게 먹습니다. 하지만 이 점토만으로는 모양을 잡는 데 한계가 있습니다.

② Diffusion Prior (확산 모델): "예술가의 경험"

최근 AI(생성형 AI) 가 발전하면서, AI 는 "이런 물체는 보통 이렇게 생겼다"는 방대한 경험을 가지고 있습니다.

• 비유: 이 기술은 **"수천 장의 완벽한 벽돌 사진을 본 예술가"**와 같습니다. 조각난 퍼즐 조각 (데이터) 을 볼 때, "아, 이 조각은 보통 저렇게 이어져 있겠지?"라고 추측할 수 있는 능력을 줍니다.

🚀 3. DINR 의 마법: "예술가의 경험으로 점토를 다듬다"

DINR 은 이 두 가지를 다음과 같이 결합합니다.

1. 초기화: 조각난 사진 (데이터) 을 바탕으로 대략적인 모양 (점토) 을 만듭니다.
2. 교정 (Regularizing): 이때, **예술가 (확산 모델)**가 "이 부분은 이렇게 다듬어야 자연스러워"라고 조언을 줍니다.
3. 반복: 이 과정을 반복하며, 데이터의 사실성과 예술가의 경험을 동시에 만족시키는 완벽한 3D 이미지를 만들어냅니다.

핵심 비유:

마치 **손으로 그린 스케치 (데이터)**를 **전문 화가 (AI)**가 보정해 주는 것과 같습니다. 화가는 "여기 구멍이 있어야 해", "이 부분은 매끄러워야 해"라고 알려주어, 적은 정보만으로도 원래의 모습에 가장 가까운 3D 구조를 복원해냅니다.

📊 4. 결과는 어땠나요?

연구진은 실제 콘크리트 미세 구조를 실험해 보았습니다.

• 기존 방법: 5 장의 사진만으로는 이미지가 너무 깨져서 구멍 (미세 구조) 을 구별할 수 없었습니다.
• DINR: 같은 5 장의 사진만으로도 구멍의 모양과 위치가 선명하게 드러났습니다.
• 성과: 다른 최신 AI 방법들보다 더 선명하고, 노이즈가 적으며, 특히 초소량의 데이터 (Ultra-sparse) 상황에서도 압도적인 성능을 보였습니다.

💡 5. 요약 및 의의

이 논문은 **"데이터가 부족할 때, AI 의 '상상력 (경험)'을 빌려와서 과학적 데이터를 완벽하게 복원하는 새로운 방법"**을 제시했습니다.

• 기존: "데이터가 없으면 망한다."
• DINR: "데이터가 적어도, AI 가 아는 상식을 활용하면 완벽한 3D 지도를 그릴 수 있다."

이 기술은 앞으로 배터리 개발, 원자력 안전 검사, 의료 영상 등 빠르고 정확한 3D 이미지가 필요한 모든 분야에서 혁신을 일으킬 것으로 기대됩니다. 마치 조각난 퍼즐 조각 몇 개만으로도, 잃어버린 그림의 전체를 완벽하게 재구성해내는 마법과 같습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 중성자 컴퓨터 단층촬영 (Neutron CT) 은 수소 분포를 기반으로 물체의 부피를 특성화하는 데 필수적인 영상 기법입니다. 이는 연료 전지, 리튬 이온 배터리, 식물/토양 연구, 콘크리트 구조물 안전 모니터링 등에 활용됩니다.
• 도전 과제:
  • 희소 뷰 (Sparse-view) 샘플링: 실시간 수술 유도, 보안 검색 등 빠른 획득이 필요한 경우, 또는 중성자 빔 플럭스가 낮아 긴 노출 시간이 필요한 경우, 나이퀴스트 샘플링 정리보다 적은 투영 각도 (View) 로 데이터를 수집해야 합니다.
  • 재구성 품질 저하: 기존 분석적 방법인 필터링 역투영 (FBP) 은 뷰가 희소할 경우 심각한 아티팩트 (Artifact) 를 생성합니다.
  • 기존 MBIR 의 한계: 모델 기반 반복 재구성 (MBIR) 은 총변분 (TV) 과 같은 수동으로 설계된 사전 모델 (Prior) 을 사용하지만, 복잡한 이미지 속성을 모델링하는 데 한계가 있습니다.
  • INR 의 한계: 암시적 신경 표현 (Implicit Neural Representations, INR) 은 메모리 효율적이고 해상도 독립적인 재구성이 가능하지만, 고주파수 구조 재구성이 약하고 희소 감독 하에서 불안정할 수 있습니다.

2. 제안 방법론: Diffusive INR (DINR)

저자들은 확산 사전 (Diffusion Prior) 을 사용하여 암시적 신경 표현 (INR) 을 정규화하는 새로운 프레임워크인 Diffusive INR (DINR) 을 제안했습니다. 이는 DD3IP(3D Deep Diffusion Image Prior) 프레임워크를 기반으로 합니다.

• 핵심 아이디어:
  • 하이브리드 접근법: 학습된 확산 모델 (Generative Diffusion Prior) 과 전통적인 역문제 형식을 결합합니다.
  • 자기지도 학습 (Self-Supervised): 실제 측정 데이터에 대해 INR 을 최적화하면서, 사전 훈련된 확산 모델을 사용하여 재구성 과정을 안내합니다.
  • 프로시멀 (Proximal) 손실 함수: INR 의 가중치 ($\phi$) 를 업데이트할 때, 측정 데이터 일관성 (Data Fidelity) 과 확산 모델 추정치 간의 근접성 (Proximity) 을 동시에 고려하는 손실 함수를 사용합니다.
    $$L_\phi = \text{MSE}(A F_\phi(S, A^*y), y) + \rho \cdot \text{MSE}(\hat{x}_t, F_\phi(S, A^*y))$$
    • 첫 번째 항: FBP 재구성 ($A^*y$) 을 입력으로 받은 INR 이 실제 투영 데이터 ($y$) 와 일치하도록 합니다.
    • 두 번째 항: 확산 모델이 추정한 노이즈 제거 이미지 ($\hat{x}_t$) 와 INR 출력 간의 차이를 최소화하여 확산 사전 정보를 주입합니다.
• 알고리즘 흐름:
  1. 확산 모델 가중치 ($\theta$) 와 INR 가중치 ($\phi$) 를 교대로 최적화합니다.
  2. 확산 역과정 (Reverse Diffusion Process) 에서 DDIM(Denoising Diffusion Implicit Models) 샘플링을 수행하되, INR 을 통해 생성된 이미지를 기반으로 합니다.
  3. 합성 데이터 (타원체) 로만 사전 훈련된 확산 모델을 사용하여, 실제 실험 데이터 (OOD, Out-of-Distribution) 에도 적용 가능한 범용성을 확보했습니다.
• 구현 개선:
  • Tomosipo (ASTRA-toolbox 래퍼) 를 사용하여 거리 기반 (Distance-driven) 평행 빔 프로젝터를 적용하여 데이터 일관성을 강화했습니다.
  • FBP 재구성을 INR 입력으로 추가하여 수렴 속도와 재구성 품질을 향상시켰습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: DD3IP 프레임워크 내에서 정규화된 INR 역문제 솔버 (DIS) 를 공식화하여, 희소 뷰 중성자 CT 에서 고품질 3D 재구성을 가능하게 했습니다.
2. 소프트웨어 및 모듈성 개선: 기존 연구 [13] 대비 모듈성을 높이고 데이터 일관성을 강화한 구현체를 개발했습니다.
3. 성능 비교 및 검증:
   • 가장 일반적인 TV 사전 모델보다 더 현실적인 qGGMRF를 사용한 MBIR 과 비교했습니다.
   • 초희소 (Ultra-sparse) 영역 (예: 5 뷰) 에서 기존 SOTA 방법 (DD3IP, INR, MBIR) 보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋:
  • 합성 데이터: 콘크리트 미세 구조를 모사한 3D 볼륨 (256x256x256).
  • 실제 데이터: 중성자 CT 스캐너로 획득한 콘크리트 시료 데이터 (1091 뷰, 2048 슬라이스).
• 성능 지표 (PSNR/SSIM):
  • 합성 데이터: 4 뷰 (초희소) 조건에서 DINR 은 26.27 dB (PSNR) 를 기록하여 FBP(19.31), INR(14.76), DD3IP(26.17) 보다 우수하거나 동급의 성능을 보였습니다.
  • 실제 데이터: 5 뷰 조건에서 DINR 은 MBIR(21.02) 과 DD3IP(20.89) 보다 높은 PSNR(21.27) 을 기록했습니다.
• 시각적 품질 및 미세 구조 분석:
  • ROI 분석: 배경이 포함된 넓은 영역보다는 미세 구조 (기공, 입자) 가 지배적인 작은 영역 (32x32 픽셀 이하) 에서 DINR 의 성능이 두드러졌습니다.
  • MBIR 은 배경이 포함된 영역에서는 높은 PSNR 을 보였으나, 실제 미세 구조의 경계와 질감 (Texture) 을 보존하는 능력은 DINR 이 훨씬 뛰어났습니다.
  • DINR 은 극단적인 희소 뷰 (5 뷰) 에서도 경계와 기공 구조를 매우 선명하게 재구성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 과학적 의의: 중성자 CT 와 같은 저선량/희소 뷰 조건에서도 고품질의 3D 재구성을 가능하게 하여, 수소 연료 전지나 배터리 내부 구조 분석 등 정밀한 미세 구조 특성화 연구에 기여합니다.
• 기술적 확장성: 제안된 방법은 중성자 CT 에 국한되지 않고 X-ray CT, 전자 CT 등 다른 빔 소스 및 원뿔 빔 (Cone-beam), 나선형 (Helical) CT 등 다양한 획득 기하구조로 확장 가능합니다.
• 미래 작업:
  • FBP 입력의 기여도를 평가하기 위한 철저한 제거 실험 (Ablation Study) 수행.
  • 더 광범위한 파라미터 탐색을 통해 MBIR 대비 우월성을 입증.
  • 멀티 GPU 구현을 통한 대규모 볼륨 데이터 재구성 및 더 복잡한 CT 응용 분야로 확장 계획.

요약하자면, 이 논문은 생성형 확산 모델의 강력한 사전 지식과 INR 의 유연성을 결합하여, 기존 방법론들이 실패하는 극단적인 희소 뷰 조건에서도 미세 구조의 정밀한 재구성을 가능하게 하는 혁신적인 접근법을 제시했습니다.