1. 문제 정의 (Problem Statement)

계산적 이미징 (MRI, CT, 저광량 이미징, 초해상도 등) 에서 발생하는 역문제 $y \sim p(y|Ax)$를 해결하는 기존 방법론은 크게 두 가지로 나뉘며, 각각의 한계가 존재합니다.

• 반복적 알고리즘 (Iterative Algorithms): 플러그 앤 플레이 (PnP) 또는 확산 모델 (Diffusion Models) 을 기반으로 한 방법들입니다.
  • 단점: 계산 비용이 매우 높고 (수백 번의 반복 필요), 추론 속도가 느리며, 때로는 흐릿한 (blurry) 결과를 초래합니다. 또한 훈련 데이터에 의존도가 높아 지면 ground-truth 가 부족한 영역에서 적용이 어렵습니다.
• 언롤링 아키텍처 (Unrolled Architectures): 최적화 알고리즘을 신경망으로 풀어서 (unroll) 학습하는 방법입니다.
  • 단점: 특정 이미징 문제에 맞춰 설계되어 일반화가 어렵습니다. 입력/출력 채널 수나 문제 유형이 조금만 달라져도 모델을 처음부터 다시 훈련해야 하며, 메모리 사용량이 많습니다.

이러한 배경 하에, 어떤 역문제든 효율적으로 해결할 수 있으면서도 경량 (lightweight) 이고, ground-truth 없이도 미세 조정 (fine-tuning) 이 가능한 범용 모델의 필요성이 대두되었습니다.

2. 제안된 방법론 (Methodology)

RAM 은 DRUNet(Deep Residual U-Net) 을 기반으로 하되, 측정 연산자 $A$와 잡음 파라미터에 대한 지식을 통합하도록 개조된 비반복적 (non-iterative) 아키텍처입니다.

2.1 핵심 아키텍처 구성 요소

1. 근사 추정 모듈 (Proximal Estimation Module):

   • 입력 $y$를 네트워크에 적합한 이미지 도메인으로 매핑하기 위해, $A^\top y$와 $A^\dagger y$의 중간 지점인 Proximal Step을 사용합니다.
   • 식: $\text{prox}_{\lambda f}(A^\top y) = \arg \min_u \lambda \|Au - y\|^2 + \|u - A^\top y\|^2$.
   • 이는 잡음에 민감한 역행렬 연산을 피하면서도 흐림을 최소화하는 균형을 잡습니다.

2. 크릴로프 부분공간 모듈 (Krylov Subspace Module, KSM):

   • 기존 언롤링 네트워크의 반복적 업데이트를 단일 단계로 대체합니다.
   • 특징 맵 (feature maps) 에 대해 측정 연산자 $A$의 정보를 Krylov 부분공간을 통해 조건부 (conditioning) 로 적용합니다.
   • 구체적으로, $A^\top A$의 거듭제곱을 특징 맵에 적용하고 이를 선형 결합하여 최적화 과정의 핵심 연산을 아키텍처 내부에서 학습합니다. 이는 반복적 최적화 없이도 역문제의 물리적 제약을 효과적으로 반영합니다.

3. 멀티스케일 연산자 조건부 (Multiscale Operator Conditioning):

   • 고해상도 (fine grid) 에서 역문제가 ill-posed(불안정) 해지는 문제를 해결하기 위해, ** coarse grid(거친 격자)**에서 정의된 연산자 $A_s$를 사용합니다.
   • 이를 통해 계산 비용을 줄이고 안정성을 높이며, 다양한 해상도의 이미지에 적용 가능합니다.

4. 잡음 및 채널 적응성:

   • 가우시안 및 포아송 잡음 모델 ($y = \gamma z + \sigma n$) 의 파라미터 ($\sigma, \gamma$) 를 특징 맵에 연결하여 조건부로 처리합니다.
   • 회색조 (1 채널), 복소수 (2 채널), 컬러 (3 채널) 등 다양한 채널 수를 처리할 수 있도록 설계되었으며, 입력/출력 헤드를 제외한 대부분의 가중치는 공유됩니다.

2.2 학습 전략

• 지도 학습 (Supervised Training): 다양한 역문제 (디블러링, MRI, CT, 인페인팅, 초해상도 등) 와 잡음 분포를 포함하는 대규모 데이터셋 (LSDIR, fastMRI, LIDC-IDRI 등) 에서 동시에 훈련됩니다.
• 자기지도 미세 조정 (Self-Supervised Finetuning): Ground-truth 가 없는 실제 데이터에서도 미세 조정이 가능합니다. 측정 일관성 (Measurement Consistency) 손실과 Nullspace 손실 (Equivariant Imaging 또는 Multi-Operator Imaging) 을 사용하여 소수의 이미지 (심지어 1 장) 만으로도 새로운 도메인에 적응할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 초경량 범용 모델: 36M 파라미터로, 기존 반복적 방법 (PnP, Diffusion) 보다 훨씬 가볍고, 언롤링 네트워크보다 8 배 이상 적은 계산량으로 SOTA 성능을 달성했습니다.
2. 비반복적 최적화 통합: 최적화 알고리즘의 핵심 연산 (Krylov 부분공간) 을 아키텍처 내부에 통합하여, 반복 없이도 물리 법칙을 준수하는 빠른 추론을 가능하게 했습니다.
3. 강력한 제로샷 (Zero-shot) 및 자기지도 적응력: 훈련 분포와 완전히 다른 문제 (예: 훈련 시 가우시안 잡음만 학습했으나 포아송 잡음 CT 에 적용) 나 ground-truth 가 없는 실제 데이터에서도 소수의 미세 조정만으로 뛰어난 성능을 보입니다.
4. 다양한 도메인 적용: MRI, CT, 현미경, 저광량 이미징, 위성 이미지 등 광범위한 과학적/의료적 이미징 문제를 하나의 모델로 해결합니다.

4. 실험 결과 (Results)

• In-Distribution 성능:
  • 디블러링 (Deblurring): Motion 및 Gaussian 블러에서 반복적 방법 (DPIR, DiffPIR) 과 언롤링 네트워크 (uDPIR) 보다 우수한 PSNR 을 기록했습니다.
  • MRI 및 CT: fastMRI 와 LIDC-IDRI 데이터셋에서 기존 방법들 (PDNet, UNet, SwinIR 등) 을 능가하는 재구성 품질을 보였습니다.
  • 효율성: DDRM(확산 모델) 보다 120 배, 언롤링 네트워크 (uDPIR) 보다 3.7 배 빠른 추론 속도를 달성했습니다.
• Out-of-Distribution 및 Zero-Shot 성능:
  • 훈련되지 않은 다중 코일 MRI나 포아송 잡음이 있는 CT에서도 뛰어난 성능을 발휘했습니다.
  • 블라인드 디블러링: 정확한 연산자 $A$를 모를 때도 블러 추정 네트워크와 결합하여 성공적인 재구성을 수행했습니다.
  • 위상 복원 (Phase Retrieval): 선형 역문제만 학습했음에도 비선형 위상 복원 문제에 적용하여 안정적인 결과를 얻었습니다.
• 자기지도 미세 조정:
  • Sentinel-2 위성 이미지 (압축 센싱), Cryo-EM, LinoSPAD(저광량) 데이터에서 ground-truth 없이 1 장의 이미지만으로도 미세 조정이 가능했으며, 기존 DRUNet 기반 방법들보다 훨씬 적은 데이터로 높은 성능을 달성했습니다.
• 불확실성 정량화 (Uncertainty Quantification):
  • RAM 을 이용한 등변 부트스트랩 (Equivariant Bootstrap) 을 통해 픽셀 단위 오차 추정이 가능하며, 확산 모델 기반 방법보다 훨씬 잘 보정된 (well-calibrated) 불확실성 추정을 제공했습니다.

5. 의의 및 결론 (Significance & Conclusion)

RAM 은 계산적 이미징 분야에서 **"하나의 모델로 모든 역문제를 해결한다"**는 새로운 패러다임을 제시합니다.

• 효율성과 성능의 균형: 고비용의 반복적 알고리즘이나 무거운 언롤링 네트워크 없이도, 경량 아키텍처로 SOTA 성능을 달성했습니다.
• 실용성: Ground-truth 데이터가 부족한 의료 및 과학 이미징 분야에서, 소수의 데이터만으로도 자기지도 학습을 통해 모델을 적응시킬 수 있어 실제 적용 가능성이 매우 높습니다.
• 미래 방향: 이 연구는 개별 작업별 특수 모델 개발 대신, 강력한 기반 모델 (Foundation Model) 과 견고한 자기지도 미세 조정 기술을 개발하는 방향으로 연구가 나아가야 함을 시사합니다.

결론적으로 RAM 은 계산적 이미징 역문제 해결을 위한 가볍고, 빠르며, 범용적인 새로운 표준 모델로 자리 잡을 잠재력을 가지고 있습니다.