1. 문제 정의 (Problem Statement)

변형 이미지 등록 (Deformable Image Registration, DIR) 은 두 개의 3 차원 의료 이미지 간의 볼륨 단위 (voxel-wise) 공간적 대응 관계를 확립하여 해부학적 정렬을 수행하는 핵심 과제입니다. 그러나 기존 딥러닝 기반 방법론들은 다음과 같은 두 가지 주요 한계에 직면해 있습니다.

1. 고차원 행동 공간과 RL 의 비효율성: 기존 강화학습 (RL) 기반 접근법은 밀집된 변위장 (dense displacement field) 을 직접 행동 (action) 공간으로 사용하려 시도했으나, 3D 공간에서의 수백만 차원 행동 공간은 메모리 소모와 샘플링 비용을 prohibitively(허용 불가능할 정도로) 높게 만들어 실제 적용을 어렵게 했습니다. 따라서 기존 RL 방법들은 저차원의 강체 변환 (rigid transformation) 으로만 제한되거나, 공간적 세부 정보를 잃는 저차원 잠재 공간으로 축소되었습니다.
2. 레이블 효율성 부족: 의료 이미지 분석에서는 정밀한 볼륨 단위 레이블 (segmentation) 이 극도로 부족합니다. 기존 방법들은 제한된 레이블을 효율적으로 활용하지 못하거나, 복잡한 대규모 변형 (large-scale deformations) 을 처리하기 위해 단일 단계 (single-shot) 추론에 의존하여 국소적 경계와 미세한 기하학적 구조를 정확히 복원하지 못하는 경우가 많습니다.

2. 제안 방법론: MorphSeek

저자들은 MorphSeek을 제안하며, DIR 문제를 밀집된 변위장이 아닌 잠재 특징 공간 (latent feature space) 에서의 정책 최적화 (policy optimization) 문제로 재정의합니다.

핵심 구성 요소

1. RL 친화적 네트워크 리팩토링 (RL-Friendly Refactoring):

   • 기존 U-Net 아키텍처의 인코더 최상위 레이어에 **확률적 가우시안 헤드 (Stochastic Gaussian Policy Head)**를 추가합니다.
   • 결정론적인 특징 벡터 대신, 평균 ($\mu$) 과 로그 표준편차 ($\log \sigma$) 를 파라미터로 하는 다변량 가우시안 분포를 모델링하여 잠재 변수 $z$를 샘플링합니다.
   • 이를 통해 인코더와 디코더를 분리하고, RL 기반의 미세 조정이 가능한 확률적 정책 ($\pi(z|\mu, \sigma)$) 을 도입합니다.

2. 무감독 워밍업 (Unsupervised Warm-up):

   • GRPO 기반의 미세 조정을 안정적으로 수행하기 위해, 먼저 레이블이 없는 데이터로 인코더와 디코더를 사전 학습합니다.
   • 이 단계에서는 탐험 (exploration) 을 위해 필요한 분산을 유지하면서, 해부학적 정보를 평균 코드에 주입하여 후속 학습의 수렴성을 높이고 '후방 붕괴 (posterior collapse)' 위험을 줄입니다.

3. 그룹 상대적 정책 최적화 (Group Relative Policy Optimization, GRPO):

   • 다중 궤적 및 다중 단계 (Multi-trajectory & Multi-step): 하나의 입력 쌍에 대해 여러 개의 궤적 (trajectories) 을 샘플링하고, 이를 통해 coarse-to-fine(대략적에서 정밀하게) 방식으로 변형을 점진적으로 개선합니다.
   • 보상 함수: Dice 점수 향상 (정렬 정확도) 과 음의 야코비안 행렬식 비율 (NJD, 변형의 물리적 타당성) 을 기반으로 보상을 설계합니다.
   • 레이블 재사용: 제한된 레이블 데이터를 여러 단계와 여러 궤적을 통해 반복적으로 활용하여 레이블 효율성을 극대화합니다.

4. 잠재 차원 분산 정규화 (Latent-Dimension Variance Normalization, LDVN):

   • 문제: 고차원 잠재 공간 (수만~수십만 차원) 에서 로그 가능도 (log-likelihood) 를 직접 합산하면 수치적 불안정성이 발생하고, 그라디언트 방향이 왜곡될 수 있습니다.
   • 해결: 로그 가능도를 잠재 차원 수 ($N$) 의 제곱근 ($\sqrt{N}$) 으로 스케일링하여 분산을 안정화합니다. 이는 Transformer 의 scaled dot-product attention 과 유사한 원리로, 고차원 공간에서도 GRPO 가 안정적으로 작동하도록 보장하며 정책 그라디언트의 방향은 보존합니다.

3. 주요 기여 (Key Contributions)

1. 잠재 공간 정책 최적화 패러다임: 밀집된 변위장 대신 인코더의 잠재 특징 공간에서 정책을 정의함으로써, 고차원 3D 변형 등록에 RL 을 적용 가능하게 하고 세밀한 공간적 granularity 를 유지합니다.
2. LDVN (Latent-Dimension Variance Normalization): 고차원 밀집 예측 작업에서 GRPO 의 수치적 안정성을 보장하는 통계적 정규화 기법을 제안하고 이론적/실증적 타당성을 입증했습니다.
3. 고효율 약지도 학습 프레임워크: 무감독 워밍업과 GRPO 기반의 coarse-to-fine 정제를 결합하여, 극히 제한된 레이블로도 대규모 변형 등록의 품질을 획기적으로 향상시켰습니다.

4. 실험 결과 (Results)

저자들은 OASIS (뇌 MRI), LiTS (간 CT), Abdomen MR-CT(교차 모달리티) 의 3 가지 3D 벤치마크에서 MorphSeek 을 평가했습니다.

• 성능 향상: VoxelMorph-L, TransMorph, NICE-Trans 등 다양한 백본 모델에 MorphSeek 을 적용했을 때, Dice 점수가 2~4% 향상되었고, NJD(음의 야코비안 비율) 는 30~60% 감소하여 변형의 물리적 타당성이 크게 개선되었습니다.
• 레이블 효율성: 전체 레이블의 약 60% 만으로도 기존 모델이 80% 레이블로 달성하던 성능에 근접하거나 초과하는 결과를 보여주었습니다. 특히 16 개의 레이블 쌍만으로도 강력한 성능을 발휘했습니다.
• 계산 효율성: 파라미터 수는 3% 미만으로 증가했으며, 단일 단계 추론 속도는 기존 모델과 유사합니다. 다단계 추론 시에도 선형적으로 증가하여 배포 가능한 수준입니다.
• 비교 우위: 기존 RL 기반 방법 (SPAC 등) 이나 다단계 고정 구조 방법 (RIIR, LapIRN 등) 보다 일관되게 우수한 성능을 보였습니다. 특히 SPAC 의 경우 재구성된 전체 변형장에 대한 NJD 계산이 수치적 불일치로 인해 불가능했으나, MorphSeek 은 명시적인 누적 변형장을 유지하여 NJD 를 정확히 평가할 수 있었습니다.

5. 의의 및 결론 (Significance)

MorphSeek 은 강화학습을 의료 이미지 등록에 적용하는 데 있어 **차원의 저주 (curse of dimensionality)**와 레이블 부족이라는 두 가지 장벽을 동시에 해결한 획기적인 접근법입니다.

• 원칙적 해결책: 특정 옵티마이저나 백본에 의존하지 않는 일반화 가능한 프레임워크를 제공합니다.
• 실용성: 제한된 메모리 환경과 레이블 예산 하에서도 RL 기반의 변형 등록을 실용적으로 가능하게 합니다.
• 미래 전망: 고차원 밀집 예측 문제 전반에 적용 가능한 잠재 공간 정책 학습 패러다임을 제시하며, 향후 적응형 정제 스케줄링 및 물리적 사전 지식 통합 등으로 확장될 수 있는 기반을 마련했습니다.

요약하자면, MorphSeek 은 고차원 잠재 공간에서의 확률적 정책 학습과 **수치적 안정화 기법 (LDVN)**을 통해, 의료 이미지 등록의 정확도와 효율성을 동시에 비약적으로 향상시킨 새로운 표준을 제시합니다.