Unsupervised MR-US Multimodal Image Registration with Multilevel Correlation Pyramidal Optimization

Each language version is independently generated for its own context, not a direct translation.

🏥 문제 상황: "낯선 지도와 실시간 내비게이션의 괴리"

수술실에서는 두 가지 종류의 사진이 있습니다.

수술 전 MRI (고화질 지도): 뇌의 구조를 아주 선명하게 보여주지만, 환자가 마취된 채 누워있는 '정적인' 상태입니다.
수술 중 초음파 (실시간 내비): 수술 중 실시간으로 찍는 사진이지만, 화질은 흐릿하고 뇌가 수술 도중 움직이거나 잘려나가서 모양이 변해버린 '동적인' 상태입니다.

문제점: 의사는 고화질 지도 (MRI) 를 보며 수술하길 원하지만, 실제 수술 중에는 뇌가 움직여서 지도와 실제 모습이 안 맞습니다. 마치 비행기 이륙 전의 지도와 난기류를 만나 구부러진 비행기 창밖 풍경을 맞춰보려는 것과 같습니다. 기존 기술들은 이 두 사진을 자연스럽게 붙여놓는 데 큰 어려움을 겪었습니다.

💡 해결책: "MCPO"라는 새로운 정렬 기술

저희 연구팀 (왕자정 등) 은 이 문제를 해결하기 위해 **'MCPO (다단계 상관관계 피라미드 최적화)'**라는 기술을 개발했습니다. 이를 거대한 퍼즐 맞추기에 비유해 볼까요?

1. 특징 추출: "얼굴 인식 대신 '주변 풍경' 기억하기"

MRI 와 초음파는 생김새가 너무 달라서 (하나는 선명하고 하나는 흐릿해서) 직접 비교하면 실패합니다.

비유: 서로 다른 옷을 입은 두 사람을 비교할 때, 옷차림을 보는 게 아니라 '주변의 나무, 길, 건물' 같은 공통된 배경 특징을 기억하는 것입니다.
이 기술은 두 사진의 공통된 '구조적 특징'을 찾아내어, 서로 다른 사진이라도 같은 공간에 있다는 것을 인식하게 합니다.

2. 피라미드 최적화: "먼저 큰 그림, 그다음 세부 사항"

두 사진을 한 번에 다 맞춰보려고 하면 실수가 많습니다. 그래서 피라미드 (계단식) 방식으로 접근합니다.

1 단계 (큰 그림): 사진의 전체적인 모양을 먼저 대략적으로 맞춥니다. (예: 뇌가 왼쪽으로 5cm 밀렸구나)
2 단계 (중간): 그다음 조금 더 자세히 맞춰봅니다.
3 단계 (세부): 마지막으로 아주 미세한 부분까지 딱딱 맞춰줍니다.
비유: 거대한 퍼즐을 맞출 때, 먼저 네 모서리를 먼저 맞추고 (큰 그림), 그다음 색이 비슷한 조각들을 묶고 (중간), 마지막으로 빈틈을 채우는 (세부) 순서로 진행하는 것과 같습니다.

3. Adam 최적화: "마무리 다듬기"

대략 맞추고 나면, 아주 미세하게 어긋난 부분들이 있을 수 있습니다. 이때 Adam이라는 도구를 써서, 흐릿한 초음파 사진 속에서도 의미 있는 작은 조각들만 골라내어 마지막까지 완벽하게 정렬합니다.

🏆 결과: "경쟁에서 1 등, 그리고 실제 검증"

이 기술은 Learn2Reg 2025라는 세계적인 의료 이미지 정렬 대회에 참가했습니다.

대회 성적: 검증 단계와 최종 테스트 단계 모두에서 1 위를 차지했습니다.
정확도: 수술 전 MRI 와 수술 중 초음파를 맞췄을 때, 오차가 약 1.8mm 수준으로 매우 정밀했습니다. (머리카락 두세 가닥 정도 차이입니다!)
실제 적용: 이 기술은 단순히 대회 데이터에서만 잘 작동한 게 아니라, 실제 뇌종양 수술 데이터 (Resect 데이터셋) 에서도 큰 변형이 있는 경우에도 다른 방법들보다 훨씬 잘 맞춰주었습니다.

🚀 결론: 왜 이것이 중요한가요?

이 기술은 수술 중 의사가 "지금 내 손이 뇌의 어떤 부위에 있는지"를 실시간으로 정확히 알 수 있게 해줍니다.

기존: 흐릿한 초음파만 보고 대충 추정하거나, MRI 와 초음파가 안 맞아서 수술이 어려움.
이제: AI 가 두 사진을 자동으로 완벽하게 붙여주어, 의사는 마치 투명한 유리를 통해 뇌 속을 훤히 보며 수술하는 것과 같은 효과를 얻습니다.

이 기술은 더 안전하고 정밀한 수술을 가능하게 하여, 환자들에게 더 나은 치료 결과를 가져다줄 것입니다. 연구팀은 이 코드를 공개하여 (GitHub) 전 세계 의사들과 연구자들이 함께 발전시킬 수 있도록 했습니다.

Each language version is independently generated for its own context, not a direct translation.

논문 개요

이 논문은 Learn2Reg 2025 챌린지의 하위 과제인 ReMIND2Reg(수술 중 초음파 (US) 와 수술 전 자기공명영상 (MRI) 의 비지도 다중 모달 이미지 정합) 를 해결하기 위해 제안된 MCPO(Multilevel Correlation Pyramidal Optimization) 방법을 소개합니다. 연구팀은 조직 변형과 제거로 인한 큰 변형 (large deformation) 과 특징의 낮은 명확성 (low feature distinctness) 이라는 난제를 극복하기 위해, 학습 없이도 효과적으로 정합을 수행할 수 있는 새로운 최적화 프레임워크를 개발했습니다.

1. 문제 정의 (Problem)

배경: 수술 내 내비게이션을 위해 수술 전 MRI 와 수술 중 초음파 (US) 이미지를 정합하는 것은 중요하지만, 두 이미지는 모달리티가 다르고 수술 중 조직의 이동 및 제거로 인해 큰 변형이 발생합니다.
도전 과제:
- 다중 모달리티 차이: MRI 와 US 는 서로 다른 물리적 특성을 가져 특징 매칭이 어렵습니다.
- 큰 변형 (Large Deformation): 수술 중 조직 제거로 인해 발생하는 비선형적이고 큰 변형을 정확히 보정해야 합니다.
- 비지도 학습 (Unsupervised): 정합을 위한 정답 레이블 (Ground Truth) 이 없는 상황에서 효과적으로 작동해야 합니다.
- 낮은 특징 명확성: 초음파 이미지는 노이즈가 많고 정보가 희소하여 전통적인 정합 방법이 실패하기 쉽습니다.

2. 방법론 (Methodology)

제안된 MCPO는 기존 VoxelOpt 와 ConvexAdam 을 기반으로 하되, 다음과 같은 세 가지 핵심 개선 사항을 도입했습니다.

가. 모달리티 독립 특징 추출 (Modality-Independent Feature Extraction)

Mind-SSC Feature Extractor를 사용하여 각 모달리티의 특징을 추출합니다.
이미지의 부분적 자기 유사성 (self-similarity) 을 활용하여 모달리티에 구애받지 않는 구조적 정보를 추출함으로써, MRI 와 US 간의 일관된 구조 표현을 가능하게 합니다.

나. 다단계 피라미드 융합 최적화 (Multilevel Pyramidal Fusion Optimization)

다중 스케일 특징: 추출된 특징을 평균 풀링을 통해 다양한 스케일 ( $n=3,4,5,6$ ) 로 다운샘플링합니다.
밀집 상관 분석 (Dense Correlation): 각 스케일에서 밀집 상관 레이어를 통해 제곱 오차 합 (SSD) 비용 볼륨을 계산하고 초기 변위 (displacement) 를 추정합니다. 이는 큰 변형 영역에서도 초기 포착을 가능하게 합니다.
가중치 균형 결합 볼록 최적화 (Weight-balanced Coupled Convex Optimization): 유사도 (Similarity) 와 부드러움 (Smoothness) 을 교대로 최적화하며, 가중치 균형을 통해 전역적 정규화를 수행합니다.
역일관성 제약 (Inverse Consistency Constraint): 정방향 및 역방향 변환 간의 차이를 최소화하여 비현실적인 변형을 방지합니다.
코arse-to-Fine 구성: 각 레벨에서 계산된 강체 (Rigid) 변위 필드를 점진적으로 합성하여 최종 밀집 변위 필드를 생성합니다.

다. Adam 인스턴스 최적화 및 손실 함수 개선

Adam Instance Optimization: 최종 변위 필드를 미세 조정하기 위해 Adam 기반의 인스턴스 최적화를 적용합니다.
확률적 패치 기반 상호 정보 손실 (Stochastic Patch-based Mutual Information Loss): 초음파의 낮은 정보 밀도로 인해 전역적 상호 정보 손실이 비효율적인 문제를 해결하기 위해, 정보량이 많은 국소 패치를 무작위로 샘플링하여 상호 정보를 비교하는 새로운 손실 함수를 도입했습니다.
변형: 이 과정을 포함하는지 여부에 따라 MCPO-rigid(강체만) 와 MCPO-deform(변형 포함) 두 가지 변형 모델을 제안했습니다.

3. 주요 기여 (Key Contributions)

새로운 최적화 프레임워크: 다단계 피라미드 구조와 결합 볼록 최적화를 통해 대규모 변형과 다중 모달리티 정합 문제를 해결하는 Unsupervised 방법론을 제시했습니다.
초음파 특화 손실 함수: 초음파 이미지의 낮은 정보 밀도 문제를 해결하기 위해 '확률적 패치 기반 상호 정보 손실'을 도입하여 정합 정확도를 크게 향상시켰습니다.
성능 입증: Learn2Reg 2025 ReMIND2Reg 챌린지에서 검증 및 테스트 단계 모두 1 위를 차지했으며, Resect 데이터셋에서도 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

가. ReMIND2Reg 챌린지 (검증 및 테스트)

검증 단계 (Validation): MCPO-rigid 가 TRE 1.790 ± 0.536 mm로 가장 우수한 성능을 보였습니다.
테스트 단계 (Test): 조직의 큰 변형을 처리하기 위해 MCPO-deform을 제출했습니다.
- 정규화된 점수 0.911(1.0 만점) 을 기록하여 1 위를 차지했습니다.
- TRE30(30 백분위수) 지표에서도 최상위권을 기록하며 이상치 제거 후에도 안정적인 성능을 입증했습니다.

나. Resect 데이터셋 (일반성 검증)

더 다양하고 큰 변형을 가진 Resect 데이터셋에서 실험을 수행했습니다.
MCPO-deform은 평균 TRE 1.798 ± 1.301 mm를 기록하여 기존 방법들 (ConvexAdam, NiftyReg, MCBO 등) 보다 월등히 우수한 성능을 보였습니다.
특히 초기 변형이 19.731 mm 에 달하는 사례에서 MCPO-deform 은 1.1~~1.4 mm 수준의 오차로 성공적으로 정합한 반면, MCPO-rigid 는 13~~16 mm 이상의 큰 오차를 보였습니다.

5. 의의 및 결론 (Significance)

효율성: 적은 학습 절차만으로도 다중 모달 의료 이미지 정합을 빠르고 정확하게 수행할 수 있음을 입증했습니다.
임상 적용 가능성: 수술 전 MRI 와 수술 중 초음파 간의 정합 정확도를 높여, 수술 중 내비게이션 시스템의 신뢰성을 크게 향상시킬 수 있습니다.
범용성: Resect 데이터셋에서의 성공적인 결과는 이 방법이 다양한 임상 시나리오와 복잡한 변형 상황에서도 적용 가능함을 보여줍니다.

이 논문은 의료 영상 정합 분야에서 비지도 학습 기반의 최적화 기법이 어떻게 대규모 변형과 모달리티 차이를 극복할 수 있는지를 보여주는 중요한 사례로 평가됩니다.