FermatSyn: SAM2-Enhanced Bidirectional Mamba with Isotropic Spiral Scanning for Multi-Modal Medical Image Synthesis

본 논문은 SAM2 기반의 해부학적 사전 지식 주입, 계층적 잔차 다운샘플링 모듈, 그리고 Fermat 나선 스캔을 활용한 양방향 Mamba 아키텍처를 결합하여 다중 모달 의료 영상 합성 시 전역적 일관성과 고충실도 국소 디테일을 동시에 확보하는 'FermatSyn'을 제안합니다.

핵심

FermatSyn: 의료 영상의 '완벽한 복제'를 만드는 새로운 기술

이 논문은 의사들이 치료 계획을 세울 때 필요한 다양한 의료 영상 (예: MRI 와 CT) 을 서로 변환해 주는 인공지능에 대한 이야기입니다. 보통 환자에게는 모든 종류의 촬영을 다 할 수 없거나, 시간이 오래 걸려서 모든 데이터를 구하기 어렵습니다. 이 기술은 "이미 있는 영상 하나만으로도, 마치 다른 장비로 찍은 것처럼 완벽한 영상을 만들어낸다"는 목표입니다.

기존 기술들은 큰 구조는 비슷하게 만들지만, 작은 병변 (종양) 의 세부 묘사가 흐릿하거나, 전체적인 해부학적 구조가 뒤틀리는 문제가 있었습니다. 이 논문은 이를 해결하기 위해 세 가지 핵심 아이디어를 섞어 **'FermatSyn'**이라는 새로운 시스템을 만들었습니다.

---

1. "명품 지도"를 참고하는 스마트한 학습 (SAM2 기반)

• 비유: 새로운 도시를 그릴 때, 단순히 눈으로만 보고 그리면 건물이 어색하게 배치될 수 있습니다. 하지만 **정밀한 도시 지도 (SAM2)**를 옆에 두고 그 지도의 '건물 위치'와 '도로 구조'를 참고하면 훨씬 자연스러운 도시를 그릴 수 있죠.
• 설명: 이 시스템은 이미 수많은 의료 영상을 학습한 거대한 AI 모델 (SAM2) 을 '지도'처럼 사용합니다. 하지만 처음부터 다시 학습하는 게 아니라, **작은 메모리 스틱 (LoRA)**만 꽂아서 기존 지식을 효율적으로 활용합니다. 이렇게 하면 생성된 영상이 인체의 실제 해부학적 구조를 따르도록 보장합니다.

2. "고해상도 렌즈"와 "지혜로운 합성" (HRDM & CIN)

• 비유: 사진을 찍을 때 줌아웃을 너무 많이 하면 세세한 주름이나 모공이 사라집니다. 기존 기술은 큰 그림을 잡느라 작은 병변 (종양의 가장자리) 같은 미세한 디테일을 잃어버리는 경향이 있었습니다.
• 설명:
  • HRDM: 이 시스템은 '고해상도 렌즈'처럼 작동합니다. 큰 구조를 보는 동시에, 작은 병변의 날카로운 테두리를 놓치지 않고 잡는 특수한 필터를 사용합니다.
  • CIN: 큰 구조 (전체 뇌 모양) 와 작은 디테일 (종양 내부) 을 섞을 때, 단순히 붙이는 게 아니라 두 가지 정보를 가장 잘 어울리게 섞어주는 '요리사' 역할을 합니다.

3. "해바라기 씨앗"처럼 찍는 새로운 스캔 방식 (페르마 나선)

• 비유: 기존 기술은 영상을 읽을 때 **세로줄을 한 줄씩 읽는 것 (지그재그)**이나 사각형으로 나선형으로 읽는 방식을 썼습니다. 문제는 이 방식이 특정 방향 (가로/세로) 으로만 집중하다 보니, 이미지의 한쪽은 선명하고 다른 쪽은 뒤틀리는 '방향성 편향'이 생깁니다. 마치 네모난 나선을 돌면 모서리 부분이 너무 빽빽하고, 중간은 비어있는 것처럼요.
• 설명:
  • 이 연구팀은 자연계에서 영감을 받았습니다. 해바라기 씨앗이나 소라 껍데기의 나선 모양은 어떤 방향으로도 균일하게 퍼져 있습니다.
  • 이 원리를 **'페르마 나선 (Fermat Spiral)'**이라고 합니다. 이 방식을 사용하면 영상을 읽을 때 어느 방향으로도 치우치지 않고 (등방성), 모든 부분이 고르게 처리됩니다.
  • 특히 **양방향 (앞으로 읽고 뒤로 다시 읽기)**으로 스캔을 반복하며, 이 나선 패턴을 유지하도록 설계했습니다. 그 결과, 종양의 모양이 왜곡되지 않고 훨씬 더 자연스러운 3D 구조를 만들어냅니다.

---

왜 이것이 중요한가요? (결과)

이 기술은 단순히 "예쁜 그림"을 그리는 게 아니라, 실제 임상에서 쓸 수 있는지를 증명했습니다.

1. 품질: 기존 최고 기술들보다 선명도 (PSNR) 와 구조적 유사도 (SSIM) 가 훨씬 뛰어납니다.
2. 진단 신뢰도: 가장 중요한 점은, 이렇게 만들어낸 가짜 영상으로 훈련된 AI 가, 실제 환자를 진단할 때와 똑같은 정확도를 낸다는 것입니다. (통계적으로 차이가 없음)
3. 의미: 앞으로 환자에게 불필요한 방사선 노출을 줄이거나, 촬영 시간이 긴 MRI 대신 CT 만으로도 필요한 모든 정보를 얻을 수 있게 되어, 치료 계획 수립이 훨씬 빠르고 정확해질 것입니다.

한 줄 요약

"해바라기 씨앗처럼 균일하게 영상을 스캔하고, 해부학적 지도를 참고하며, 미세한 병변까지 놓치지 않는 AI 가 만들어낸 의료 영상은 이제 실제 촬영과 구별이 안 될 정도로 완벽해졌습니다."

기술 요약

1. 문제 정의 (Problem Statement)

의료 영상 합성 (Multi-modal Medical Image Synthesis) 은 방사선 치료 계획이나 수술 내비게이션과 같은 하류 작업에 필수적이지만, 기존 방법론들은 다음과 같은 세 가지 주요 한계를 겪고 있습니다:

• 구조적 일관성과 국소적 디테일의 불균형: GAN 기반 방법은 국소적 질감은 생성하지만 장기적 의존성 (Long-range dependency) 모델링이 부족하여 전역적인 해부학적 구조가 왜곡됩니다. 반면, Diffusion 모델은 구조적 일관성은 좋지만 추론 비용이 매우 높습니다.
• 영역 지식 (Anatomical Prior) 의 활용 부족: 기존 프레임워크는 도메인 특화 해부학적 지식을 효과적으로 주입하지 못해, 모달리티 간 변환 시 비현실적인 결과가 나옵니다.
• 방향 편향 (Directional Bias) 과 고주파수 정보 손실:
  • 기존 Mamba 기반 모델 (예: I2I-Mamba) 이 사용하는 직사각형 나선 (Rectangular-spiral) 스캔은 모서리 부분에서 불균일한 이웃 간격을 만들어 '핫스팟'을 발생시키고 방향 편향을 유발합니다.
  • 또한, 과도한 다운샘플링은 병변 (Lesion) 의 경계와 같은 고주파수 세부 정보를 손실시킵니다.

2. 제안 방법 (Methodology: FermatSyn)

저자들은 위 세 가지 문제를 동시에 해결하기 위해 FermatSyn을 제안했습니다. 이는 SAM2 기반 인코더, 계층적 잔차 다운샘플링, 그리고 등방성 페르마 나선 스캔을 활용한 양방향 Mamba 아키텍처로 구성됩니다.

2.1 하이브리드 인코더 (Hybrid Encoder)

• SAM2 기반 사전 인코더 (Prior Encoder):
  • Segment Anything Model 2 (SAM2) 의 비전 트랜스포머 (ViT) 백본을 고정 (Frozen) 한 후, LoRA+ 기법을 통해 효율적으로 미세 조정합니다.
  • SAM2 가 학습한 풍부한 해부학적 구조 정보 (장기 경계, 조직 인터페이스 등) 를 도메인 특화 사전 지식 (Anatomical Prior) 으로 주입하여 합성 이미지의 구조적 타당성을 보장합니다.
• 계층적 잔차 다운샘플링 모듈 (HRDM):
  • 고주파수 병변 디테일을 보존하기 위해 다중 스케일 컨텍스트 (확장 컨볼루션), 고주파수 보상 (Depthwise Separable Conv), 적응형 스킵 연결을 병렬로 처리합니다.
  • 고역 통과 필터 (High-pass filter) 를 적용하여 병변 경계와 같은 미세한 질감을 강화합니다.
• 크로스 스케일 통합 네트워크 (CIN):
  • SAM2 의 전역 특징과 HRDM 의 국소 특징 간의 의미적 격차를 해소합니다.
  • 채널을 짝수/홀수로 분할하여 각각 다른 커널 크기 (5x5, 3x3) 의 컨볼루션을 적용한 후 재결합하여 저주파 (전역) 와 고주파 (국소) 정보를 적응적으로 융합합니다.

2.2 양방향 페르마 스캔 Mamba (Bidirectional Fermat-Scan Mamba, BFS-Mamba)

• 등방성 페르마 나선 스캔 (Isotropic Fermat Spiral Scanning):
  • 기존 직사각형 나선의 방향 편향을 해결하기 위해 황금각 (Golden Angle, 약 137.5°) 을 사용하는 페르마 나선 수식을 도입합니다.
  • 이 방식은 2D 특징 맵을 시리얼화할 때 공간적 밀도가 균일하고, 어떤 특정 방향으로도 편향되지 않는 근사적 등방성 (Approximately Isotropic) 수용 영역을 형성합니다.
  • 연속성을 제약하는 그리드 매칭 (Continuity-Constrained Grid Matching) 을 통해 이산 격자 위치로 매핑하여 국소적 공간 연속성을 유지합니다.
• 양방향 상태 공간 모델링:
  • 페르마 나선으로 시리얼화된 특징을 정방향 (Forward) 과 역방향 (Backward) 으로 동시에 처리하는 Mamba 모듈을 사용합니다.
  • 두 경로의 출력을 융합하여 방향에 무관한 (Direction-invariant) 장기 의존성 모델링을 수행합니다.

2.3 학습 목표

• LSGAN 프레임워크 하에 L1 손실, SSIM 손실, 그리고 판별자 손실을 결합한 복합 손실 함수를 사용하여 최적화합니다.

3. 주요 기여 (Key Contributions)

1. SAM2 기반 해부학적 사전 지식 주입: SAM2 의 강력한 구조 인식 능력을 LoRA+ 를 통해 효율적으로 의료 영상 합성 작업에 적용하여, 모달리티 변환 시 해부학적 타당성을 크게 향상시켰습니다.
2. 등방성 페르마 나선 스캔 전략: 직사각형 나선의 방향 편향을 해결하기 위해 페르마 나선 (황금각) 을 Mamba 아키텍처에 처음 적용했습니다. 이는 Jacobian 기반 민감도 지도에서 방향 편향을 24~29% 감소시키고, 공간적 균일성을 입증했습니다.
3. 고주파수 디테일 보존 아키텍처: HRDM 과 CIN 을 통해 병변 경계와 같은 미세한 고주파수 정보를 보존하면서도 전역적 구조를 유지하는 새로운 인코더 설계 방식을 제시했습니다.

4. 실험 결과 (Results)

SynthRAD2023, BraTS2019, BraTS-MEN, BraTS-MET 등 4 가지 벤치마크 데이터셋에서 실험을 수행했습니다.

• 정량적 성능:
  • Intra-modal (동일 모달리티 내 변환): T2w→T1c 작업에서 I2I-Mamba 대비 PSNR 2.46 dB 향상 (29.78 dB).
  • Cross-modal (MRI↔CT): MRI→CT 변환 시 SSIM 0.931, PSNR 31.48 dB로 SOTA 달성.
  • 3D 구조 일관성: 3D 하우스도르프 거리 (HD) 및 평균 HD 에서 기존 방법들보다 월등히 우수한 성능을 보이며 슬라이스 간 일관성을 입증했습니다.
• 하류 작업 (Downstream Task) 검증:
  • 합성된 이미지로 학습된 분할 모델 (U-Net) 의 성능을 평가했습니다.
  • 통계적 유의성: 합성 이미지로 학습한 모델과 실제 이미지로 학습한 모델 간의 Dice 점수 차이는 통계적으로 유의미하지 않았습니다 (p > 0.05). 이는 합성 이미지가 실제 임상 데이터와 동등한 품질을 가지며, 실제 데이터 부족 시 합성 데이터를 보강 자료로 활용 가능함을 의미합니다.
• 효율성: 추론 속도는 SA-LDM 보다 훨씬 빠르며 (256x256 당 31ms), SAM2 백본은 고정되어 있어 학습 파라미터가 87.3M 으로 효율적입니다.

5. 의의 및 결론 (Significance)

FermatSyn 은 의료 영상 합성 분야에서 전역적 해부학적 일관성과 국소적 고해상도 디테일을 동시에 달성하는 새로운 패러다임을 제시합니다. 특히, 페르마 나선 스캔을 도입하여 Mamba 기반 모델의 방향 편향 문제를 근본적으로 해결함으로써, 복잡한 해부학적 구조를 가진 의료 영상 처리에 있어 방향에 무관한 (Direction-agnostic) 공간 표현을 가능하게 했습니다.

이 연구는 실제 임상 환경에서 데이터 부족 문제를 해결하고, 합성된 이미지를 통한 하류 작업 (분할, 진단 등) 의 신뢰성을 보장할 수 있음을 실험적으로 입증했습니다. 향후 3D 볼륨 합성 및 경량화 모델을 통한 실시간 배포로 연구가 확장될 예정입니다.