FunduSegmenter: Leveraging the RETFound Foundation Model for Joint Optic Disc and Optic Cup Segmentation in Retinal Fundus Images

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 망막 색소 안저 사진 (Fundus images) 에서 시신경 유두 (Optic Disc, OD) 와 시신경 컵 (Optic Cup, OC) 을 정확하게 분할하는 것은 녹내장 등 안과 질환의 진단 및 전신 질환의 바이오마커 발견에 필수적입니다.
• 기존 방법의 한계:
  • 지도 학습 CNN 의 제약: 기존 CNN 기반 모델은 전문가의 라벨링이 필요하여 데이터 확보가 어렵고, 학습 데이터 분포와 다른 데이터 (Out-of-Distribution, OOD) 에서는 성능이 급격히 저하됩니다.
  • 데이터 증강의 한계: 기존 증강 기법 (기하학적 변환 등) 은 정보 추가가 제한적이며, 합성 이미지 (Phantom) 를 이용한 증강은 임상적 신뢰도가 낮습니다.
  • 파운데이션 모델 (FM) 의 미활용: RETFound 와 같은 대규모 자기지도학습 (SSL) 기반 파운데이션 모델은 질병 분류에는 성공적이었으나, 망막 구조물 분할 (Segmentation) 작업에는 아직 적용되지 않았습니다.

2. 제안된 방법론 (Methodology)

저자들은 RETFound 기반의 새로운 분할 모델인 FunduSegmenter를 제안했습니다. 이는 RETFound 의 인코더를 고정 (Frozen) 하고, 분할 작업에 적합하도록 여러 새로운 모듈을 통합한 아키텍처입니다.

2.1. 핵심 아키텍처

• Base Encoder: RETFound (ViT-large 기반, 90 만 장 이상의 안저 및 OCT 이미지로 사전 학습된 Masked Autoencoder) 의 인코더를 활용하여 고수준 특징을 추출합니다.
• Decoder: Segmenter [30] 의 디코더를 기반으로 수정하여 사용했습니다.

2.2. 제안된 주요 모듈 (Novel Modules)

1. Pre-adapter (전처리 어댑터):
   • RETFound 는 고정된 입력 크기 (224x224) 를 요구하지만, 실제 의료 이미지는 크기가 다양합니다.
   • 입력 크기를 RETFound 에 맞게 조정하기 위해 경량화된 Pre-adapter 를 도입했습니다. 이는 위치 보간 (Position Interpolation) 기법보다 다양한 입력 크기를 유연하게 처리하며 노이즈를 최소화합니다.
2. Post-adapter (후처리 어댑터):
   • OD 와 OC 의 경계는 모호하여 직접적인 업샘플링 (Bilinear upsampling) 시 오류가 발생하기 쉽습니다.
   • 마스크 맵을 점진적으로 업샘플링하는 Post-adapter 를 설계하여 수렴 속도와 분할 정확도를 향상시켰습니다.
3. Skip Connections with CBAM:
   • RETFound 의 중간 레이어 (6, 12, 18, 24 층) 에서 추출한 특징 맵을 Skip Connection 으로 연결합니다.
   • CBAM (Convolutional Block Attention Module) 을 적용하여 다중 스케일 정보를 활용하고, 특히 OD 보다 작은 OC 의 분할 정확도를 높였습니다.
4. ViT Block Adapter:
   • 고정된 RETFound 인코더의 표현력을 분할 작업에 더 잘 적응시키기 위해, 각 Transformer 블록의 Layer Normalization 과 Multi-Head Attention 사이에 Bottleneck 구조의 Adapter를 삽입했습니다.
   • 이를 통해 모델은 강력한 일반적 특징을 유지하면서 분할 태스크에 맞게 미세 조정 (Fine-tuning) 됩니다.

2.3. 손실 함수

• Dice Loss 와 Cross Entropy Loss (CELoss) 를 결합하여 픽셀 단위 분류와 영역 단위 중첩을 모두 최적화합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 RETFound 분할 적용: 망막 안저 이미지에서 OD 와 OC 를 동시에 분할하기 위해 RETFound 를 적용한 최초의 연구입니다.
2. 범용 어댑터 모듈 개발: 사전 지식 없이도 적용 가능한 Pre-adapter, Post-adapter, ViT Block Adapter 등을 제안하여, SSL 기반 ViT 인코더를 가진 다른 파운데이션 모델에도 확장 가능함을 증명했습니다.
3. 압도적인 성능과 일반화 능력: 내부 검증, 외부 검증, 도메인 일반화 (Domain Generalization) 실험을 통해 기존 최첨단 (SOTA) 모델들을 상회하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: 자체 보유 데이터 (GoDARTS) 및 4 개의 공개 데이터셋 (IDRiD, Drishti-GS, RIM-ONE-r3, REFUGE) 을 사용했습니다.
• 비교 대상: nnU-Net, DUNet, TransUNet, DoFE, RAM-DSIR, TVConv 등 6 가지 SOTA 모델.
• 성능 지표 (Dice Similarity Coefficient, DSC):
  • 내부 검증 (Internal Verification): 평균 DSC **90.51%**를 기록하여 nnU-Net(82.91%), DUNet(89.17%), TransUNet(87.91%) 보다 모두 우수한 성능을 보였습니다.
  • 외부 검증 (External Verification): 모든 데이터셋을 학습 소스로 사용했을 때, 최상의 베이스라인보다 평균 약 3% 높은 성능을 달성했습니다.
  • 도메인 일반화 (Domain Generalization): 학습에 사용되지 않은 도메인에서도 경쟁력 있는 성능을 보였으며, 특히 TVConv 를 제외하고는 대부분의 SOTA 모델보다 우수했습니다.
• 안정성: 데이터 부족 (소규모 데이터셋) 이나 분포 변화 (OOD) 에도 nnU-Net 등 기존 모델이 성능이 급격히 떨어지는 것과 달리, FunduSegmenter 는 일관된 고수준 성능을 유지했습니다.

5. 의의 및 결론 (Significance)

• 임상적 가치: 다양한 장비와 임상 환경에서 수집된 데이터에 대해 안정적으로 OD 와 OC 를 분할할 수 있어, 자동화된 망막 분석 및 바이오마커 발견 연구의 핵심 단계로 활용 가능합니다.
• 기술적 확장성: 제안된 모듈들은 특정 도메인에 국한되지 않으며, SSL 로 학습된 ViT 기반의 다른 파운데이션 모델에도 적용 가능하여 의료 영상 분할 분야의 새로운 패러다임을 제시합니다.
• 코드 공개: 모델의 가중치와 코드는 GitHub 에서 공개되어 재현 및 추가 연구를 장려합니다.

요약하자면, FunduSegmenter 는 대규모 파운데이션 모델 (RETFound) 의 잠재력을 분할 작업으로 확장하고, 이를 위해 고안된 효율적인 어댑터 모듈들을 통해 기존 모델들의 한계를 극복하고 뛰어난 일반화 성능을 입증한 획기적인 연구입니다.