Focal Modulation and Bidirectional Feature Fusion Network for Medical Image Segmentation

"의료 영상 분할을 위한 초점 변조 및 양방향 특징 융합 네트워크" 논문에 대한 상세한 기술적 요약입니다 (본문에서는 FM-BFF-Net 또는 M-BFF-Net으로 지칭됨).

1. 문제 제기

의료 영상 분할은 진단, 치료 계획 수립 및 모니터링과 같은 임상 작업에 필수적입니다. 그러나 기존 방법들은 다음과 같은 중요한 과제에 직면해 있습니다:

• CNN 의 한계: 전통적인 합성곱 신경망 (CNN) 은 국소 공간 특징을 포착하는 데 뛰어나지만, 국소화된 수용野 (receptive fields) 로 인해 전역 문맥과 장거리 의존성을 처리하는 데 어려움을 겪습니다. 이로 인해 복잡한 경계, 다양한 크기 및 낮은 대비를 가진 구조물의 분할이 어렵습니다.
• Transformer 의 한계: 비전 Transformer(ViT) 는 자기 주의를 통해 전역 문맥을 효과적으로 포착하지만, 정밀한 경계 구분에 필수적인 세밀한 국소 공간 세부 정보를 보존하는 능력이 부족한 경우가 많습니다.
• 임상적 변이성: 의료 영상 (MRI, CT, 초음파 등) 은 화질, 대비 및 해부학적 구조에서 높은 변이성을 보이며, 이로 인해 모델이 서로 다른 스케일과 모달리티 간에 일반화하기 어렵습니다.

2. 방법론: M-BFF-Net 아키텍처

저자들은 CNN(국소 특징 추출) 과 Transformer(전역 문맥 인식) 의 강점을 통합한 하이브리드 딥러닝 프레임워크를 제안합니다. 아키텍처는 인코더 - 디코더 구조를 따르며, 다음과 같은 주요 구성 요소를 포함합니다:

A. 백본 및 인코더

• 백본: 계산 효율성을 극대화하기 위해 EfficientNetV2S1을 백본으로 사용합니다.
• 인코더 블록: 계층적 특징을 추출하는 네 개의 인코더 블록 ($B_{enc}^{1}$부터 $B_{enc}^{4}$까지) 으로 구성됩니다.
• 스킵 연결: 공간 정보를 보존하기 위해 인코더와 디코더 사이에 집계된 스킵 연결이 설정됩니다.

B. 초점 변조 기반 ConvFormer 어텐션 블록 (FMCAB)

인코더 블록과 스킵 연결 사이에 삽입되어 특징 흐름을 정제합니다:

• 메커니즘: 합성곱 연산과 초점 변조 어텐션 메커니즘을 결합합니다.
• 기능: 전역 평균 풀링 (GAP) 과 전역 최대 풀링 (GMP) 을 사용하여 어텐션 가중치를 계산함으로써, 모델이 중요한 영역에 역동적으로 초점을 맞추면서 문맥을 적응적으로 변조할 수 있게 합니다.
• 목표: 국소 및 전역 문맥의 통합을 강화하여 다양한 병변 크기와 모양을 처리하는 모델의 능력을 향상시킵니다.

C. 비전 Transformer 모듈 (ViTM)

병목 레이어(인코더와 디코더 사이) 에 배치됩니다:

• 구성 요소: **토큰 기반 자기 주의 (TSA)**와 **전역 공간 주의 (GSA)**를 통합합니다.
• 기능: TSA 는 쿼리, 키, 값 행렬을 사용하여 장거리 의존성을 포착하는 반면, GSA 는 전역 위치 의존성을 포착합니다. 이를 통해 모델은 전체 이미지 간의 관계를 이해하여 국소 CNN 연산의 한계를 극복할 수 있습니다.

D. 양방향 특징 융합 모듈 (BiFFM)

디코더 단계에 위치하여 스킵 연결의 특징과 재구성된 디코더 특징을 병합합니다:

• 메커니즘: 인코더 스킵 연결 ($s_n$) 과 디코더 분기에서 입력을 받아 $1\times3$ 및 $3\times1$ 합성곱과 **채널 셔플링 (CS)**을 포함하는 병렬 경로를 통해 처리합니다.
• 기능: 인코더 및 디코더 표현 간의 효율적인 양방향 상호작용을 촉진합니다. 스킵 연결의 국소 세부 정보와 디코더의 전역 의미론적 정보를 조화시켜 정밀한 경계 재구성을 보장합니다.

E. 디코더

• **특징 정제 모듈 (FRM)**과 BiFFM 을 사용하여 특징을 점진적으로 업샘플링하고 융합합니다.
• 최종 출력은 $1\times1$ 합성곱을 거쳐 시그모이드 활성화 함수를 적용하여 분할 마스크를 생성합니다.

3. 주요 기여

1. 하이브리드 아키텍처: 국소 특징 추출과 전역 문맥 인식을 균형 있게 조화시키기 위해 CNN 과 Transformer 를 성공적으로 결합했습니다.
2. FMCAB: 특징 흐름을 변조하여 복잡한 해부학적 구조에 대한 모델의 적응성을 향상시키는 새로운 어텐션 블록을 도입했습니다.
3. BiFFM: 모든 디코더 단계에서 문맥을 풍부하게 하는 양방향 융합 모듈을 개발하여 경계 정밀도를 크게 향상시켰습니다.
4. 효율성: 모델이 계산적으로 효율적으로 유지되도록 EfficientNetV2S1 을 백본으로 사용하여 자원 제약이 있는 임상 환경에 적합하도록 했습니다.

4. 실험 결과

이 모델은 세 가지 의료 영상 도메인에 걸친 여덟 개의 공개 데이터셋에서 평가되었습니다:

• 폴립 분할: Kvasir-SEG, CVC-ClinicDB, CVC-ColonDB.
• 피부 병변 분할: ISIC2016, ISIC2017, ISIC2018.
• 초음파 분할: BUSI(유방), DDTI(갑상선).

성능 지표:
이 모델은 U-Net, UNet++, Swin-Unet, Meta-Polyp 등을 포함한 최첨단 (SOTA) 방법들과 비교되었습니다.

• 폴립 분할: M-BFF-Net 은 Kvasir-SEG 에서 92.96% 의 자카드 지수를 달성하여 다음으로 좋은 방법 (92.10% 의 Meta-Polyp) 을 능가했으며, CVC-300 데이터셋에서는 최대 **34.54%**의 개선을 보였습니다.
• 피부 병변 분할: 모든 ISIC 데이터셋에서 경쟁자들을 일관되게 능가했으며, 자카드 개선 폭은 **0.05% 에서 11.61%**까지였습니다.
• 초음파 분할: BUSI 및 DDTI 데이터셋에서 우수한 결과를 달성하여 기존 방법 대비 **0.64% 에서 11.67%**의 자카드 개선을 보였습니다.
• 시각적 품질: 정성적 분석 결과, M-BFF-Net 은 낮은 대비, 불규칙한 모양 및 가려짐이 있는 경우 특히 Ground Truth(GT) 와 밀접하게 일치하는 마스크를 생성하는 것으로 나타났습니다.

5. 중요성 및 결론

• 임상적 영향: 분할 정확도와 경계 정밀도를 향상시킴으로써 종양 경계 구획과 같은 더 신뢰할 수 있는 질병 진단 및 치료 계획 수립을 지원합니다.
• 강건성: 하이브리드 접근 방식은 내시경, 피부경, 초음파 등 다양한 영상 모달리티와 다양한 병변 특성 전반에 걸쳐 높은 적응력을 보여줍니다.
• 향후 작업: 저자들은 모델이 3D 볼륨 데이터와 다중 모달 영상으로 확장되고, 임상 의사결정을 위한 신뢰도 추정을 제공하기 위해 불확실성 정량화가 통합될 것을 제안합니다.

요약하자면, M-BFF-Net은 국소 특징 추출과 전역 문맥 모델링 간의 격차를 효과적으로 해소함으로써 의료 영상 분할 분야에서 중요한 발전을 이루었으며, 다양한 임상 응용 분야에 대한 견고하고 고정밀 솔루션을 제공합니다.