1. 문제 정의 (Problem Statement)

초음파 영상 분석은 의료 현장에서 1 차 진단 도구로 널리 사용되지만, 자동화된 분석 모델의 개발에는 다음과 같은 근본적인 어려움이 존재합니다.

• 높은 변이성 (High Variability): 스캐너 제조사, 운영자 기술, 해부학적 대상에 따라 영상의 외관 (Appearance) 이 크게 달라집니다. 또한, 프로브의 자세나 스펙클 (speckle) 통계의 차이로 인해 모델이 한 환경에서 학습되면 새로운 병원이나 장비, 환자 군으로 전이될 때 성능이 급격히 저하되는 일반화 (Generalization) 문제가 발생합니다.
• 다중 태스크의 부재: 기존 연구들은 대부분 단일 태스크 (분할, 분류, 탐지 등) 에 특화되어 있었습니다. 그러나 실제 임상 환경에서는 하나의 모델이 마스크 (Segmentation), 바운딩 박스 (Detection), 라벨 (Classification), 랜드마크 (Landmark) 등 다양한 출력을 동시에 처리해야 할 필요가 있습니다.
• FMC-UIA 챌린지: 본 논문은 '초음파 영상 분석을 위한 파운데이션 모델 챌린지 (FMC-UIA)'의 요구사항에 부응하여, 다양한 장기와 데이터셋에 걸쳐 분할, 탐지, 분류, 랜드마크 회귀를 동시에 수행할 수 있는 단일 모델을 구축하는 것을 목표로 합니다.

2. 방법론 (Methodology)

저자들은 Qwen3-VL 계열의 트랜스포머 비전 인코더를 기반으로 한 통합 다중 태스크 프레임워크인 AURORA를 제안합니다. 주요 아키텍처와 전략은 다음과 같습니다.

가. 아키텍처 개요

• 공유 비전 인코더 (Shared Visual Encoder): Qwen3-VL 의 비전 인코더를 백본으로 사용하여 사전 학습된 강력한 특징을 활용합니다. 언어 모델은 메모리 절감을 위해 제거되었습니다.
• 토큰 - 맵 브리징 (Token-to-Map Bridging): 트랜스포머의 중간 토큰 (Token) 특징을 공간적 특징 맵 (Spatial Feature Maps) 으로 변환합니다.
• 다중 스케일 특징 피라미드 (Multi-scale Feature Pyramid): 4 단계의 트랜스포머 블록에서 추출된 토큰을 $h \times w$ 공간 맵으로 재구성한 후, 경량화된 FPN(Feature Pyramid Network) 스타일의 피라미드를 구축하여 다중 스케일 특징을 융합합니다.
• 태스크별 헤드 (Task-specific Heads):
  • 밀집 예측 태스크 (Segmentation, Detection): 다중 스케일 피라미드 특징을 활용합니다.
  • 글로벌/좌표 태스크 (Classification, Regression): 피라미드 각 레벨에서 전역 평균 풀링 (GAP) 을 수행하여 얻은 벡터를 연결 (Concatenation) 한 통합 임베딩을 활용합니다.

나. 세부 구성 요소

1. 분할 (Segmentation): ASPP(Atrous Spatial Pyramid Pooling) 와 게이트드 스킵 연결을 사용한 디코더를 적용하여 정밀한 픽셀 단위 예측을 수행합니다.
2. 탐지 (Detection): 가장 정밀한 피라미드 레벨 ($P_2$) 에서 앵커 프리 (Anchor-free) 그리드 예측기를 사용하며, $P_3, P_4$의 컨텍스트 정보를 주입합니다.
3. 분류 및 회귀 (Classification & Regression): 통합된 글로벌 임베딩을 통해 전역 문맥 정보를 활용하여 클래스 분류나 랜드마크 좌표를 예측합니다. 좌표는 정규화 ($0 \sim 1$) 된 상태로 학습됩니다.

다. 최적화 및 샘플링 전략

• 태스크 인식 샘플링 (Task-aware Sampling): 태스크 간 불균형을 해결하기 위해 온도에 기반한 샘플러를 사용하며, 손실의 이동 평균 (EMA) 을 반영하여 동적으로 샘플링 빈도를 조절합니다.
• 손실 균형 (Loss Balancing): 이질적인 감독 신호를 관리하기 위해 선택적 손실 가중치 (Selective loss balancing) 를 적용하여 태스크 간 불균형을 완화하고 메모리 효율성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 통합 다중 태스크 프레임워크: Qwen3-VL 기반의 사전 학습 인코더를 활용하여 단일 모델이 분할, 탐지, 분류, 랜드마크 회귀를 공유 표현 (Shared Representation) 으로 동시에 처리할 수 있게 했습니다.
2. 토큰 - 피라미드 브리징 메커니즘: 트랜스포머 토큰을 공간적 특징 맵으로 변환하는 경량화 메커니즘을 제안하여, 밀집 예측과 글로벌 추론을 모두 지원하는 다중 스케일 특징 융합을 가능하게 했습니다.
3. 효율적인 태스크 라우팅 및 최적화: 명시적 라우팅을 가진 경량 태스크별 헤드와 태스크 인식 샘플링, 손실 균형 전략을 통해 이질적인 감독 신호를 효율적으로 처리하고 학습 안정성을 확보했습니다.

4. 실험 결과 (Results)

• 데이터셋: FMC-UIA 2026 벤치마크 (27 개의 하위 태스크, 다양한 스캐너 및 해부학적 구조 포함) 를 사용했습니다.
• 성능 향상:
  • 검증 세트 (Validation) 에서 점수가 **67% 에서 85%**로 크게 향상되었습니다.
  • 공식 테스트 세트에서 모든 태스크에 대한 평균 점수는 **81.84%**를 기록했습니다.
• 성능 분석:
  • 분류 및 탐지: 풀링된 다중 스케일 임베딩과 고해상도 피라미드 특징이 효과적으로 작용하여 높은 성능을 보였습니다 (예: 갑상선 결절 탐지 IoU 0.717).
  • 분할: 폐와 자궁경부에서는 높은 Dice 점수를 기록했으나, 심장의 복잡한 해부학적 구조로 인해 다중 클래스 분할 성능은 다소 저하되었습니다.
  • 회귀: 랜드마크 예측 시 정규화된 좌표에서 기하학적 정밀도 (Geometric Fidelity) 가 일부 제한되는 경향이 관찰되었습니다.
• Ablation Study: Qwen3-VL-8B 백본이 Qwen2.5-VL-7B 보다 일관되게 우수한 성능을 보였으며, 토큰 피라미드와 FPN 융합이 밀집 예측 성능 향상에 결정적인 역할을 함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 범용성 확보: 초음파 분석의 핵심 과제인 '도메인 간 일반화'와 '다중 태스크 처리'를 하나의 모델로 해결하는 데 성공했습니다.
• 실용성: 모델이 최적화가 용이하고 다양한 초음파 분석 작업에 적응 가능하도록 설계되어, 실제 임상 환경에서의 배포 가능성을 높였습니다.
• 한계 및 향후 과제: 공유 백본 사용으로 인한 태스크 간 부정적 전이 (Negative Transfer) 가능성, 매우 작거나 모호한 대상에 대한 탐지 민감도 부족, 고정된 해상도 리사이징으로 인한 기하학적 세부 정보 손실 등의 한계가 존재합니다. 향후 태스크 디커플링 (Adapter 등), 스케일 인식 탐지 메커니즘, 해상도 인식 전처리 등을 통해 개선할 계획입니다.

이 논문은 초음파 영상 분석 분야에서 파운데이션 모델을 활용한 통합 다중 태스크 학습의 새로운 기준 (Baseline) 을 제시하며, 다양한 임상 시나리오에 적용 가능한 강력한 AI 솔루션의 가능성을 입증했습니다.