Prompting with the human-touch: evaluating model-sensitivity of foundation models for musculoskeletal CT segmentation

본 논문은 팔, 어깨, 고관절, 하퇴부 등 네 가지 해부학적 부위의 골격 및 임플란트 분할을 위해 11 개의 프롬프트 기반 기초 모델을 평가한 결과, 모델 간 성능 차이가 크고 인간이 입력한 프롬프트에서는 이상적인 지시보다 성능이 저하되며 모델이 프롬프트 변화에 민감하다는 점을 밝혔습니다.

핵심

🍳 비유: "완벽한 레시피 vs. 실제 요리사"

이 연구는 **AI(요리사)**와 **의사(손님)**의 관계를 다룹니다.

1. 기존의 문제 (완벽한 레시피):
   그동안 AI 를 평가할 때는 컴퓨터가 자동으로 "정확한 위치"를 알려주는 **완벽한 레시피 (Reference Prompts)**를 사용했습니다. 마치 "소금 3g, 설탕 5g"처럼 숫자가 딱 정해진 상태죠. 이 상태에서는 AI 가 아주 훌륭하게 요리를 해냈습니다.

2. 실제 상황 (요리사의 손맛):
   하지만 실제 병원에서는 AI 가 스스로 정답을 알 수 없습니다. 의사가 CT 스캔을 보며 **"여기 뼈가 보이니 이 부분을 잘라줘"**라고 손가락으로 가리키거나 (점), 사각형을 그어야 (박스) 합니다. 이때 의사의 손은 떨릴 수도 있고, 사람마다 보는 기준이 다를 수 있습니다.

   • 질문: "완벽한 레시피로 요리한 AI 가, 실제로 의사가 손으로 지시했을 때도 똑같이 잘할까?"

🔍 연구가 찾아낸 5 가지 놀라운 사실

연구진은 11 가지 최신 AI 모델 (Foundation Models) 을 불러와서 4 가지 부위 (손목, 어깨, 엉덩이, 종아리) 의 뼈와 인공 관절을 분할하는 실험을 했습니다.

1. AI 들은 모두 다릅니다 (모델 간 차이)

모든 AI 가 똑같이 잘하는 게 아닙니다. 어떤 AI 는 손목 뼈는 잘 찾지만, 엉덩이 인공 관절은 엉망으로 그립니다. 마치 요리사마다 특기가 다르듯, 어떤 AI 는 2 차원 (평면) 작업에, 어떤 AI 는 3 차원 (입체) 작업에 더 능숙합니다.

2. "이상적인" 점수는 속임수일 수 있습니다

컴퓨터가 만든 완벽한 지시 (Reference Prompts) 로는 AI 가 90 점 이상을 받지만, 실제 의사가 손으로 지시하면 점수가 뚝 떨어집니다.

• 비유: "자동 조종 장치로 비행하면 100 점이지만, 사람이 직접 조종하면 80 점이다"라는 뜻입니다. 기존 연구들이 AI 성능을 너무 좋게 과장했을 가능성이 큽니다.

3. 부위마다 난이도가 다릅니다

• 쉬운 부위 (손목 뼈): 둥글고 작아서 의사가 지시하기 쉽습니다. AI 도 잘 따라갑니다.
• 어려운 부위 (골반, 인공 관절): 모양이 복잡하고 금속 재질이라 CT 화상이 흐릿합니다. 의사가 지시할 때 손이 조금만 흔들려도 AI 는 엉뚱한 곳을 잘라냅니다.

4. AI 는 "지시"에 매우 민감합니다 (민감도 테스트)

이 연구의 가장 중요한 발견입니다. 의사의 손가락이 1 밀리미터만 움직여도, AI 가 그리는 그림이 크게 달라질 수 있습니다.

• 비유: "나침반이 아주 작은 자석에도 반응하듯, AI 는 의사의 지시 위치가 조금만 달라져도 완전히 다른 뼈를 잘라냅니다."
• 일부 AI 는 같은 의사가 두 번 지시해도 비슷하게 잘 그렸지만 (내부 일관성), 서로 다른 두 의사가 지시하면 결과가 완전히 달라졌습니다 (외부 일관성 부족).

5. 최고의 AI 는?

• 2 차원 (평면) 작업: SAM2.1 이 가장 잘했습니다.
• 3 차원 (입체) 작업: Med-SAM2 와 nnInteractive 가 상대적으로 나았습니다.
• 특히 nnInteractive 는 의사의 지시가 조금씩 달라져도 결과가 크게 흔들리지 않는 가장 튼튼한 AI로 평가받았습니다.

💡 결론: "AI 를 믿기 전에, 의사의 손도 믿어야 합니다"

이 논문은 우리에게 중요한 메시지를 줍니다.

"컴퓨터 시뮬레이션에서 AI 가 100 점이라도, 실제 사람이 사용할 때는 점수가 떨어질 수 있습니다. 따라서 AI 를 개발할 때는 '정답'을 얼마나 잘 맞추는지보다, '사람의 실수나 차이'에 얼마나 강인한지 (민감하지 않은지) 를 함께 평가해야 합니다."

마치 자율주행 자동차를 개발할 때, "날씨가 좋은 날에 얼마나 잘 달리는지"만 보는 게 아니라, "비가 오고 운전자가 핸들을 살짝 틀 때에도 안전하게 멈출 수 있는지"를 검증해야 하는 것과 같은 이치입니다.

이 연구는 의료 AI 가 병원에 실제로 들어가기 전, 실제 인간의 손길을 고려한 더 현실적인 검증이 필요함을 강력하게 주장하고 있습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 자연 이미지 분할을 위해 도입된 프롬프트 가능한 파운데이션 모델 (Foundation Models, FMs, 예: SAM, SAM2 등) 이 의료 영상 분할 분야에서도 혁신을 일으키고 있습니다. 이러한 모델들은 점, 바운딩 박스, 스크리블 (scribble) 과 같은 간단한 상호작용을 통해 분할을 유도할 수 있습니다.
• 문제점:
  1. 비현실적인 평가: 기존 대부분의 연구는 참조 마스 (reference mask) 에서 알고리즘적으로 추출한 "이상적인 (ideal)" 프롬프트를 사용하여 모델을 평가합니다. 이는 실제 인간이 입력하는 프롬프트의 변이성 (variability) 을 고려하지 못합니다.
  2. 모델 선택의 어려움: 다양한 데이터셋, 지표, 비교 모델로 인해 평가 기준이 불일치하여 특정 임상 작업에 가장 적합한 모델을 선택하기 어렵습니다.
  3. 인간 입력에 대한 민감도 부재: 실제 임상 환경에서는 전문가의 숙련도나 입력 위치의 미세한 차이가 분할 결과에 큰 영향을 미칠 수 있으나, 이를 정량화한 연구는 부족합니다.

2. 연구 방법론 (Methodology)

이 연구는 **4 가지 해부학적 부위 (손목, 어깨, 엉덩이, 하퇴부)**의 근골격계 (MSK) CT 스캔을 대상으로 11 개의 프롬프트 가능한 파운데이션 모델을 평가했습니다.

• 데이터셋:
  • 비공개 데이터: 암스테르담 UMC 의 정형외과 및 스포츠 의학 부서에서 수집한 CT 스캔 (손목, 어깨, 하퇴부).
  • 공개 데이터: TotalSegmentator 테스트 세트에서 추출한 엉덩이 (Hip) 데이터.
  • 데이터 구성: 총 49 개 CT 스캔, 404 개의 축면 (axial) 슬라이스, 18 개 클래스 레이블.
• 관찰자 연구 (Observer Study):
  • 20 명의 의학 학생이 참여하여 각 뼈 구조에 대해 바운딩 박스와 중심점 (center point) 을 직접 주석 (annotation) 했습니다.
  • 목표: 인간이 생성한 프롬프트의 정확도, 일관성 (내부/외부 평가자 간), 그리고 모델에 대한 민감도를 분석하기 위함.
• 평가 전략:
  1. 2 단계 평가: 먼저 11 개 모델을 "이상적인" 프롬프트로 테스트하여 파레토 최적 (Pareto-optimal, 성능과 파라미터 효율성의 균형) 모델을 선정.
  2. 인간 프롬프트 평가: 선정된 최상위 모델에 대해 인간이 입력한 프롬프트를 사용하여 분할 성능과 일관성을 재평가.
  3. 민감도 분석: 프롬프트의 변이성 (위치 오차, IoU 차이) 과 분할 결과의 일관성 (DSC, NSD, HD95) 간의 상관관계를 분석하여 모델의 민감도를 정량화.
• 모델 범주: 2D/3D 예측, 자연 이미지/의료 이미지 학습 데이터, 프롬프트 유형 (박스, 점, 조합) 에 따라 분류.

3. 주요 기여 (Key Contributions)

1. 인간 프롬프트 변이성 정량화: 이상적인 프롬프트와 인간 프롬프트 간의 성능 차이를 최초로 체계적으로 분석했습니다.
2. 파레토 최적 모델 선정: 11 개 모델 중 2D 및 3D 영역에서 가장 효율적인 모델들을 선별했습니다.
3. 모델 민감도 메트릭 제안: 단순한 분할 정확도뿐만 아니라, **입력 프롬프트의 작은 변화에 대한 모델의 민감도 (robustness)**를 핵심 평가 지표로 제안했습니다.
4. 오픈 소스: 프롬프트 추출 및 모델 추론을 위한 코드베이스를 공개했습니다.

4. 주요 결과 (Results)

A. 인간 프롬프트 분석

• 정확도: 인간이 입력한 바운딩 박스와 중심점은 참조 프롬프트와 비교해 상당한 오차를 보였습니다 (중심점 평균 오차 1.50mm, 박스 IoU 90.56%).
• 일관성: 내부 평가자 (intra-rater) 간 일관성이 외부 평가자 (inter-rater) 간 일관성보다 높았으나, 해부학적 구조가 복잡할수록 (골반, 경골, 임플란트) 일관성이 크게 떨어졌습니다. 반면 손목 뼈와 같은 단순 구조는 일관성이 높았습니다.
• 시간: 바운딩 박스 주석에 평균 11.37 초, 중심점에 4.22 초가 소요되었습니다.

B. 분할 성능 (참조 프롬프트 vs 인간 프롬프트)

• 성능 저하: 인간 프롬프트를 사용했을 때 모든 모델에서 분할 성능이 통계적으로 유의미하게 감소했습니다.
  • 2D 모델: DSC 약 2.07% 감소.
  • 3D 모델: DSC 약 1.06% 감소.
  • 의미: 기존 연구에서 보고된 "이상적인" 프롬프트 기반 성능은 실제 인간이 사용하는 환경에서의 성능을 과대평가할 수 있음을 시사합니다.

C. 모델별 성능 및 민감도

• 최상위 모델 (Pareto-optimal):
  • 2D: SAM2.1 (자연 이미지 학습), Med-SAM2 (의료 이미지 학습) 등이 우수했습니다.
  • 3D: Med-SAM2, nnInteractive 가 가장 좋은 성능을 보였습니다.
• 민감도 (Robustness):
  • 모든 2D 모델과 박스 프롬프트가 적용된 3D 모델은 프롬프트 변이에 대해 민감하게 반응했습니다.
  • 예외: nnInteractive (조합 프롬프트) 와 SAM2.1 T (점 프롬프트) 는 내부 평가자 변이에는 강건했으나, 외부 평가자 (inter-rater) 간의 큰 변이에는 여전히 민감했습니다.
  • 결론: 현재까지 테스트된 모델 중 인간 입력의 큰 변이에 완전히 강건한 (robust) 모델은 존재하지 않았습니다.

D. 분할 오류 유형

• 해부학적 모호성: 피질골과 해면골의 구분이 모호하여 전체 뼈 부피를 분할하는 데 실패.
• 과분할 (Over-segmentation): 3D 모델에서 슬라이스 간 정보 전파 시 오류가 증폭되어 인접 구조물까지 분할됨.
• 과소분할 (Under-segmentation): 강도가 약하거나 변동이 큰 영역에서 분할이 조기 종료됨.

5. 의의 및 결론 (Significance & Conclusion)

• 임상 적용의 현실적 장벽: 파운데이션 모델의 이론적 잠재력은 높지만, 실제 임상 환경 (인간 주도) 에서는 프롬프트 입력의 불확실성으로 인해 성능이 크게 저하될 수 있음을 입증했습니다.
• 새로운 평가 기준의 필요성: 모델 개발 및 평가 시 단순한 분할 정확도 (DSC 등) 에 더해, **프롬프트 변이에 대한 민감도 (Model Sensitivity)**를 필수적인 보조 지표로 포함해야 합니다.
• 향후 과제: 반복적 정교화 (iterative refinement) 워크플로우나 텍스트 프롬프트 (SAM3 등) 를 활용한 연구가 필요하며, 특히 복잡한 해부학적 구조와 임플란트가 포함된 경우에 대한 모델 강건성 향상이 시급합니다.

이 연구는 의료용 AI 모델이 실제 임상 현장에 도입되기 위해서는 "이상적인 데이터"가 아닌 "불완전한 인간 입력"을 견딜 수 있는 강건성을 갖추어야 함을 강력하게 주장합니다.