기술 요약: 폐 결절 분할을 위한 인간과 AI의 협업 (Hi-Seg)

문제 정의

본 연구는 의료 영상 분야에서 강력한 인공지능(AI) 모델을 훈련시키는 데 있어 핵심적인 병목 현상인 고품질 분할 마스크의 부족과 전문 의료 주석가(annotator)의 제한된 가용성 문제를 다룹다. 딥러닝 모델과 Segment Anything Model(SAM)과 같은 파운데이션 모델이 분할 속도를 가속화했지만, 완전 자동화된 접근 방식은 실제 임상 환경에서의 일반화 능력에서 어려움을 겪고 있다. 구체적으로, 완전 자동화된 딥러닝 모델은 건강한 조직과 질감이 유사한 병변(예: 간유리 음영)을 구분하는 데 실패하는 경우가 많으며, SAM과 같은 파운데이션 모델은 프롬프트 품질에 매우 민밀하게 반응한다. 임상 현장에서 높은 SAM 성능을 위해 요구되는 이상적인 프롬프트(정답 마스크로부터 유도된 프롬프트)는 사용할 수 없으므로, 이는 심각한 성능 저하(예: 폐 결절에 대한 Dice 점수가 약 42%까지 하락)를 초도한다. 더욱이, AI에 대한 맹목적인 의존은 오해를 불러일으킬 수 있으므로 전문가의 검토가 필수적이지만, 이는 시간 소모적이고 비효율적이다. 핵심 과제는 전문 주석가의 부족을 수용하면서도 견고한 AI 훈련을 지원할 수 있는 고품질 병변 분할 마스크를 어떻게 신속하게 생성할 것인가 하는 점이다.

방법론

저자들은 폐 결절 분할을 위해 특별히 설계된, SAM을 기반으로 한 인간 참여형(human-in-the-loop) 분할 프레임워크인 Hi-Seg를 제안한다.

프레임워크 설계

Hi-Seg는 인간의 의미론적 추론과 반복적인 시행착오 학습을 SAM의 신속한 경계 묘사 능력과 통합한다. 워크플로우는 다음과 같이 작동한다:

1. 초기화: 주석가(시니어 방사선 전문의부터 비의료 인력까지)는 흉부 CT 스캔을 축상면(axial), 관상면(coronal), 시상면(sagittal)으로 관찰한다.
2. 프롬프팅: 주석가는 초기 프롬프트(결절 내부를 왼쪽 클릭)를 제공하여 후보 마스크를 생성한다.
3. 반복적 정교화: 마스크가 만족스럽지 않을 경우, 주석가는 추가 프롬프트를 통해 이를 정교화한다:
   • 왼쪽 클릭: 마스크에 영역을 추가한다 (결절이 과소 분할된 경우).
   • 오른쪽 클릭: 마스크에서 영역을 제거한다 (마스크가 배경으로 넘쳐흐르는 경우).
4. 피드백 루프: SAM은 새로운 프롬프트와 이전 예측을 바탕으로 마스크를 업데이트한다. 주석가는 피드백을 관찰하고, 어떤 프롬프트 배치가 고품질 마스크를 생성하는지 학습하며, 최소한의 상호작용으로 정확한 분할에 수렴하도록 점진적으로 전략을 정교화한다.
5. 기술적 최적화: 낮은 지연 시간을 보장하기 위해, Hi-Seg는 반복 과정 중 불필요한 계산을 피하기 위해 SAM의 Vision Transformer(ViT) 인코더에서 생성된 이미지 임베딩을 사전 계산하여 재사용한다.

실험 설정

• 데이터셋: 본 연구는 12개 센터의 환자 1,179명을 활용하였다.
  • 훈련/내부 검증: 공개 데이터셋인 LIDC-IDRI (환자 1,010명).
  • 외부 테스트: 단일 센터 코호트 (환자 904명) 및 다기관 코호트 (12개 기관의 환자 275명).
• 정답(Ground Truth): 마스크는 합의 투표 및 수동 정교화 과정을 포함한 표준화된 워크플로우를 따르는 숙련된 방사선 전문의에 의해 생성되었다.
• 참가자: 다양한 전문성을 가진 5명의 주석가를 모집하였다: 시니어 방사선 전문의(경력 12년) 1명, 주니어 의대생 1명, 그리고 1.5시간의 방사선학 교육을 받은 비의료인 주석가 3명.
• 비교 대상: Hi-Seg는 다음 모델들과 비교되었다:
  • 5가지 최첨단 딥러닝 모델 (U-Net, U-Net++, Attention U-Net, TransU-Net, nnU-Net).
  • 의사(pseudo)-인간 프롬프트(인간의 상호작용을 모사하기 위해 정답 마스크로부터 자동 생성된 프롬프트)를 사용한 13가지 변형 SAM 기반 모델 (SAM, HQ-SAM, MedSAM, MedSAM2 포함).
  • 프롬프트가 없는 SAM (프롬프트 없는 자동 분할).
  • 동일 참가자들에 의한 수동 묘사(manual delineation).

주요 기여

1. 인간 참여형(Human-in-the-Loop) 프레임워크: 정답으로부터 유도된 정적인 의사-인간 프롬프트에 의존하는 대신, 실제 인간의 상호작용 프롬프트와 반복적 피드백을 활용하는 Hi-Seg를 도입하였다.
2. 시행착오 학습 메커니즘: 주석가가 반복적인 상호작용을 통해 효과적인 프롬프트 전략을 빠르게 학습할 수 있음을 입증하여, 비전문가도 전문가 수준의 성능을 달주할 수 있음을 보여주었다.
3. 대규모 외부 검증: 다양한 임상 데이터셋과 주석가 배경에 걸친 협업적 인간-SAM 분할의 첫 대규모 외부 검증을 수행하였다.
4. 프롬프팅 전략의 절제 연구(Ablation): 인간의 프롬프팅, 반복적 상호작용, 그리고 피드백 기반 정교화가 분할 성능에 기여하는 바를 체계적으로 분리하여 분석하였다.

결과

• 성능 정확도: 모든 주석가 그룹에서 Hi-Seg는 약 **85%**의 평균 Dice 점수를 달성하였다 (단일 센터 데이터셋 84.47%, 다기관 데이터셋 87.00%).
  • 이는 5가지 딥러닝 모델보다 10~22% 더 높은 성능을 보였다.
  • 의사-인간 프롬프트를 사용한 13가지 SAM 변형 모델보다 1~29% 더 높은 성능을 보였다.
  • 가장 성능이 좋았던 의사-인간 모델(MedSAM2, 프롬프트 #4)은 약 83%의 Dice를 기록했으나, 여전히 Hi-Seg보다 열등했다.
• 전문성 독립성: Hi-Seg는 전문가와 비전문가 사이의 성능 격차를 크게 줄였다.
  • Hi-Seg를 사용한 비의료인 주석가는 주니어 의대생의 수동 성능과 대등한 정확도를 달성하였다.
  • Hi-Seg를 사용한 주니어 의대생은 시니어 방사선 전문의의 수동 성능과 대등한 정확도를 달성하였다.
  • 시니어 방사선 전문의조차 Hi-Seg를 사용할 때 수동 주석 대비 통계적으로 유의미한 향상(+1.43% Dice)을 보였다.
• 효율성:
  • Hi-Seg는 주니어 의대생과 비의료인 주석의 주석 시간을 약 30% 단축시켰다.
  • 시니어 방사선 전문의의 경우, 직접 묘사에서 프롬프트 정교화로의 인지적 전환과 전문가 수동 성능의 천장 효과(ceiling effect)로 인해 주석 시간이 약간 증가했다(+3.46%).
• 하위 그룹 분석: Hi-Seg는 다양한 결절 특성(크기, 밀도, 결절성 등)에 대해 견고한 성능을 보였다. 그러나 간유리 결절(ground-glass nodules)은 가장 까다로운 하위 그룹으로 나타났으며, 이 경우 완전 자동화 모델과 비의료인 주석가의 실패율이 높았다. 이는 복잡한 사례에서 전문가의 감독이 필요함을 시사한다.
• 절제 연구 결과: 본 연구는 성능 향상이 단순히 인간의 프롬프팅 때문이 아니라, 반복적이고 피드백 중심적인 워크플로우에서 비롯됨을 확인하였다. 프롬프트가 없는 SAM은 약 45%의 Dice를 기록했고, 일회성(one-shot) 인간 프롬프팅은 약 65%에 도달했으나, 전체 Hi-Seg 프레임워크(반복 + 피드백)는 약 85%를 달성하여 지속적인 오류 수정과 지식 축적의 가치를 입증하였다.

의의 및 주장

본 논문은 인간 참여형(human-in-the-loop) 분할이 파운데이션 모델을 일상적인 임상 실무에 통합하는 변혁적인 접근 방식이라고 주장한다. 주니어 수련의와 짧은 교육을 받은 비의료 인력이 AI와 효과적으로 협업할 수 있게 함으로써, Hi-Seg는 다음과 같은 경로를 제시한다:

• 임상의 업무량 감소: 주석 속도를 높이고 정확도를 개선함으로써 전문가에게도 효율성을 제공한다.
• 확장 가능한 크라우드소싱 가능: 구조화된 인간-AI 워크플로우 하에서 비전문가에 의한 대규모 의료 영상 주석을 용이하게 한다.
• 안전성 및 신뢰성 강화: AI의 속도와 인간의 의미론적 추론 및 맥락적 이해를 결합함으로써, 특히 완전 자동화 모델이 실패하는 복잡한 사례에 대한 대응력을 높인다.

저자들은 맹목적인 AI 의존은 오해의 소지가 있고 전문 주석가는 부족하지만, Hi-Seg와 같은 협업 프레임워크가 파운데이션 모델의 안전하고 효율적인 배포를 촉진하여 임상 워크플로우를 변화시키고 의료 접근성을 향상시킬 수 있다고 결론짓는다. 본 연구는 2D 슬라이스에 집중했다는 점, 인간 참가자 수가 상대적으로 적다는 점, 그리고 학습 상호작용의 단기적 성격 등을 한계점으로 인정하며, 향-후 연구에서 3D 상호작용 및 장기적인 학습 효과를 탐구할 것을 제안한다.