In search of truth: Evaluating concordance of AI-based anatomy segmentation models

이 논문은 아노테이션이 없는 데이터셋에서 AI 해부학 분할 모델 간의 일관성을 평가하고 모델 간 불일치를 식별하기 위해 출력을 표준화된 표현으로 통합하고 상호작용형 시각화 도구를 제공하는 실용적 프레임워크를 제안하며, NLST CT 스캔을 활용한 6 가지 오픈소스 모델 비교를 통해 불일치 사례를 플래그하고 전문가 검토가 필요한 사례를 우선순위화하는 데 그 유용성을 입증합니다.

핵심

이 논문은 **"인공지능 (AI) 이 우리 몸의 CT 스캔 사진을 보고 장기들을 자동으로 그리는 기술"**을 비교 평가한 연구입니다.

마치 **"여러 명의 그림 실력자가 같은 대상을 그렸을 때, 누가 가장 잘 그렸는지 확인하는 것이 아니라, 누가 서로 다른 그림을 그려서 실수가 의심되는 부분을 찾아내는 과정"**이라고 생각하시면 이해하기 쉽습니다.

이 연구의 핵심 내용을 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제 상황: "정답지 없는 시험"

우리가 AI 모델 (그림 실력자) 들을 평가하려면 보통 '정답 (Ground Truth)'이 있어야 합니다. 하지만 이 연구에 사용된 데이터 (NLST) 는 수만 명의 폐암 검진 사진인데, 어떤 장기들이 어디에 있는지 정확히 표시된 '정답지'가 없습니다.

• 비유: 6 명의 요리사가 같은 재료를 가지고 요리를 했는데, 정답 레시피가 없습니다. "어떤 요리사가 가장 맛있는 요리를 했는지" 어떻게 알 수 있을까요?
• 해결책: 연구진은 "정답이 없다면, 6 명이 그리는 것을 비교해서 대다수가 일치하는 부분을 '일시적인 합의 (Consensus)'로 간주하고, 그로부터 벗어난 이상한 부분을 찾아내자"는 아이디어를 냈습니다.

2. 방법론: "표준화된 언어로 번역하기"

각 AI 모델은 장기를 부르는 이름이나 색깔을 제각기 다르게 썼습니다. 어떤 모델은 '간'을 'Liver'라고 하고, 다른 모델은 '간장'이라고 하거나 색깔도 다릅니다. 이를 비교하려면 통일된 언어가 필요합니다.

• 비유: 6 명의 요리사가 각자 다른 언어로 메뉴판을 썼다면 비교가 안 됩니다. 연구진은 모든 메뉴를 **"국제 공통 언어 (SNOMED-CT)"**로 번역하고, 모든 요리를 **"표준 접시 (DICOM SEG 포맷)"**에 담았습니다.
• 결과: 이제 모든 모델의 결과를 같은 기준으로 볼 수 있게 되었습니다.

3. 도구: "비교를 돕는 마법 도구들"

연구진은 이 비교를 쉽게 하기 위해 두 가지 도구를 만들었습니다.

1. 대화형 차트 (Interactive Plots):
   • 비유: 6 명의 요리사들이 18 가지 요리를 24 가지 재료로 만들었으니 데이터가 엄청나게 많습니다. 연구진은 이 데이터를 **한눈에 볼 수 있는 '스마트한 그래프'**로 만들었습니다. 여기서 "어떤 요리사가 이 재료를 어떻게 그렸는지"를 점으로 찍어두고, **다른 요리사와 다르게 그린 부분 (불일치)**을 클릭하면 바로 그 요리를 자세히 볼 수 있게 했습니다.
2. 3D Slicer 확장 프로그램 (CrossSegmentationExplorer):
   • 비유: 이 도구는 6 명의 요리사가 그린 그림을 나란히 놓고, 한 장씩 겹쳐보며 비교할 수 있는 '동시 분할 화면 (Split-screen viewer)' 같은 것입니다. 한 장을 클릭하면 6 가지 그림이 동시에 나란히 보여서, "여기서 요리사 A 는 고기를 잘라냈는데, 요리사 B 는 뼈까지 잘라냈네?" 하는 의심스러운 차이점을 바로 찾아낼 수 있게 해줍니다.

4. 발견한 사실: "누가 잘하고 누가 실수했나?"

이 방법으로 6 가지 AI 모델 (TotalSegmentator, Auto3DSeg 등) 을 비교한 결과 놀라운 점들이 발견되었습니다.

• 합의된 분야 (폐):
  • 비유: 모든 요리사가 **생선 (폐)**을 다듬는 것은 매우 잘했습니다. 거의 모든 모델이 폐의 모양을 거의 똑같이 그렸습니다.
  • 중요한 점: 하지만 모든 모델이 같은 그림을 그렸다고 해서 그것이 반드시 '정답'인 것은 아닙니다. 단순히 그들이 같은 방식으로 배웠거나 같은 실수를 반복했을 수도 있기 때문입니다. 합의 (Consensus) 는 정답을 의미하지 않으며, 단지 '의견이 일치함'을 의미할 뿐입니다.
• 불일치한 분야 (뼈와 갈비뼈):
  • 비유: 갈비뼈와 척추를 그릴 때는 4 개의 모델이 큰 실수를 하거나 서로 다른 그림을 그렸습니다.
  • 실수 내용: 갈비뼈와 척추가 연결되는 부분을 제대로 그리지 못하거나, 옆의 뼈까지 잘못 포함시키는 등 "뼈가 끊어지거나 붙어 있는" 엉뚱한 그림을 그렸습니다.
  • 원인: 이 4 개의 모델은 **같은 '교과서 (학습 데이터)'**를 보고 배웠기 때문에, 그 교과서에 실수가 있으면 모두 똑같은 실수를 반복한 것입니다.
• 잘한 모델:
  • 반면, MOOSE와 CADS라는 두 모델은 다른 교과서를 사용했는지, 뼈와 갈비뼈를 훨씬 정확하게 그렸습니다.

5. 결론: "왜 이 연구가 중요한가?"

이 연구는 **"정답이 없는 상황에서도, 여러 AI 의 '합의'를 기준으로 불일치를 찾아내어 인간 전문가가 먼저 확인해야 할 부분을 선정할 수 있다"**는 것을 증명했습니다.

• 의미: 이제 의료진이나 연구자들은 "어떤 AI 가 가장 똑똑한지"를 가려내려고 애쓸 필요가 없습니다. 대신 이 연구에서 개발된 비교 도구와 방법을 사용하면, 새로운 AI 가 나오더라도 "이 AI 는 뼈를 그릴 때 다른 모델들과 의견이 다른가?"를 빠르게 체크하여, 의견이 다른 부분 (불일치) 을 인간 전문가가 우선적으로 검토할 수 있습니다.
• 미래: 이 도구를 통해 잘못된 AI 모델의 실수를 미리 발견하고, 중요한 부분만 인간이 확인하게 함으로써 수만 명의 환자 데이터를 분석하는 과정에서 실수가 퍼지는 것을 막을 수 있게 되었습니다.

한 줄 요약

**"정답지 없는 시험장에서, 6 명의 AI 학생들의 답안을 서로 비교하여 '대다수가 일치하는 부분'은 넘기고, '의견이 달라서 의심되는 부분'을 찾아내어 인간 전문가가 먼저 확인해야 할 우선순위를 정해준 연구"**입니다.

기술 요약

논문 요약: AI 기반 해부학적 분할 모델 간의 일치성 평가

1. 문제 제기 (Problem)

• 배경: 대규모 의료 영상 데이터셋 (예: NLST, TCGA 등) 에 대한 2 차 분석이 증가하고 있으며, 이를 위해 해부학적 구조의 자동 분할 (Segmentation) 이 필수적입니다.
• 도전 과제:
  • Ground Truth (정답) 부재: 대규모 공개 데이터셋에는 전문가가 직접 라벨링한 정답 (Ground Truth) 이 없어 AI 모델의 성능을 객관적으로 평가하기 어렵습니다.
  • 모델 간 비교의 어려움: 기능이 유사한 다양한 오픈소스 분할 모델 (TotalSegmentator, Auto3DSeg, MOOSE 등) 이 출시되었으나, 출력 형식 (NIfTI 등) 과 라벨 체계가 상이하여 직접적인 비교가 불가능합니다.
  • 수동 검사의 비실용성: 수천 개의 스캔에서 수백 개의 구조물을 전문가가 일일이 검토하는 것은 시간과 비용 면에서 비현실적입니다.
• 목표: Ground Truth 가 없는 환경에서 여러 AI 분할 모델 간의 일치성 (Concordance) 을 체계적으로 평가하고, 모델 간 불일치 (Disagreement) 가 발생하는 사례를 식별하여 전문가 검토를 우선순위화할 수 있는 프레임워크를 개발하는 것.

2. 방법론 (Methodology)

연구팀은 6 개의 오픈소스 모델 (TotalSegmentator 1.5/2.6, Auto3DSeg, MOOSE, MultiTalent, CADS) 을 NLST(국가 폐암 선별 시험) 데이터셋의 CT 스캔 18 개 (9 개 연구) 에 적용하고, 다음과 같은 4 단계 프레임워크를 구축했습니다.

1. 분할 결과의 표준화 (Harmonization):

   • 각 모델이 생성한 NIfTI 형식의 분할 결과를 DICOM SEG 표준 형식으로 변환했습니다.
   • SNOMED-CT 코딩 시스템을 사용하여 모델별 고유 라벨을 표준 해부학 용어로 매핑하고, DICOM 표준에 맞는 시각화 색상 (Color) 을 일관되게 할당했습니다.
   • 이를 통해 서로 다른 모델이 동일한 구조 (예: 폐, 척추) 를 어떻게 정의하는지 정량적으로 비교할 수 있는 기반을 마련했습니다.

2. 정량적 평가 (Quantitative Evaluation):

   • 컨센서스 (Consensus) 생성: 6 개 모델이 모두 해당 구조를 분할한 경우, 모든 모델의 분할 영역이 겹치는 부분 (Voxels) 을 '컨센서스'로 정의했습니다.
   • 지표 계산: 각 모델의 분할 결과와 컨센서스 간의 Dice Similarity Coefficient (DSC) 와 부피 일치도 (Volume Ratio) 를 계산했습니다.
   • 구조 선정: 6 개 모델 모두에서 분할된 24 개의 구조물 (폐엽, 심장, 늑골 3-6 번, 흉추 T2-T10, 흉골) 만을 최종 분석 대상으로 선정했습니다.

3. 시각화 및 인터랙티브 분석 도구 개발:

   • 상호작용형 산점도 (Interactive Scatterplots): 수천 개의 데이터 포인트 (DSC 및 부피 값) 를 시각화하여 이상치 (Outlier) 를 빠르게 식별할 수 있는 웹 기반 차트를 개발했습니다.
   • OHIF Viewer: 웹 브라우저 기반의 0-footprint 뷰어를 통해 개별 사례의 분할 결과를 즉시 확인하도록 연결했습니다.
   • 3D Slicer 확장 프로그램 (CrossSegmentationExplorer): 여러 모델의 분할 결과를 동기화된 2D/3D 뷰에서 나란히 비교할 수 있는 새로운 모듈을 개발하여, 구조별 상세 검사를 용이하게 했습니다.

4. 정성적 평가 (Qualitative Analysis):

   • 정량적 지표 (DSC < 90% 등) 에서 불일치가 큰 사례를 선별하여, 방사선 전문의 (R. Kikinis) 가 3D Slicer 를 통해 심층 검토하고 오류 원인을 분석했습니다.

3. 주요 기여 (Key Contributions)

• 표준화된 비교 프레임워크: Ground Truth 가 없는 대규모 데이터셋에서 모델 간 일치성을 평가하고 불일치 사례를 선별하기 위한 실용적인 워크플로우를 제시했습니다.
• 오픈소스 도구 개발:
  • DICOM SEG 변환 및 라벨 매핑 스크립트.
  • 3D Slicer용 CrossSegmentationExplorer 모듈 (다중 모델 비교용).
  • OHIF Viewer 연동 인터랙티브 시각화 도구.
• 공공 데이터셋 및 리소스 공유: 평가에 사용된 모든 데이터, 매핑 파일, 스크립트, 및 결과를 Imaging Data Commons (IDC) 를 통해 공개하여 재현성과 커뮤니티 활용을 장려했습니다.

4. 결과 (Results)

6 개 모델을 24 개 해부학적 구조물에 대해 비교한 결과는 다음과 같습니다.

• 폐 (Lungs): 모든 모델 간 높은 일치성을 보였습니다 (DSC > 95%, 부피 일치 > 90%).
• 심장 (Heart):
  • CADS 모델은 심장을 단일 구조로 정의하는 반면, 다른 모델들은 방 (atria) 과 심실 (ventricles) 을 세분화하거나 혈관을 포함하는 등 정의가 달랐습니다.
  • CADS 를 제외하면 나머지 모델 간 DSC 가 95% 이상으로 높은 일치를 보였습니다.
• 늑골 (Ribs) 및 척추 (Vertebrae):
  • TotalSegmentator 1.5/2.6, Auto3DSeg, MultiTalent (모두 TotalSegmentator 학습 데이터 기반) 에서 심각한 오류가 발견되었습니다.
  • 오류 유형: 인접한 늑골이나 척추를 포함하거나 (Inclusion), 여러 척추를 하나의 레이블로 병합 (Merging) 하는 오류가 빈번했습니다.
  • MOOSE와 CADS는 이러한 오류가 없었으며, 특히 MOOSE 는 늑골 - 척추 관절 (costovertebral joints) 까지 포함하는 등 더 정확한 분할을 보여주었습니다.
  • 오류가 있는 4 개 모델을 제외하고 MOOSE 와 CADS 만 비교했을 때, 척추 분할 DSC 는 90% 이상으로 크게 개선되었습니다.
• 흉골 (Sternum): 모델 간 정의 차이 (예: xiphoid process 의 모양) 로 인해 중간 정도의 일치성을 보였으나, 큰 오류는 발견되지 않았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• Ground Truth 없는 평가의 가능성: 전문가 라벨링 없이도 모델 간 컨센서스와 정량적/정성적 분석을 결합하여 모델의 결함을 효과적으로 식별할 수 있음을 입증했습니다.
• 모델 적합성 평가 가이드: NLST 데이터셋과 같은 대규모 코호트 분석을 위해 MOOSE나 CADS와 같이 특정 구조 (척추, 늑골) 에서 더 견고한 성능을 보이는 모델을 선택하는 데 실질적인 지침을 제공합니다.
• 확장성: 개발된 프레임워크와 도구는 데이터셋과 모델에 구애받지 않으며, 향후 MRI 나 PET 등 다른 모달리티나 다른 대규모 데이터셋에도 적용 가능합니다.
• 향후 계획: 현재는 18 개 스캔에 국한된 proof-of-concept 연구이므로, 향후 NLST 전체 데이터셋으로 평가 범위를 확대하고 STAPLE(동시 정답 및 성능 추정) 같은 고급 컨센서스 알고리즘을 도입하여 일치성 기반 품질 평가 (concordance-based quality assessment) 의 정확도를 높일 예정입니다.

이 연구는 AI 의료 영상 모델의 신뢰성을 확보하고, 대규모 임상 데이터셋의 2 차 분석을 가속화하는 데 중요한 기술적 토대를 마련했다는 점에서 의의가 큽니다. 특히, 모델 간 일치성 분석은 의료 영상에서 품질 관리 (Quality Control) 를 위한 실현 가능하고 효과적인 전략으로, 연구자들이 불일치 사례를 식별하고 전문가 검토를 우선순위화할 수 있게 합니다.