Comprehensive framework for evaluation of deep neural networks in detection and quantification of lymphoma from PET/CT images: clinical insights, pitfalls, and observer agreement analyses

기술 요약: 림프종 검출 및 정량화를 위한 딥 뉴럴 네트워크 평가의 포괄적 프레임워크

문제 정의
불소탈옥시글루코스(18F-FDG) PET/CT 영상으로부터 림프종을 자동 분할(segmentation)하는 것은 진단, 병기 결정 및 치료 반응 평가에 있어 매우 중요하다. 그러나 기존의 딥러닝 접근 방식은 다음과 같은 중대한 한계에 직면해 있다:

1. 일반화 능력의 부족: 외부 또는 분포 외(out-of-distribution, OOD) 데이터에 대해 모델을 평가한 연구가 거의 없어, 실제 임상 적용 가능성이 제한적이다.
2. 변동성 분석의 미흡: 내적 및 외적 관찰자 변동성(intra- and inter-observer variability) 분석이 드물며, 이로 인해 분할 작업 자체의 난이도와 인간 수행 능력의 기준점이 모호해진다.
3. 전역적 지표에 대한 과도한 의존: 대부분의 연구가 Dice 유사도 계수(DSC)와 같은 전역적 중첩 지표를 우선시하며, 이는 병변 수준의 검출 실패를 은폐하고 총 대사 종양 부피(TMTV) 및 총 병변 당 글리코스 함량(TLG)과 같이 임상적으로 중요한 지표를 간과할 수 있다.
4. 작은 데이터셋: 기존 연구들은 종종 100건 미만의 작은 데이터셋에 의존하며, 병변 측정값의 분포에 대한 투명성이 부족하다.

방법론
저자들은 네 가지 코호트에 걸친 611건의 PET/CT 케이스를 포함하는 대규모 다기관 데이터셋을 활용하여 임상적으로 유의미한 평가 프레임워크를 제안한다:

• 내부 코호트: DLBCL-BCCV (107 스캔), PMBCL-BCCV (139 스캔), DLBCL-SMHS (220 스캔).
• 외부 코호트: 다른 센터 및 스캐너 제조사로부터 가져온 AutoPET 림프종 (145 스캔).

정답(Ground Truth, GT): 주석(Annotation) 작업은 반자동 도구를 사용하여 핵의학 전문의들에 의해 수행되었다. 내적 및 외적 관찰자 변동성은 특정 하위 집합의 재분할 및 합의 생성(STALPE)을 통해 평가되었다.

평가된 모델: 네 가지 최첨단 딥 세그멘테이션 네트워크를 학습시키고 비교하였다:

1. ResUNet (3D CNN)
2. SegResNet (3D CNN, HECKTOR 2022 우승 모델)
3. DynUNet (3D 풀 해상도 nnUNet 구현체)
4. SwinUNETR (3D 트랜스포머 기반)

평가 프레임워크:
표준 DSC를 넘어, 본 연구는 다각적인 평가 전략을 도입한다:

• 체적 지표: 위양성 부피(FPV) 및 위음성 부피(FNV).
• 검출 기준: 세 가지 병변당 기준을 정의하였다:
  • 기준 1 (약함): 모든 복셀 중첩 존재 (병변 $G_l \cap P_{l'} > 0$ 이면 TP).
  • 기준 2 (강함): IoU(Intersection-over-Union) > 0.5.
  • 기준 3 (제안됨): 병변 내에서 최대 표준 섭취 계수($SUV_{max}$)를 갖는 복셀 검출.
• 임상 측정치 재현성: 여섯 가지 임상 관련 지표($SUV_{mean}$, $SUV_{max}$, 병변 개수($L$), TMTV, TLG, 병변 확산($D_{max}$))에 대한 등가성 검정(TOST) 및 Bland-Altman 분석.
• 층화 분석: GT 병변 측정값(예: 낮은 vs 높은 $SUV_{mean}$, 작은 vs 큰 TMTV)에 따른 성능 분석.

주요 결과

• 모델 성능: SegResNet이 가장 높은 중앙값 DSC(내부 0.76, 외부 0.68)와 가장 낮은 FPV를 달 기록했다. ResUNet은 특정 내부 코호트에서 경쟁력 있는 성능을 보였다. SwinUNETR은 내부 데이터셋에서 가장 좋은 중앙값 FNV를 달성했다.
• 일반화 능력: 모든 모델에서 외부 OOD 데이터셋에 대한 성능 저하가 나타났으며, 이는 도메인 시프트(domain shift)의 어려움을 확인시켜 준다.
• 병변 특성: 네트워크는 대사적으로 활발한 큰 병변(높은 $SUV_{mean}$, 높은 TMTV/TLG)에서 가장 잘 작동했다. 성능은 작고 희미한 병변(측정치의 하위 20백분위수 이하)에서 정체되거나 하락했다.
• 관찰자 변동성:
  • 내적 관찰자 일치도(전문의 3)는 네트워크 성능과 유사했다: 두 경우 모두 작고 희미한 병변(낮은 TMTV/TLG)에서 어려움을 겪었으나, 큰 병변에서는 일관성을 보였다.
  • 외적 관찰자 일치도(전문의 1 & 2)는 병변 측정치에 대해 높은 상관관계(ICC > 0.93)를 보였으나, 분할 DSC는 특히 어려운 사례에서 크게 변동했다.
• 검출 기준:
  • 기준 1은 가장 높은 민감도를 보였으나 위양성이 높았다.
  • 기준 2 (IoU > 0.5)는 네트워크와 전문의 모두에게서 희미한 병변에 대한 낮은 민감도를 보였다.
  • 기준 3 ($SUV_{max}$ 검출)은 기준 2에 비해 병변 국소화에 있어 우수한 민감도를 입증하였으며, 이는 작은 병변에서도 저해상도 PET에서 전체 경계를 묘사하는 것보다 대사적 "핫스팟"을 식별하는 것이 더 견고함을 시사한다.
• 임상 측정치 재현성: 높은 DSC에도 불구하고, 네트워크는 일반적으로 $SUV_{max}$ 및 TMTV에 대해 등가성(±20% 이내)을 달성하는 데 실패했으며, 특히 외부 테스트에서 그러했다. 이는 높은 공간적 중첩이 정확한 정량적 바이오마커 추출을 보장하지 않음을 나타낸다.

의의 및 주장
본 논문은 자신의 주요 기여가 단순한 개념 증명용 DSC 지표를 넘어선 포괄적이고 임상적으로 유의미한 벤치마킹 프레임워크라고 주장한다. 인간 관찰자의 변동성에 대비하여 네트워크 성능을 맥락화하고 특정 병변 특성에 따라 성능을 분석함으로써, 본 연구는 다음을 수행한다:

1. 한계점 강조: 현재의 모델들이 큰 병변에는 효과적이지만, "롱 테일(long tail)"에 해당하는 작고 희미한 병변에서 고전하며, 정밀한 임상 의사결정에 필요한 정량적 바이마커(SUV, TMTV)를 일관되게 재현하는 데 실패함을 입증한다.
2. 인간 기준점 검증: 작은/희미한 병변의 분할이 어렵다는 점은 영상 기법 자체의 특성(부분 용적 효과, 노이즈)에서 기인하며, 이는 AI와 인간 전문가 모두에게 유사하게 영향을 미친다는 것을 보여준다.
3. 더 나은 지표 제안: 기준 3과 병변 측정치 층화 분석을 필수적인 도구로 도입하며, 저해상도 PET에서는 전체 경계를 완벽하게 묘사하는 것보다 $SUV_{max}$ 복셀을 검출하는 것이 임상적으로 더 실행 가능한 정보가 될 수 있음을 주장한다.
4. 투명성 증진: 재현성을 높이기 위해 공개 코드 저장소와 상세한 데이터셋 특성 정보를 제공하여, 조직학적 차이에 구애받지 않는 강건한 림프종 분할에 대한 향후 연구를 지원한다.

저자들은 딥러닝이 림프종 분할 자동화에 유망한 가능성을 제공하지만, 현재의 모델들이 임상 의사결정 지원을 위해 완전히 신뢰받기 위해서는—특히 작은 병변을 처리하고 정량적 충실도를 유지하는 측면에서—추가적인 개발이 필요하다고 결론짓는다.