Radiomics-Integrated Deep Learning with Hierarchical Loss for Osteosarcoma Histology Classification

기술 요약: 골육종 조직학 분류를 위한 계층적 손실 기반 라디오믹스 통합 딥러닝

문제 정의
골육종(Osteosarcoma, OS)은 공격적인 일차성 골 종양으로, 선행 화학요법 후 생존 가능한 종양 영역과 비생존 영역을 정확하게 평가하는 것은 예후 및 치료 계획 수립에 매우 중요합니다. 조직병리학적 슬라이드의 수동 평가는 노동 집약적이고 주관적이며, 관찰자 간 변동성에 취약합니다. 최근의 딥러닝 접근 방식들이 괴사 정량화를 자동화하려고 시도했으나, 기존 연구들은 타일 수준(tile-level)의 일반화 성능이 환자 수준(patient-level) 테스트에서는 유지되지 못하는 문제를 보고해 왔습니다. 이러한 불일치는 무작위 타일 수준 분할(동일 환자의 여러 타일이 훈련 및 테스트 세트에 모두 포함되는 경우)로 인한 데이터 누수와, 질병의 임상적 계층 구조를 고려하지 못한 "평면적(flat)" 다중 클래스 모델에서 기인합니다. 구체적으로, 표준 3클래스 분류(비종양, 비생존 종양, 생존 종양)는 이러한 하위 유형들의 뚜렷한 임상적 중요성과 질병에 내재된 다양한 클래스 유병률을 간과하는 경우가 많습니다.

방법론
저자들은 모델 아키텍처를 임상적 추론과 일치시키도록 설계된 다중 모달 계층 학습 프레임워크를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어집니다:

1. 다중 모달 특징 융합 (Multimodal Feature Fusion): 본 프레임워크는 딥러닝 이미지 특징과 수작업으로 추출된 라디오믹스 기술자(descriptors)를 통합합니다.

   • 이미지 인코더($f_{img}$)는 RGB 조직 타일을 처리하며, 라디오믹스 인코더($f_{rad}$)는 PyRadiomics 라이브러리를 통해 추출된 29개의 1차 및 2D 형상 특징 벡터를 처리합니다.
   • 이러한 모달리티들은 적응형 어텐션 게이팅 메커니즘을 사용하여 융합됩니다. 소프트맥스 게이트는 어텐션 가중치($\alpha_{img}, \alpha_{rad}$)를 계산하여 이미지와 라디오믹스 임베딩의 가중 결합을 생성하며, 이를 통해 모델이 주어진 샘플에 대해 가장 정보가 풍부한 모달리티를 동적으로 우선순위화할 수 있도록 합니다.

2. 계층적 작업 정식화 (Hierarchical Task Formulation): 문제를 평면적인 3클래스 분류 대신, 두 개의 연관된 이진 작업으로 분해합니다:

   • 작업 A (조대 분류, Coarse): 비종양 vs 종양(생존 + 비생존)을 구분합니다.
   • 작업 B (미세 분류, Fine): 비생존 종양 vs 생존 종양을 구분합니다(작업 A에서 종양으로 식별된 샘플에 대해서만 적용).
   • 최종 3방향 확률 분포는 두 이진 작업의 확률을 곱하여 도출되며, 이는 출력이 병리학적 계층 구조를 준수하도록 보장합니다.

3. 불확실성 가중 계층적 손실 (Uncertainty-Weighted Hierarchical Loss): 두 작업을 동시에 최적화하기 위해, 저자들은 호모스케다스틱 불확실성 가중화 프레임워크(Kendall 등)를 채택합니다.

   • 학습 가능한 스칼라 파라미터($\lambda_A, \lambda_B$)는 각 작업의 로그 분산(불확실성)을 나타냅니다.
   • 결합 목적 함수는 두 작업의 가중 교차 엔트로피 손실을 결합하며, 여기서 높은 학습된 불확실성을 가진 작업은 더 낮은 유효 가중치를 받습니다. 이를 통해 모델은 수동 하이퍼파라미터 튜닝 없이 조대 분류 작업과 미세 분류 작업 사이의 학습 신호를 적응적으로 균형 있게 조절할 수 있습니다.

주요 기여

• 환자 수준 일반화: 본 연구는 엄격한 환자 수준 분할을 사용하여 훈련 및 테스트를 수행함으로써 데이터 누수 문제를 해결하였으며, 이를 통해 이전의 타일 수준 무작위 분할보다 더 현실적인 모델 일반화 성능 평가를 제공합니다.
• 다중 모달 통합: 수작업 라디오믹스 특징(특히 형상 및 강도 기술자)을 추가적인 입력으로 포함하는 것이 딥러닝으로부터 유도된 표현과 마찬가지로 분류 성능을 유의미하게 향전시키고 해석 가능성을 높인다는 점을 입증했습니다. 이는 해당 특징들이 딥러닝에 사용된 동일한 이미지에서 유도되었음에도 불구하고 그러합니다.
• 계층적 손실 최적화: 학습 가능한 불확실성 가중치를 갖춘 구조화된 2헤드 손실 함수를 도입했습니다. 이 접근 방식은 종양 존재 여부와 생존 능력 사이의 의존성을 명시적으로 모델링함으로써 평면적 다중 클래스 베이스라인보다 우수한 성능을 보입니다.

실험 결과
프레임워크는 비종양, 비생존 종양, 생존 종양 범주로 주석이 달린 1,144개의 H&E 염색 타일(1995~2015년 데이터)로 구성된 TCIA 골육종 종양 평가 데이터셋에서 평가되었습니다.

• 성능: 제안된 구성(InceptionV3 백본 + 계층적 손실 + 라디오믹스)은 이 데이터셋에서 최첨단(SOTA) 성능을 달いました.
  • 전체 정확도(Overall Accuracy): 0.86 ± 0.01 (베이스라인 3클래스 InceptionV3의 0.73 대비).
  • Macro-F1: 0.86 ± 0.01.
  • OvR AUC: 0.96 ± 0.00.
• 어블레이션 연구 (Ablation Studies):
  • 표준 InceptionV3에 라디오믹스 특징을 추가했을 때 Macro-F1이 0.74에서 0.80으로 향상되었습니다.
  • InceptionV3에 계층적 손실을 추가했을 때 Macro-F1이 0.73에서 0.75로 향상되었습니다.
  • 두 가지를 모두 결합했을 때 가장 높은 이득을 얻었습니다.
• 클래스별 개선 사항: 전체 모델은 까다로운 "비생존 종양" 클래스의 인식 능력을 크게 향상시켰습니다. 90% 특이도에서의 민감도(Sen@Spe90)는 비생존 종양의 경우 0.69(베이스라인)에서 0.83으로 증가했습니다. 또한 모델은 비종양(Sen@Spe90 0.92) 및 생존 종양(Sen@Spe90 0.95) 클래스에서도 높은 성능을 유지했습니다.

의의 및 주장
저자들은 본 연구가 개방형 TCIA 데이터셋에 대한 골육종 조직학 분류의 새로운 최첨단 성능 벤치마크를 설정했다고 주장합니다. 저자들은 라디오믹스 통합이 명시적인 형상 기술자를 통해 내재적 해석 가능성을 제공하며, 이는 딥 네트워크의 암묵적 표현을 보완한다고 주장합니다. 또한, 계층적 정식화는 모델의 결정 과정을 종양 생존력의 진행 과정과 일치시킴으로써 임상적으로 의미 있는 추론을 지원합니다. 연구는 계층적 감독과 다중 모달 융합을 결합하는 것이 모든 임상적으로 관련 있는 조직 유형, 특히 분류하기 어려운 비생존 종양 하위 유형에 대한 변별력을 높이는 데 필수적이라고 결론짓습니다. 코드와 훈련된 모델은 커뮤니티에 공개됩니다.