기술 요약: MEDIQA-CORE-Task-1 2026의 DS@GT ARC

문제 정의

본 논문은 증상 발현부터 확정적인 병리 보고서가 나오기까지 수 주일이 걸릴 수 있는 뇌종양 환자의 진단 지연 문제를 줄이기 위한 비판적 필요성을 다룹니다. 이 기간 동안 교모세포종(glioblastoma)과 같은 공격적인 종양은 급격히 성장할 수 있습니다. 저자들은 다음 세 가지 모달리티로 구성된 트리모달(trimodal) 데이터셋을 사용하여 신경교종(glioma) 하위 유형을 자동 분류하는 것을 목표로 하는 MEDIQA-CORE 2026 Task 1: 뇌종양 하위 유형 분류를 해결합니다:

1. MRI 임베딩 (NeuroVFM을 통해 사전 추출됨).
2. 조직병리 임베딩 (전체 슬라이드 이미지로부터 Prov-GigaPath를 통해 사전 추출됨).
3. 자유 텍스트 방사선 보고서.

시스템은 세 가지 별도의 분류 타겟을 동시에 예측해야 합니다:

• Level-1 분자 유형 (3개 클래스).
• LGG vs. HGG (저등급 vs. 고등급 신경교종; 이진 분류).
• WHO 등급 (2021 WHO CNS 분류에 정렬된 3개 클래스).

핵심 과제는 **모달리티 강건성(modality robustness)**입니다. 모든 환자가 완전한 데이터를 가지고 있는 것은 아니므로(예: 일부는 조직병리 데이터가 전혀 없음), 시스템은 하나 또는 그 이상의 모달리티가 누락된 경우에도 효과적으로 작동해야 합니다.

방법론

DS@GT ARC 팀은 사전 추출된 임베딩과 자유 텍텍스트 보고서 인코딩을 통합하는 트리모달 퓨전 프레임워크를 제안했습니다. 이들은 두 가지 주요 아키텍처를 탐색했으며, 그중 태스크별 게이트(Task-Specific Gates) 모델을 주요 제출 모델로 사용했습니다.

1. 데이터 전처리 및 인코더

• MRI 및 조직병리: 주최 측에서 제공한 768차원 임베딩을 활용했습니다.
• 방사선 보고서: 팀은 두 가지 인코더를 실험했습니다:
  • RadBERT: 교차 모달 자기 주의(cross-modal self-attentive) 모델에 사용되었습니다.
  • Llama-3.1-8B-Instruct: 주요 태스크별 게이팅 모델에 사용되었습니다. 보고서는 동결된 특징 추출기로 통과되었으며, 최종 레이어의 은닉 상태(hidden states)를 평균 풀링(mean-pooling)하여 4096차원 벡터를 생성했습니다.
• 대상자 필터링: 매크로-F1 성능을 높이기 위해 "Other/NEC" 분자 유형에 해당하는 대상자는 학습에서 제외했습니다.

2. 퓨전 아키텍처

팀은 세 가지 모달리티를 결합하는 두 가지 전략을 비교했습니다:

• 교차 모달 자기 주의 퓨전 (Cross-Modal Self-Attentive Fusion):

  • 공유 트랜스포머 트렁크(shared transformer trunk)가 세 가지 모달리티 잠재 벡터($z_{MRI}, z_{Histo}, z_{Report}$)를 교차 모달 자기 주의를 통해 처리합니다.
  • **단일 공유 학습 게이트(single shared learned gate)**가 융합된 표현을 생성하며, 이는 세 가지 분류 헤드 모두에 사용됩니다.
  • 이 모델은 공유 투영 레이어와 세 가지 태스크를 위한 병렬 선형 헤드를 사용합니다.

• 태스크별 게이트를 이용한 트리모달 퓨전 (Trimodal Fusion with Task-Specific Gates - 주요 시스템):

  • 공유된 표현 대신, 이 아키텍처는 각 분류 태스크를 위한 세 개의 독립적인 학습된 게이트를 유지합니다.
  • 각 게이트는 세 가지 모달리티 잠의 결합(concatenation)을 입력으로 받아 소프트맥스 가중치를 출력하며, 이는 특정 태스크에 대한 각 모달리티의 기여도를 결정합니다.
  • 누락된 모달리티 처리: 특정 대상자에게 모달리티가 누락된 경우, 해당 게이트 가중치를 0으로 강제하여 융합에 기여하지 못하도록 합니다.
  • 이 설계는 각 태스크가 모든 생물학적 질문에 대해 단일한 퓨전 전략을 강요받는 대신, 자신만의 최적화된 모달리티 혼합 전략을 학습할 수 있도록 합니다.

3. 학습 및 후처리

• 학습: 모델은 로짓 평균화(logit averaging)를 이용한 5-겹 층화 교차 검증(5-fold stratified cross-validation)을 사용하여 학습되었습니다.
• 정규화: 데이터 누락 상황을 시뮬레이션하고 강건성을 높이기 위해 학습 중 모달리티 드롭아웃(modality dropout)(모달리티당 샘플당 50% 확률)을 적용했습니다.
• 손실 함수: 레이블 스무딩($\epsilon=0.1$)이 적용된 클래스 가중치 교차 엔트로피 손실의 합을 사용했습니다.
• 생물학적 근거 기반 후처리: 알려진 생물학적 제약 조건을 강제하기 위해 앙상블의 평균 확률에 규칙 기반 단계가 적용되었습니다:
  • Level-1이 "Astrocytoma"로 높은 확신도를 보이면, LGG/HGG 예측을 "LGG"로 덮어씁니다.
  • LGG가 높은 확신도를 보이면, WHO 등급을 0으로 강제합니다.
  • HGG가 높은 확신도를 보이면, WHO 등급을 1 또는 2로 강제합니다 (Grade 0 차단).

주요 결과

시스템은 두 가지 테스트 세트로 평가되었습니다: 테스트 세트 1 (모든 모달리티가 있는 36명의 대상자, 절제 연구용) 및 테스트 세트 2 (조직병리가 없는 18명의 대상자, 조직병리 없이 인구 집단에 대한 일반화 성능 테스트용).

테스트 세트 1 (완전한 멀티모달) 성능

• 전체: 태스크별 게이트 모델은 사후 검증 단계에서 평균 매크로-F1 0.801을 달 기록하며 검증된 팀 중 2위를 차지했으며, 주최 측의 베이스라인(0.796)을 상회했습니다. 사전 검증 단계에서는 5개 팀 중 4위를 기록했습니다.
• 태스크별 분석:
  • Level-1 분자 유형: 시스템은 베이스라인(0.867 vs. 0.672)을 크게 앞질렀으며, 이는 분자 하위 유형화를 위한 태스크별 게이팅과 보고서 통합의 가치를 입증합니다.
  • 등급 기반 태스크 (LGG vs. HGG, WHO 등급): 베이스라인이 제안된 시스템보다 우세했습니다 (예: LGG vs. HGG의 경우 0.920 vs. 0.800). 저자들은 자신들의 퓨전 전략과 추가된 보고서 모달리티가 종양 등급보다는 분자 하위 유형화에 더 도움이 되었다고 언급했습니다.

모달리티 절제 및 강건성

• 조직병리에 대한 의존성: 시스템의 이점은 베이스라인에 비해 조직병리의 가용성에 전적으로 조건부였습니다.
  • 조직병리가 제거되었을 때, 시스템의 평균 매크로-F1은 0.642로 떨어져 베이스라인(0.744)보다 낮아졌습니다.
  • 보고서가 제거되었을 때, 시스템은 여전히 베이스라인(0.720 vs. 0.512)보다 우수한 성능을 보였으며, 이는 조직병리가 모델의 지배적인 신호이지 추가된 텍스트 모달리티가 아님을 나타냅니다.
• 테스트 세트 2 (조직병리 부재 코호트):
  • 조직병리가 없는 경우, 시스템은 모든 조건에서 베이스라인보다 현저히 낮은 성능을 보였습니다 (평균 F1: 0.493 vs. 0.797 [MRI+Reports]).
  • 이는 태스크별 게이트가 조직병리와 상관관계가 있는 패턴에 과도하게 의존하도록 학습되었으며, 조직병리가 수집되지 않은 인구 집단에는 전이되지 않음을 시사합니다.

의의 및 주장

본 논문은 태스크별 게이팅이 단일 공유 퓨전 표현을 사용하는 것보다 다중 태스크 의료 분류에서 더 우수한 전략이라고 주장합니다. 각 생물학적 태스크(분자 유형 vs. 등급)가 MRI, 병리, 텍스트의 중요성을 독립적으로 가중치를 조절할 수 있게 함으로써, 모델은 특히 Level-1 분자 유형 태스크에서의 큰 이득을 바탕으로 검증된 팀 중 2위를 차지하고 베이스라인보다 높은 평균 매크로-F1을 달성했습니다.

그러나 저자들은 시스템의 일반화 가능성에 대해 겸허한 태도를 취합니다. 그들은 다음과 같이 명시적으로 인정합니다:

1. 성능 향상은 주로 조직병리 모달리티에 의해 주도되며, 추가된 방사선 보고서 때문이 아닙니다.
2. 시스템은 조직병리가 없는 코호트에서 일반화에 실패하며, 조직병리를 사용하지 않는 베이스라인보다 낮은 성능을 보입니다.
3. 현재의 접근 방식은 가장 정보가 많은 모달리티(조직병리)가 누락된 경우의 강건한 분류 문제를 아직 해결하지 못하며, 이는 데이터가 없을 수 있는 실제 환경 배포 시 중요한 한계점이 됩니다.

이 연구는 멀티모달 퓨전이 분자 하위 유형화를 크게 개선할 수 있지만, "원 사이즈 핏 올(one-size-fits-all)" 방식의 퓨전은 불충분하며, 특정 모달리티에 대한 의존성은 다양한 환자 집단 전반에 걸친 강건성을 보장하기 위해 신중하게 관리되어야 함을 보여줍니다.