Multimodal Fusion of Pathology Free-Text and Clinical Data Enhances Complication-Risk Discrimination After Implant-Based Breast Reconstruction

기술 요약: 병리 자유 텍스트와 임상 데이터의 다중 모달 융합을 통한 합병증 위험 식별

문제 정의
유방 절제술 후 임플란트 기반 유방 재건술은 가장 보편적인 수술 옵션이지만, 약 3분의 1의 환자가 2년 이내에 합병증을 경험합니다. 합병증을 예측하기 위한 기존의 머신러닝 모델들은 수기로 작성된 구조화된 임상 변수(예: BMI, 연령, 동반 질환)에만 의존하며, 서술형 병리 보고서에 내재된 예후 정보는 간과하고 있습니다. 대규모 언어 모델(LLM)이 임상 텍스트에서 범주형 소견을 추출하는 능력은 입증되었으나, 수치적 형태 측정값(예: 유방 절제 표본 무게)은 여전히 활용되지 못한 채 남아 있습니다. 또한, 텍스트 유래 특징과 구조화된 임상 데이터를 융합하여 이 영역에서의 위험 계층화를 개선한 선행 연구는 아직 없습니다.

방법론
저자들은 이러한 격차를 해소하기 위해 완전히 온프레미스(on-premises) 환경에서 작동하는 오픈 소스 다중 모달 파이프라인을 개발했습니다. 방법론은 세 가지 주요 구성 요소로 이루어집니다:

1. LLM 기반 정보 추출:

   • 오픈 소스 LLM(Gemma 3, 27B 파라미터)을 제로샷(zero-shot) 설정으로 배포하여 자유 텍text 형태의 병리 보고서로부터 수치적 형태 측정값을 추출했습니다.
   • 모델은 좌/우 유방 유방 절제 표본 무게(그램 단위), 치수, 심부 마진(deep margins), 림프절 개수 등 특정 필드를 추출하도록 프롬프트가 구성되었습니다.
   • 추론은 재현성을 보장하기 위해 결정론적 디코딩(deterministic decoding)을 사용하여 4개의 NVIDIA L40S GPU를 통해 온프레미스에서 수행되었습니다.
   • 추출된 JSON 출력은 엄격한 스키마 검증을 통해 파싱되었으며, 단위 정규화(예: kg을 g으로 변환) 및 결측치 처리가 이루어졌습니다.

2. 대조적 다중 모달 정렬 (CLIP 스타일):

   • 비구조화된 텍스트와 구조화된 데이터를 융합하기 위해 저자들은 CLIP(Contrastive Language-Image Pre-training)에서 영감을 얻은 이중 인코더 아키텍처를 채택했습니다.
   • 인코더: 독립적인 PubMedBERT-base 트랜스포머를 사용하여 원래의 병리 보고서와 구조화된 변수로부터 파생된 템플릿화된 임상 내러티브를 인코딩했습니다.
   • 풀링(Pooling): 512-토큰 제한을 초과하는 문서는 중첩된 윈도우(overlapping windows) 방식으로 처리되었으며, 학습 가능한 셀프 어텐션 풀링 레이어를 통해 단일한 문맥 인식 벡터로 집계되었습니다.
   • 학습 목표: 모델은 미니 배치 내에서 매칭된 병리-임상 쌍 간의 코사인 유사도를 최대화하기 위해 InfoNCE 대조 손실(contrastive loss)을 사용하여 학습되었습니다.
   • 보조 작업: 의미론적 보존을 보장하기 위해, 표본 측방성(좌측, 우측, 양측)을 예측하는 병리 [CLS] 토큰에 대한 소프트맥스 분류기와 흡연 상태 및 고혈압과 같은 속성을 재구성하는 임상 [CLS] 토큰에 대한 다중 레이블 시그모이드 분류기를 포함하는 보조 분류기를 학습에 포함했습니다.

3. 예측 모델링 및 융합:

   • 베이스라인: 62개의 구조화된 임상 변수로 학습된 LightGBM 모델이 기본 베이스라인 역할을 합니다.
   • 형태 측정값 추가: 추출된 수치적 특징(특히 총 유방 절제 무게)이 베이스라인에 추가되었습니다.
   • 앙상블 융합: 최종 모델은 소프트 보팅(soft-voting) 앙상블을 활용했습니다. 이는 다음을 결합합니다:
     • 형태 측정 특징으로 학습된 LightGBM 분류기.
     • 이중 인코더로부터 추출된 768차원 [CLS] 임베딩(256차원으로 축소 및 L2 정규화됨)으로 학습된 서포트 벡터 분류기(SVC).
   • 앙상블은 형태 측정값 예측과 임베딩 기반 예측에 동일한 가중치(1:1)를 할당했습니다.

주요 결과

• 추출 정확도: LLM은 유방 절제 표본 무게에 대해 96.3%(81건 중 78건)의 결합 추출 정확도를 달럽했습니다. 구체적으로 좌측 유방 보고서에서는 100%(37/37), 우측 유방 보고서에서는 93.2%(41/44)의 정확도를 기록했습니다. 오류는 주로 보고서에 표본 무게가 누락되어 모델이 임플란트 무게를 잘못 추출한 경우에 발생했습니다.
• 교차 모달 정렬: CLIP으로 학습된 모델은 임상 및 병리 임베딩을 공유 UMAP 매니폴드(manifold)로 성공적으로 정렬했습니다. 215쌍의 검증 세트에서, 모델은 무작위 베이스라인 대비 교차 모달 검색에서 유의미한 농축을 달왔습니다(예: Clinical→Pathology Recall@50 = 0.781, 무작위 확률 대비 3.36배 향상).
• 위험 식별:
  • 베이스라인 Clinical LightGBM은 0.740의 AUROC를 달성했습니다.
  • 추출된 수치적 무게(M2)만 추가했을 때는 0.744로 미미하고 유의하지 않은 증가를 보였습니다.
  • 전체 다중 모달 앙상블(M2 + 임상 및 병리 [CLS] 임베딩 모두 포함)은 AUROC 0.764(베이스라인 대비 p=0.027)를 달성하며 가장 높은 성능을 보였습니다.
  • 80% 특이도 고정 시, 민감도는 0.573(베이스라인)에서 0.609(최적 앙상블)로 개선되었습니다. 0.50 확률 임계값에서 양성 예측도(PPV)는 0.668에서 0.828로 증가했습니다.
• 하위 그룹 성능: 모델은 하위 그룹 전반에서 견고한 성능을 보였으며, 특히 확장기-임플란트 간격이 짧은(<180일) 환자군에서 AUROC 0.796에 도달하며 강력한 식별력을 보였습니다.
• 해석 가능성: SHAP 분석은 모델이 임상적으로 일관된 특징에 의존함을 확인했습니다. 주요 기여 요인은 확장기-임플란트 간격(TEtoImplant), BMI, 그리고 총 유방 절제 무게였습니다. 의존성 플롯(Dependence plots)은 약 6~12개월을 초과하는 간격에 따른 임계치 형태의 위험 증가와 같은 비선형 관계를 드러냈습니다.

의의 및 주장
본 논문은 오픈 소스 온프레미스 LLM이 서술형 병리 보고서로부터 수치적 형태 측정값과 문맥적 임베딩을 신뢰성 있게 추출하여 임상 위험 예측을 향상시킬 수 있다는 첫 번째 증거를 제공한다고 주장합니다.

• 개인정보 보호 및 접근성: 전체 프로세스가 온프레미스에서 오픈 소스 모델을 통해 운영됨으로써, 보호된 건강 정보(PHI)가 기관의 통제를 벗어나지 않도록 보장하며 호출당 비용 발생을 방지하여 자원이 제한된 의료 센터에서도 접근이 용이합니다.
• 미활용 데이터의 해제: 본 연구는 병리 텍스트가 구조화된 변수만으로는 포착할 수 없는 예후 신호(예: 미세한 어휘적 단서, 시간적 관계, 불확실성 수식어)를 포함하고 있음을 입증합니다.
• 임상적 유용성: 통계적 AUROC 상승폭은 미미하지만(+0.024), 저자들은 이러한 작은 개선이 고위험 환자를 식별하여 수술 계획, 환자 상담 및 수술 후 관리에 정보를 제공하는 데 있어 임상적으로 유의미한 이득을 준다고 주장합니다.
• 일반화 가능성: 저자들은 이 해석 가능하고 개인정보를 보호하는 다중 모달 프레임워크가 표 형태의 데이터만을 사용하는 베이스라인의 한계를 넘어, 외과 종양학 전반의 위험 예측을 강화할 수 있는 일반화 가능한 접근법이라고 제시합니다.

저자들은 단일 센터 연구라는 특성상 보고서 템플릿의 도메인 변화로 인해 일반화가 제한될 수 있고, 복합 종점(composite endpoint) 그룹이 이질적이라는 점을 인정하며 연구의 한계에 대해 겸허한 태도를 유지했습니다. 또한 향후 연구는 다기관 검증과 영상 데이터의 통합에 집중해야 한다고 제언했습니다.