기술 요약: 병리 보고서 이해를 위한 DeepSeek 연구

문제 정의

병리 보고서는 종양 조직학, 병기(staging), 바이오마커에 대한 데이터를 포함하는 매우 정보 밀도가 높은 암 종양학의 핵심 문서이다. 그러나 비정형 자유 텍스트 형식은 코호트 구축, 레지스트리 보강, 결과 연구를 위한 확장 가능한 재사용을 저해한다. 대규모 언어 모델(LLM)이 이러한 다양한 형식을 해석하는 데 잠재력을 제공하지만, 암 유형 추출, AJCC 병기 결정, 예후 예측과 관련된 병리 보고서 이해에 대한 구체적인 유용성은 독립적인 벤치마킹을 필요로 한다. 또한, 더 크고 비싼 LLM 변체(예: "Pro" 모델)가 더 빠르고 저렴한 변체(예: "Flash")에 비해 비용을 정당화할 만큼 충분한 성능 향상을 제공하는지, 그리고 LLM에서 추출된 구조화된 변수가 지도 학습 모델링에서 원문 텍스트 이상의 예후적 가치를 더하는지는 여전히 불분명하다.

방법론

본 연구는 The Cancer Genome Atlas(TCGA)에서 파생된 PathRep-Bench 스타일의 과업을 사용하여 독립적인 벤치마크를 수행하였다. 데이터셋은 952개의 병리 보고서로 구성되었으며, 훈련(7,618개), 검증(953개), 테스트(952개) 세트로 분할되었다.

과업 및 모델

세 가지 특정 과업이 평가되었다:

1. 암 유형 식별: 32가지 TCGA 암 유형 중 하나를 선택.
2. AJCC 병기 예측: 하위 병기를 포함하여 4개의 상위 병기 그룹(I–IV)으로 보고서를 매핑.
3. 예후 예측: 질환별 생존 임계값을 기준으로 보고서를 "양호(good)" 또는 "불량(poor)"으로 분류.

두 가지 DeepSeek 모델을 비교하였다: DeepSeek V4 Flash와 DeepSeek V4 Pro.

• 프롬프팅 전략: 모든 호출에는 JSON 제약 프롬프팅을 사용하였다. 암 유형 식별에는 비추론(non-reasoning) 모드를 사용하였고, AJCC 병기 및 예후 예측에는 추론(reasoning) 모드를 사용하였다.
• 예후 베이스라인: 로컬 TF-IDF 로지스틱 회귀 분류기를 학습시켰다. 텍스트 전용, 텍스트 및 기존 구조화된 필드 결합, 텍스트 및 DeepSeek 추출 변수 결합을 포함한 6가지 특징 세트를 평가하였다.
• 평가 지표: 정확도(Accuracy)와 Macro F1을 계산하였으며, 95% 신뢰 구간은 비모수 부트스트랩 리샘플링을 통해 도출하였다. 쌍체 통계 비교에는 McNemar 검정과 쌍체 부트스트랩 차이를 사용하였다.

주요 결과

1. 암 유형 식별

• 성능: DeepSeek V4 Flash는 0.9800의 정확도와 0.9778의 macro F1으로 천장 성능(near-ceiling performance)에 근접한 성과를 달성하였다.
• 모델 비교: DeepSeek V4 Pro는 성능 향상(0.9769 정확도)이 유의미하지 않았으나, 비용은 약 2.54배 더 높았다.
• 오류 분석: 남은 오류들은 임상적으로 타당했다(예: 직장암 vs 결장 선암종).

2. AJCC 병기 예측

• 성능: DeepSeek V4 Flash는 레이블이 지정된 594개의 테스트 보고서에 대해 0.8165의 정확도와 0.7841의 macro F1을 달성하였다.
• 모델 비교: DeepSeek V4 Pro는 정확도 향상(0.8098)이 유의미하지 않았으며, 4,096 토큰 예산 내에서 **14개의 빈 출력(empty outputs)**을 생성하는 등 신뢰성 문제를 보였다. Pro가 유효한 응답에 대해서는 약간 더 높은 정확도를 보였으나, 빈 출력 발생과 현저히 높은 비용을 고려할 때 Flash가 더 우수한 선택이었다.
• 오류 분석: 주요 오류 모드는 Stage IV를 Stage III로 과소 판정(under-calling)하는 것이었다.

3. 예후 예측

• LLM 프롬프팅: 직접적인 DeepSeek 프롬프팅은 약했다. Zero-shot 성능은 0.5083 macro F1이었으며, 8-shot 프롬프팅을 적용했을 때 0.5647로 소폭 개선되었다.
• 지도 학습 모델링: TF-IDF 텍스트 전용 로지스틱 회귀 분류기가 가장 높은 성능(0.8571 정확도, 0.8543 macro F1)을 달성하였다.
• 특징 제거 실험(Ablation): 평가된 프레임워크 하에서 DeepSeek가 추출한 구조화된 변수는 원문 병리 보고서 텍스트를 직접 사용하는 것에 비해 예후 예측을 유의미하게 개선하지 못하였다. 실제로 DeepSeek 추출 변수만을 사용하는 모델은 원문 텍스트를 사용하는 모델보다 훨씬 낮은 성능(0.6407 macro F1)을 보였다.

4. 비용 분석

DeepSeek V4 Flash가 일관되게 더 비용 효율적이었다. 암 유형 식별의 경우, Flash는 보고서 1,000개당 $0.19인 반면 Pro는 $0.49였다. AJCC 병기의 경우, Flash는 $0.27인 반면 Pro는 $1.17이었다.

주요 기여

1. 독립적 벤치마킹: 암 추출, 병기 결정 및 예후 관련 PathRep-Bench 과업에 대해 DeepSeek 모델 제품군에 대한 첫 번째 독립적 평가를 제공하여 성능 베이스라인을 확립하였다.
2. 비용-성능 트레이드오프 분석: 더 저렴한 DeepSeek V4 Flash 모델이 더 비싼 V4 Pro보다 정확도 면에서 우월하거나 대등하면서도, 더 높은 신뢰성(빈 출력 감소)과 낮은 비용을 제공함을 입증하였다.
3. 하이브리드 아키텍처 검증: LLM이 유연한 정보 추출 및 병기 지원에는 뛰어나지만, 구조화된 변수를 원문에 추가하더라도 지도 학습 기반의 예후 모델링을 본질적으로 개선하지는 못한다는 점을 보여주었다. 즉, 원문 텍스트 자체가 대부분의 예후 정보를 보유하고 있었다.
4. 오류 특성화: 모델의 실패가 무작위적인 환각(hallucination)이 아니라, 임상적으로 타당한 오류(예: 인접한 암 하위 유형 간의 혼동 또는 병기 과소 판정)임을 확인하였다.

의의 및 주장

본 논문은 DeepSeek가 병리 정보 추출에 효과적이며, 특히 비용 효율적인 Flash 변체를 사용할 때 AJCC 병기 결정에 강력한 지원을 제공한다고 결론짓는다. 그러나 예후 예측은 순수한 LLM 프롬프팅이나 추출 과업보다는 지도 학습 기반의 결과 모델링(supervised outcome modeling)으로 접근하는 것이 더 적합하다.

저자들은 다음과 같은 하이브리드 아키텍처(논문의 그림 2에 기술됨)를 제안한다:

• DeepSeek는 유연한 언어 이해 과업(암 유형 추출, 병기 지원, 보고서의 구조화된 변수 변환)을 담당한다.
• 지도 학습 기반 텍스트 모델(예: TF-IDF 특징을 사용한 로지스틱 회귀)은 원문 보고서 텍스트를 직접 활용하여 예후 예측을 담당한다.

본 연구는 평가된 프레임워크 하에서 LLM이 추출한 변수가 원문에 이미 포함된 정보 이상의 가치를 예후 예측에 더하지 못했음을 강조하며, 이는 결과 예측을 위해 비정형 텍스트에 대한 직접적인 지도 학습이 여전히 가장 강력한 접근 방식임을 시사한다. 저자들은 단일 공개 데이터셋 사용, 단순화된 이진 예후 엔드포인트, 외부 검증 코호트의 부재 등을 한계점으로 언급하였다.