Possible or Definite? A Benchmark for Evaluating Diagnostic Uncertainty Preservation in Clinical Text

기술 요약: 가능성인가 확정인가? 임상 텍스트의 진단적 불확실성 보존 평가를 위한 벤치마크

문제 제기
대규모 언어 모델(LLM)이 요약 및 보고서 수정과 같은 임상 텍스트 작업에 점점 더 많이 배치되고 있지만, 진단적 불확실성을 올바르게 보존하는 능력은 아직 충분히 탐구되지 않았습니다. 임상 현장에서 불확실성 표현(예: "가능성 있는 폐렴" vs "폐렴")은 단순히 조심스러운 어조가 아닙니다. 이는 증거의 강도를 전달하고, 대안적 진단을 나타내며, 추적 검사 및 치료에 관한 결정을 안내합니다. 현재 임상 LLM을 위한 평가 지표는 주로 유창성, 일관성, 사실적 일관성에 초점을 맞추고 있으며, 모델이 불확실성의 정도를 변경하는 것을 감지하는 데는 종종 실패합니다. 본 논문은 이러한 표현을 변경하는 것이 임상적 의미를 완전히 바꿀 수 있으며, 잠재적으로 해로운 후속 결정으로 이어질 수 있음에도 불구하고, 이 특정 실패 모드가 표준 평가 프로토콜에는 포착되지 않는다고 주장합니다.

방법론
본 연구는 특화된 벤치마크 구축과 세 가지 LLM에 대한 이중 모드 평가라는 2단계 접근 방식을 통해 이 간극을 해결합니다.

1. 벤치마크 구축:

   • 데이터 소스: 저자들은 MIMIC-IV-Note(퇴원 요약지 및 방사선 보고서)와 TCGA-Reports(병리 보고서)에서 유래한 1,200개의 임상 문서를 사용하여 데이터셋을 구축했습니다.
   • 주석 스키마: **UL1 (확실한 부재)**부터 **UL5 (언급되지 않음)**까지, 그리고 확률 높은 존재(Probable present), 가능성 있는 존재(Possible present), **미결/미해결(Indeterminate/unresolved)**을 포함하는 5단계 불확실성 스키마를 정의했습니다.
   • 정밀도: 문서 수준의 레이블링과 달리, 본 벤치마크는 명제 수준의 주석을 활용합니다. 각 문서는 "큐(cue)"인 불확실성 표현(예: "배제할 수 없다")과 "타겟(target)"인 임상 개념(예: "폐색전증")의 9,184개 큐-타겟 쌍으로 표현됩니다.
   • 추출 파이프라인: 순환적 평가를 피하기 위해 정규 표현식과 medSpaCy, QuickUMLS와 같은 의료 NER 도구를 활용한 규칙 기반 파이프라인을 사용하여 이러한 쌍을 추출했습니다. 90개 문서에 대한 인간 검증 결과 평균 정확도는 82%, Cohen's $\kappa$는 0.61로 나타났습니다.

2. 평가 프레임워크:
   본 연구는 두 가지 상호 보완적인 연구 질문(RQ)을 사용하여 세 가지 LLM(gpt-oss-120b, gemini-2.5-flash, claude-haiku-4.5)을 평가합니다.

   • RQ1 (간접 평가): 다운스트림 텍스트 변환 작업인 임상의 인수인계 요약(Clinician Handoff Summarization) 및 환자 친화적 개정(Patient-Friendly Revision) 과정에서의 불확실성 보존을 평가합니다. 이는 두 가지 프롬프트 조건(Baseline: 표준 지시, Guarded: 불확실성 보존 및 자의적 해석 방지를 위한 명시적 지시) 하에서 테스트되었습니다.
   • RQ2 (직접 평가): 불확실성 큐를 식별하고 순위를 매기는 모델의 명시적 능력을 테스트합니다. 여기에는 단일 신호 설정(하나의 쌍 분류)과 다중 신호 설정(2~5개의 쌍 묶음을 동시에 분류 및 순위 매기기)이 포함됩니다.

주요 기여

• 벤치마크 생성: 본 논문은 6가지 임상 텍스트 유형과 5가지 별도의 불확실성 수준을 다루는 1,200개 문서 및 9,184개 주석 처리된 큐-타겟 쌍의 재사용 가능한 벤치마크를 도입합니다.
• 경험적 평가: 세 가지 최첨단 LLM에 대한 체계적인 평가를 제공하며, 표준 유창성 지표가 불확실성 왜곡을 포착하지 못함을 입증합니다.
• 실패 모드 식별: 본 연구는 LLM이 완곡한 언어를 확정적인 주장으로 붕괴시키는 "확정성 주장(certainty assertion)"으로 향하는 체계적인 편향을 가지고 있음을 식별하며, 이는 문서 수준의 평가에서는 보이지 않는 패턴입니다.

결과

• 간접 평가 (RQ1):
  • 낮은 보존율: 베이스라인 조건에서 LLM은 불확실성 수준을 원래대로 유지하는 비율이 50% 미만이었습니다 (불확실성 유지율[URR]은 33.64%에서 45.55% 사이).
  • 지배적인 실패 모드: 주요 오류는 **확정성 주장(Certainty Assertion, CAR)**이었습니다. 유지된 타겟의 약 40%가 확정적 주장(예: "가능성 있는"을 확정적 진술로 변경)으로 재작성되었으며, 부분적 변화 및 과도한 완곡 어법은 오류의 8% 미만을 차지했습니다.
  • 작업 간 차이: 환자 친화적 개정 작업은 임상의 요약 작업에 비해 더 공격적인 내용 삭제와 낮은 불확실성 보존율을 보였습니다.
  • 프롬프트 효능: "Guarded" 프롬프팅은 URR을 7~19%포인트 개선하고 확정성 주장을 줄였으나, 왜곡을 제거하지는 못했습니다. 가장 좋은 구성에서도 여전히 약 62.5%의 URR만을 달성했습니다.
• 직접 평가 (RQ2):
  • 분류 vs 순위 매기기: 모델(gemini-2.5-flash)은 단일 신호 설정에서 적절한 분류 정확도(78.4% ULA)를 달성했습니다. 그러나 신호의 수가 증가함에 따라 정확한 순위 정확도가 크게 저하되었습니다 (N=2에서 86%였던 것이 N=5에서는 48%로 하락).
  • 정밀도 문제: 모델은 범주적 구분(예: 확실한 부재)에는 잘 작동했으나, 인접한 단계 간의 미세한 구분, 특히 "확률 높은 존재"와 "가능성 있는 존재" 사이의 구분에는 어려움을 겪었습니다.

의의 및 주장
본 논문은 불확실성 보존이 유창성 및 사실적 일관성과는 별개의 독자적인 평가 차원으로 취급되어야 한다고 주장합니다. 저자들은 지배적인 실패 모드가 무작위 노이즈가 아니라 확정성을 향한 체계적인 편향이며, 이는 잠정적 진단과 확정적 진단에 대해 서로 다른 관리가 필요한 임상 워크플로우에서 상당한 위험을 초래한다고 주장합니다.

연구는 명시적 프롬프팅이 부분적인 완화책을 제공하기는 하지만, 안전한 배포를 위해서는 불충분하다고 결론짓습니다. 이 결과는 LLM이 의도치 않게 불확실성을 거짓 확정성으로 붕괴시켜 임상적 의미를 왜곡하지 않도록 하기 위해, 불확실성을 인식하는 벤치마크를 통한 미세 조정(fine-tuning)이나 선호도 최적화(preference optimization)와 같은 더 정교한 개입이 시급함을 강조합니다. 저자들은 본 연구가 표준 지표로는 포착되지 않는 실패 모드를 드러냈으며, 이는 임상 NLP 시스템을 평가하고 배포하는 방식의 변화가 필요함을 시사한다고 강조합니다.