Clinician-Centered Evaluation of Large Language Model-Generated Discharge Summaries for Longer Hospitalizations: Insights from Hospitalists and Primary Care Physicians

기술 요약: 장기 입원 환자를 위한 LLM 생성 퇴원 요약서에 대한 임상의 중심 평가

문제 제기

입원 퇴원 요약서는 안전한 치료 전환을 위한 핵심적인 요소이지만, 특히 장기 입원(7~21일) 시 임상의에게 상당한 인지적 부담을 줍니다. 이러한 장기 입원은 방대한 양의 파편화되고 반복적이며 복잡한 기록을 생성하며, 이로 인해 간결하고 정확한 전환 문서를 합성하는 것을 어렵게 만듭니다. 대규모 언어 모델(LLM)이 퇴원 요약서를 생성하는 데 유망한 가능성을 보여주었으나, 기존의 평가는 주로 단기 입원에 집중되어 왔으며, 수신 의료진(일차 진료 의사, 즉 PCP)의 구체적인 우선순위나 부수적 발견(incidental findings)의 보고 문제를 거의 검토하지 않았습니다. 또한, 기존 문헌에는 LLM이 현재 모델의 컨텍스트 창(context window) 제한을 초과하는 전자 건강 기록(EHR)을 효과적으로 처리할 수 있는지에 대한 증거가 부족하며, 이는 장기 입원 사례에서 흔히 발생하는 과제입니다.

방법론

본 연구는 7일에서 21일 사이의 기간 동안 발생한 60건의 내과 입원 사례를 대상으로, LLM 생성 퇴원 요약서와 인간이 작성한 요약서를 비교하는 임상의 중심 평가를 수행했습니다.

데이터 처리 및 파이프라인:

• 코호트: Stony Brook University Hospital의 역사적 입원 사례 400건(2023년 1월~2024년 12월)에서 60건의 사례를 층화하여 추출했습니다.
• 입력 데이터: 파이프라인은 Oracle Cerner EHR로부터 370개의 고유한 노트 유형(응급실 노트, 협진 노트, 경과 기록, 영상 보고서 포함)을 추출했습니다. 필터링 후 데이터 양은 사례당 평균 55% 감소했습니다.
• LLM 아키텍처: 컨텍스트 창의 제한 문제를 해결하기 위해, 저자들은 슬라이딩 윈도우(sliding window) 방식을 사용하는 확장 가능한 파이프라인을 개발했습니다. 임상 문서는 50,000-토큰 청크(chunk)로 분할되었습니다. 반복적인 정제 프로세스가 채택되었는데, LLM(GPT-5.2)이 첫 번째 세그먼트로부터 초기 연대순 불렛 포인트 초안을 생성하고, 후속 세그먼트가 처리됨에 따라 이를 지속적으로 업데이트하는 방식입니다.
• 부수적 발견: 영상 의학 보고서에서 임상적으로 유의미한 부수적 발견을 식별하고 추출하기 위해 별도의 프롬프트 워크플로우가 설계되었습니다.
• 최종 출력: 시스템은 연대순 초안과 부수적 발견을 통합하여 최종 서사형 요약서를 생성했습니다.

평가 프로토콜:

• 검토자: 12명의 전문의(입원 전문의 6명 및 일차 진료 의사 6명)가 독립적으로 요약서를 평가했습니다.
• 워크플로우 정렬: 입원 전문의는 모든 입원 노트를 검토한 후 요약서를 평가한 반면, PCP는 요약서를 먼저 검토한 후 입원 노트를 통해 내용을 교차 확인함으로써 실제 치료 전환 워크플로우를 시뮬레이션했습니다.
• 지표:
  • 정량적 지표: 검토자들은 품질, 가독성, 사실성 및 완결성에 대해 5점 리커트 척도(Likert scale)로 요약서를 평가했습니다. PCP는 이해 용이성, 환자 대상 설명 가능성, 추후 관리 유용성에 대한 추가 점수를 제공했습니다.
  • 오류 주석: 검토자들은 부정확성과 누락을 주석으로 달고, 적응형 AHRQ(Agency for Healthcare Research and Quality) 척도를 사용하여 위해 가능성 및 위해 발생 가능성을 평가했습니다.
  • 부수적 발견: 검토자들은 보고된 부수적 발견의 정확성과 적절성을 평가했습니다.
• 정성적 지표: 워크플플로우와 신뢰도에 대한 피드백을 수집하기 위해 검토 후 반구조화된 디브리핑 세션이 진행되었습니다.

주요 결과

성능 및 선호도:

• 선호도: 의사 검토자들은 60건의 사례 중 95%에서 LLM 생성 요약서를 선호했습니다.
• 품질 지표: LLM 생성 요약서는 모든 지표에서 인간 작성 요약서보다 유의미하게 높은 평균 점수를 기록했습니다:
  • 품질: 4.71 vs. 3.16 ($p = 1.40 \times 10^{-17}$)
  • 가독성: 4.66 vs. 3.39 ($p = 3.25 \times 10^{-15}$)
  • 사실성: 4.62 vs. 3.73 ($p = 1.08 \times 10^{-13}$)
  • 완결성: 4.69 vs. 3.42 ($p = 2.67 \times 10^{-15}$)
• 일관성: LLM 요약서는 인간 작성 요약서의 평균 절대 편차(0.49 vs. 1.07)의 절반 미만인 낮은 평균 절대 편차를 보이며 더 높은 일관성을 입증했습니다.

오류 분석:

• 빈도: LLM 생성 요약서는 인간 작성 요약서(평균 0.73)보다 적은 총 오류 수(평균 0.42)를 포함했습니다 ($p = 0.011$).
• 오류 유형: 이러한 오류 감소는 주로 LLM 요약서에서의 누락 감소에 의해 주도되었습니다. 두 그룹 간의 부정확성 발생률에는 유의미한 차이가 없었습니다.
• 위해 가능성: 오류의 예상 위해 정도 및 위해 발생 가능성 측면에서 LLM 생성 요약서와 인간 작성 요약서 사이에 통계적으로 유의미한 차이는 없었습니다.

이해관계자별 결과:

• PCP 관점: PCP는 입원 전문의보다 가독성과 완결성 측면에서 LLM 요약서를 더 높게 평가했습니다. PCP는 두 유형의 요약 모두에서 입원 전문의보다 더 많은 누락을 식별했으며, 오류에 대해 더 높은 위해 발생 가능성 점수를 부여했는데, 이는 장기적인 퇴원 후 관리에 대한 그들의 책임을 반영합니다.
• 부수적 발견: 31개의 LLM 식별 부수적 발견 중 93.5%가 사실적으로 정확하다고 평가되었으며, 87.1%가 보고하기에 적절하다고 평가되었습니다.

정성적 통찰:

• 검토자들은 인지적 부담 감소, 높은 일관성, 그리고 치료 근거 및 미결 추후 관리 사항의 명확한 제시를 LLM 요약을 선호하는 주요 이유로 꼽았습니다.
• 입원 전문의들은 인간이 작성한 요약서가 종종 중복성과 의사 개인의 가변성 문제를 겪는 반면, LLM 요약서는 더 균일하고 간결하다고 언급했습니다.
• PCP들은 LLM 요약이 실행 가능한 항목과 미결 결과를 강조함으로써 치료 전환을 더 잘 촉진한다고 강조했습니다.

의의 및 주장

본 논문은 기술적 문서량의 도전 과제로 인해 그동안 충분히 탐구되지 않았던 영역인, 더 길고 복잡한 입원 과정을 요약하는 데 있어 LLM의 임상적 유용성을 입증함으로써 기존 연구를 확장한다고 주장합니다.

• 이해관계자 중심 설계: 본 연구 결과는 수신 의료진(특히 PCP)의 정보 우선순위에 맞춰 전환 문서를 설계하는 것이 인지된 품질과 유용성을 크게 향 Improves 한다는 점을 강조합니다. 본 연구는 PCP의 워크플로우(예: 실행 항목 및 추후 관리에 집중)와 일치하는 프롬프트 전략이 매우 중요하다는 것을 시사합니다.
• 기술적 확장성: 본 연구는 반복적인 슬라이딩 윈도우 기법을 사용하여 표준 컨텍스트 창을 초과하는 EHR을 LLM이 효과적으로 처리할 수 있음을 보여주는 증거를 제공하며, 21일간의 장기 입원에서도 높은 품질의 출력을 유지함을 입증했습니다.
• 안전 및 감독: LLM 생성 요약서가 누락이 적고 품질이 높았지만, 저자들은 이것이 오류가 없다는 의미는 아니라고 강조합니다. 연구 결과는 감독된 LLM 보조 요약(supervised LLM-assisted summarization) 모델을 지지합니다. 즉, AI가 인지적 부담을 줄이고 문서 품질을 개선할 수는 있지만, 약물 변경 및 부수적 발견과 같은 고위험 콘텐츠에 대해서는 임상의의 검증을 포함한 감독이 필수적입니다.

저자들은 LLM 보조 퇴원 요약이 적절한 임상의 검증 워크플로우와 함께 구현된다면, 임의의 부담을 줄이고 치료 전환 커뮤니케이션을 향상시킬 잠재력이 있다고 결론지었습니다.