Reconstructing Sepsis Trajectories from Clinical Case Reports using LLMs: the Textual Time Series Corpus for Sepsis

기술 요약: LLM 을 활용한 임상 사례 보고에서 패혈증 궤적 재구성

문제 제기
임상 사례 보고와 퇴원 요약지는 환자 진료에 대한 가장 완전하고 정확한 요약 정보를 제공하지만, 이러한 문서들은 진료 종료 후에만 최종화되므로 기술된 세밀한 사건들에 비해 시간적 해상도가 거칠다는 한계가 있습니다. 반면, 구조화된 데이터 스트림 (예: 생체 징후, 검사 결과) 은 실시간으로 제공되지만 종종 심각한 불완전성을 겪어 패혈증과 같은 진단을 도출하거나 확인하기 어렵습니다. 현재 조기 경보 시스템 및 표현형 연구에서 구조화된 데이터가 주된 자원임에도 불구하고, 결측 데이터로 인해 모델링이 최적화되지 못합니다. 따라서 더 나은 시간적 분석, 인과 추론, 그리고 패혈증 궤적 예측을 가능하게 하기 위해 임상 텍스트의 서사적 완전성과 세밀한 시간적 세분화를 결합한 데이터셋에 대한 시급한 필요성이 존재합니다. 기존 노력들은 주로 사건 타이밍보다는 임상 개념 간의 시간적 관계에 초점을 맞추거나, 소규모 표본과 발췌된 요약문을 활용하는 데 그쳤습니다.

방법론
저자들은 PubMed Open Access(PMOA) 하위 집합에서 유래한 2,139 개의 공개 액세스 사례 보고로 구성된 패혈증 -3 를 위한 텍스트 시계열 (Textual Time Series for Sepsis-3, T2S2) 말뭉치를 구축하는 파이프라인을 소개합니다. 방법론은 다음 네 단계 프로세스로 이루어집니다:

1. 사례 보고 탐지 및 표현형 분석: 파이프라인은 정규식과 대규모 언어 모델 (LLM) 을 사용하여 PMOA 보고서를 필터링하고, 패혈증 -3 기준 (의심되거나 확인된 감염 및 qSOFA 이상) 을 충족하는 보고서를 식별합니다.
2. 임상 소견 추출: 퓨샷 (few-shot) 예제가 포함된 구조화된 프롬프트를 사용하여 GPT-5, DeepSeek-R1, 다양한 Llama 3.x 모델을 포함한 6 개의 LLM 이 임상 소견을 추출합니다. 추출 규칙은 접속사를 분리 (예: "간과 췌장 전이"를 두 개의 사건으로 분리) 하고 특정 텍스트 범위를 보존하도록 요구합니다.
3. 시간 할당: 모델들은 입원 시점 ($t=0$) 을 기준으로 시간 (시간 단위) 을 할당합니다. 입원 전 사건은 음수 타임스탬프를 부여받습니다. 파이프라인은 지속 기간이 있는 사건은 시작 시간을 할당하고, 명시적인 시간 표시가 없는 사건은 문맥 추론을 통해 시간을 유추합니다.
4. 평가 프레임워크: 시스템은 40 개의 임상가 주석 보고서 (sepsis-40) 로 구성된 골드 스탠다드 세트와 브론즈 스탠다드 프록시 세트 (sepsis-100) 를 기준으로 검증됩니다. 평가 지표는 다음과 같습니다:
   • 사건 일치율: PubMedBERT 임베딩의 코사인 거리를 사용한 재귀적 최선 매칭 (임계값 $\theta=0.1$).
   • 시간적 순서: 사건 쌍에 대한 일관성 지수 (c-index).
   • 시간 정확도: 중앙값 절대 오차 (MAE) 및 로그 시간 곡선 아래 면적 (AULTC) 으로, 장기 오차가 지표를 지배하는 것을 방지하기 위해 시간 규모 전반에 걸친 불일치를 통합합니다.

주요 기여

1. T2S2 말뭉치: 추출된 사건 - 타임스탬프 쌍을 포함하는 2,139 개의 사례 보고로 구성된 최초의 공개 액세스 패혈증 -3 텍스트 시계열 말뭉치.
2. 주석 파이프라인: i2b2 스타일 개념 관계에 초점을 맞춘 이전 작업과 구별되며, 자유 텍스트에서 시간과 관련된 임상 소견을 추출하도록 특별히 설계된 새로운 LLM-주석자 접근법.
3. 골드 스탠다드 주석: 40 개의 PMOA 사례 보고서에 걸쳐 3,229 개의 수동으로 주석된 참조 사건으로, 엄격한 평가 기준을 제공합니다.
4. 평가 기준: 일치하는 소견이 동일한 문자열일 필요가 없는 텍스트 시계열을 위한 적응형 지표로, 의미적 임베딩 거리와 로그 시간 스케일링을 오차 측정에 활용합니다.
5. 다층 검증: 부트스트랩 불확실성 정량화, 주석자 간 일치도 (임상가 대 임상가), 할루시네이션 감사, 자기 일관성 분석, 전체 말뭉치 교차 모델 일치도를 포함한 포괄적인 프레임워크.

결과

• 추출 성능: 임상가 주석 세트 (sepsis-40) 에서 GPT-5는 0.93의 사건 일치율, 0.965의 일관성, 그리고 4 시간의 중앙값 절대 오차로 전체적으로 가장 강력한 성능을 보였습니다. DeepSeek-R1과 Llama 3.3 70B는 경쟁력 있는 오픈 모델 기준을 제공했으며, DeepSeek-R1 은 0.79 의 일치율을, Llama 3.3 은 0.76 의 일치율을 달성했습니다.
• 시간적 순서: 대형 모델들은 강력한 시간적 순서 능력을 보여주었습니다. GPT-5 와 Llama 3.3 은 각각 0.965 와 0.908 의 일관성 점수를 달성하여 소형 모델 (예: 0.856 점의 Llama 3.1 8B) 과 BERT 시간 회귀 기준보다 현저히 우수한 성과를 거두었습니다.
• 검증 결과:
  • 할루시네이션 감사: DeepSeek-R1 과 Llama 3.3 의 1,517 개 사건에 대한 수동 감사에서 지원되지 않는 할루시네이션 사건은 0 개로 확인되었으나, 근거가 있는 사건에서도 타임스탬프 오류는 여전히 가능했습니다.
  • 자기 일관성: 다중 패스 생성은 무작위 시드 전반에 걸쳐 높은 안정성을 보여주어 추출 과정이 확률적 노이즈에 의해 주도되지 않음을 시사합니다.
  • 인간 변이: 동일한 보고서에 대한 임상가 간 일치도는 완벽하지 않았으며 (일치율 0.681), 이는 모델 성능과 인간 성능 간의 격차가 좁아지고 있으며 모델 오류가 종종 인간 주석 변이와 유사함을 시사합니다.
  • 한계: 온톨로지 불일치 (분할된 개념 대 구성적 소견) 와 미인식 편향으로 인해 레거시 i2b2 개념인 i2m4 데이터셋에서 성능이 저하되었습니다. 또한, 장기 사건 (개월/년 단위) 은 더 큰 타임스탬프 불일치를 보였습니다.

의의 및 주장
본 논문은 LLM 이 임상 소견을 시간적으로 국소화하는 능력을 규명하여, 지시 튜닝이 적용된 파운데이션 모델이 텍스트에서 과거 임상 궤적을 효과적으로 재구성할 수 있음을 입증합니다. 저자들은 T2S2 가 위험 예측, 인과 추론, 질병 궤적 특성화와 같은 하류 작업을 위한 고충실도 과거 연구 자원으로 기능한다고 주장합니다.

저자들은 T2S2 가 배포 준비가 된 임상 추출 시스템이 아님을 명시적으로 밝힙니다. 사례 보고에 내재된 출판 편향, 전체 말뭉치에 대한 포괄적인 임상가 검증의 부재, 그리고 데이터가 더 노이즈가 많고 지속적으로 진화하는 전향적 실시간 임상 환경으로의 파이프라인 전환의 어려움과 같은 한계를 강조합니다. 이 연구는 LLM 이 높은 충실도로 시간적 구조를 복원할 수 있지만, 주요 실패 모드는 종종 실제 사건의 조작이 아니라 실제 소견에 잘못된 시간을 할당하는 것이라고 시사합니다. 향후 활용성은 이러한 서사 기반 타임라인을 구조화된 생리학적 데이터와 통합하여 환자 궤적에 대한 포괄적인 다중 모달 표현을 구축하는 데 있을 것으로 전망됩니다.