Text Knows What, Tables Know When: Clinical Timeline Reconstruction via Retrieval-Augmented Multimodal Alignment

기술 요약: 텍스트는 무엇을, 표는 언제를 안다

문제 제기
정밀한 임상 타임라인을 재구성하는 것은 패혈증과 같은 복잡한 질환에서 환자 궤적을 모델링하고 위험을 예측하는 데 필수적입니다. 그러나 기존 데이터 소스는 환자 병력에 대한 상호 보완적이지만 단편적인 관점을 제시합니다. 비정형 임상 내러티브 (텍스트) 는 악화 초기 징후와 기능 상태 등을 포함하여 환자의 경과에 대한 의미적으로 풍부하고 문맥상 완전한 설명을 제공하지만, 종종 시간적 정밀도가 부족하고 사건 시점이 모호합니다. 반면, 구조화된 전자의무기록 (EHR) 데이터 (표) 는 검사 수치, 활력 징후, 약물 등을 통해 정확한 시간적 기준점을 제공하지만, 증상 진행, 환자 보고 결과, 인과적 맥락과 같은 임상적으로 의미 있는 사건의 상당 부분을 놓치는 경우가 많습니다. 기존 연구는 단일 양식 (모달리티) 에만 의존할 경우 시간적 정밀도가 떨어지는 궤적이거나 사건 커버리지가 불완전한 결과가 초래됨을 보여줍니다.

방법론
저자들은 텍스트에서 추출된 절대 임상 타임라인의 시간적 정밀도를 향상시키기 위해 이러한 간극을 연결하는 검색 증강 멀티모달 정렬 프레임워크를 제안합니다. 이 접근법은 타임라인 재구성을 단일 통과 추출 작업이 아닌 그래프 기반 다단계 프로세스로 공식화합니다. 파이프라인은 네 단계로 운영됩니다:

1. 중앙 발판 (Scaffold) 구축: 시스템은 먼저 내러티브에서 시간적 정보를 제공하는 "중앙 사건" 집합을 추출하여 시간적 기준점으로 활용합니다. 그런 다음 이러한 중앙 사건 간의 쌍별 시간적 관계를 추정하여 초기 상대적 시간 그래프를 구축합니다.
2. 발판 보정 (RAG): 초기 중앙 발판은 검색된 구조화된 EHR 행을 사용하여 보정됩니다. 시스템은 임베딩 기반 유사도를 통해 각 중앙 사건과 가장 관련성이 높은 상위-k 개의 구조화된 행을 검색하고, 이 증거를 활용하여 중앙 기준점의 절대 타임스탬프를 정제합니다.
3. 전체 타임라인 조립: 비중앙 사건은 텍스트에서 추출되어 상대 시간 오프셋과 함께 중앙 발판에 부착됩니다. 이러한 요소들은 보정된 중앙 타임라인과 결합되어 초기 완전한 타임라인을 형성합니다.
4. 최종 정제: 전체 사건 집합에 대해 두 번째 검색 증강 업데이트가 수행되며, 구조화된 EHR 증거를 활용하여 전체 궤적의 타임스탬프를 더욱 정제합니다.

이 프레임워크는 모든 추출, 추론, 보정 단계에 지시 명령을 튜닝한 대규모 언어 모델 (LLM) 을 사용하며, 그래프 기반 워크플로우 (LangChain/LangGraph) 를 통해 오케스트레이션됩니다. 평가는 MIMIC-III 및 MIMIC-IV 퇴원 요약에서 파생된 i2m4 벤치마크에서 수행되었으며, 멀티모달 파이프라인을 단일모달 텍스트 전용 베이스라인과 비교했습니다.

주요 기여
본 논문은 다섯 가지 주요 기여를 합니다:

1. RAG 기반 멀티모달 통합: 텍스트에서 도출된 사건 타임라인을 구조화된 EHR 행과 정렬하는 프레임워크를 개발하여, 단일모달 텍스트 전용 재구성보다 향상된 시간적 정밀도를 입증했습니다.
2. 다단계 그래프 기반 파이프라인: 재구성을 발판으로 삼기 위해 시간적 기준점으로 중앙 사건을 사용하는 분해 전략을 도입한 후, 비중앙 사건 부착 및 정제를 수행하여 단일 통과 공식화보다 우수한 성과를 거두었습니다.
3. 단계별 통합 분석: 보정 전략 (중앙 발판만 업데이트, 최종 타임라인만 업데이트, 둘 다 업데이트, 또는 둘 다 업데이트하지 않음) 의 경험적 비교를 통해 다양한 단계에서 구조화된 증거의 구체적 가치를 규명했습니다.
4. 표 데이터의 간극 분석: 텍스트에는 존재하지만 표 데이터에는 부재, 지연, 또는 의미론적으로 압축된 임상 관련 사건의 경험적 특성을 규명하여, 완전한 궤적 재구성을 위해 비정형 텍스트가 필요한 정도를 정량화했습니다.
5. 성능 특성화: 멀티모달 정렬이 사건 시점을 텍스트에서 직접 추론할 수 없을 때, 특히 구조화된 증거로 지원되는 사건의 경우 가장 큰 이득을 가져온다는 분석을 제시했습니다.

결과
DeepSeek, GLM, Qwen 변형을 포함한 7 가지 지시 명령 튜닝 LLM 을 대상으로 평가한 결과, 멀티모달 파이프라인은 단일모달 텍스트 전용 베이스라인에 비해 시간적 일치도와 **절대 타임스탬프 정확도 (AULTC)**를 일관되게 향상시켰으며, 사건 매칭률은 저해하지 않았습니다.

• 시간적 정밀도 대 사건 복구: 구조화된 증거의 추가는 복구된 사건의 수에는 거의 영향을 미치지 않았으나 (사건 매칭률은 안정적 유지), 타임스탬프의 정확도는 크게 향상시켰습니다. 예를 들어, GLM5 는 멀티모달 설정에서 가장 높은 일치도 (0.812) 와 AULTC(0.829) 를 달성했습니다.
• 절제 연구: 다단계 그래프 분해는 단일 단계 생성보다 우수함이 입증되었습니다. 구조화된 증거를 사용하여 중앙 발판과 최종 전체 타임라인 모두를 보정했을 때 가장 좋은 성능이 달성되었습니다.
• 민감도 분석: 구조화된 EHR 증거로 지원되는 사건은 AULTC 에서 균일한 개선을 보였습니다. 중앙 사건은 시간적 순서 (일치도) 에서 상당한 향상을 보였으나, 일관된 연대기를 강제하는 경우 절대 타임스탬프 정확도 향상과는 때로 트레이드오프가 있었습니다.
• 정보 간극: 간극 분석 결과, 텍스트에서 도출된 사건의 **34.8%**가 표 기록에 전혀 존재하지 않는 것으로 나타났습니다. 누락된 사건에는 주된 증상, 기능 상태, 인과적 요인이 포함되었습니다. 표의 대응 항목이 존재할 경우, 종종 유용한 시간적 기준점을 제공했으나 (중앙 차이 2.6 시간), 내러티브의 전체 의미론적 내용을 포착하지는 못했습니다.

의의 및 주장
본 논문은 임상 타임라인 재구성에 있어 멀티모달 정렬의 주된 이점이 사건 발견이 아닌 시간적 보정에 있다고 주장합니다. 구조화된 EHR 데이터는 내러티브 텍스트에서 식별된 사건의 시점을 선명하게 하기 위한 외부 시간적 기준점으로서 가장 효과적으로 기능하며, 내러티브의 사건 내용을 대체하는 것은 아닙니다.

저자들은 임상 타임라인 구축을 상호 보완적인 시간적 증거 소스 간의 정렬 문제로 간주해야 한다고 주장합니다. 내러티브 텍스트는 초기 증상과 맥락을 포함하여 환자 경과에 대한 가장 완전한 기록을 제공하는 반면, 구조화된 기록은 더 날카로운 시간적 기준점을 제공합니다. 이러한 멀티모달 정렬을 통해 명시적인 환자 타임라인을 재구성함으로써, 과거 기록은 위험 예측, 인과 분석, 시간적 의사결정 지원에 더 적합한 종단적 구조화된 표현으로 변환될 수 있습니다. 본 연구는 텍스트 전용 환경에서도 시간적 정보를 제공하는 기준 사건을 중심으로 작업을 분해하면 타임라인 품질이 향상될 수 있음을 시사하지만, 구조화된 데이터의 통합은 시간적 충실도 측면에서 뚜렷한 이점을 제공한다고 결론지었습니다.