기술 요약: ClinicalBench 및 EpiKG

1. 문제 제기

현재 임상 추론 벤치마크 (예: HealthBench Professional, MedQA) 는 사실이 미리 제공되는 '정제된' vignette 에서 대규모 언어 모델 (LLM) 을 평가합니다. 그러나 실제 전자의무기록 (EHR) 사용은 선행 단계가 필요합니다: 복잡하고 종단적인 차트에서의 **검색 충실도 (retrieval faithfulness)**입니다.

실제 EHR 에서 올바른 답변은 다음을 탐색하는 데 달려 있습니다:

• 부정: "환자는 흉통을 부인합니다."
• 시간성: 현재 상태, 과거에 해결된 상태, 미래의 가설적 상황 간 구분.
• 경험자 귀속: 환자의 상태와 가족의 병력 (예: "누나가 심근경색을 앓음") 을 구분.

기존 검색 증강 생성 (RAG) 및 지식 그래프 (KG) 시스템은 종종 이러한 맥락을 평면화합니다. 그들은 진술 메타데이터를 폐기합니다 (예: "당뇨병 제외"를 "당뇨병 보유"와 동일하게 취급) 그리고 질문 의도에 따라 검색을 라우팅하지 못합니다. 이는 추출 및 저장 중 진술 상태의 손실로 인해 근본적인 모델이 유능하더라도 잘못된 추론으로 이어지는 **인식적 전파 격차 (epistemic propagation gap)**를 생성합니다.

2. 방법론

2.1 EpiKG 시스템

저자들은 진술 메타데이터를 엔드투엔드로 보존하도록 설계된 환자 단위 임상 KG-RAG 시스템인 EpiKG를 제안합니다. 이는 세 가지 핵심 메커니즘을 구현합니다:

1. 인식적 진술 스키마 (Epistemic Assertion Schema): i2b2 분류를 확장하여 과거 병력을 가족 병력에서 분리한 7 값 분류 체계 ($\alpha \in \{Pres., Abs., Poss., Cond., Hypo., Fam.Hx., Hist.\}$) 를 사용합니다. 이 라벨은 추출, OMOP 매핑, KG 물질화를 통해 전파됩니다.
2. 이중 시간 + NLP 기반 진술 저장: 간선은 유효 시간, 거래 시간 (Snodgrass 전통), 그리고 NLP 에서 유도된 시간성 라벨 ($\tau_a \in \{Past, Current, Future\}$) 을 저장합니다.
3. 의도 인식 라우팅: 분류기가 질문을 특정 그래프 탐색 전략에 매핑합니다:
   • 변화 (Change): 입원 간 차집합 교차.
   • 현재 상태 (Current_State): $\tau_a = Current$이거나 유효 기간이 열린 간선을 필터링.
   • 과거 (Historical): 과거 간선을 선택하고 이전 입원에는 존재했으나 최신 입원에는 부재한 상태에 대해 '해결됨' 상태를 추론.
   • 기본값 (Default): 양방향 BFS 탐색.

2.2 ClinicalBench: 평가 벤치마크

진술 인식 검색을 스트레스 테스트하기 위해 저자들은 ClinicalBench를 도입했습니다:

• 코호트: 43 명의 MIMIC-IV 환자 (편의 표본; 2 회 입원 32 명, 1 회 입원 11 명).
• 범위: 9 가지 진술 민감 카테고리 (부정, 조건부, 불확실성, 가족 병력, 순서, 현재 상태, 지속 기간, 과거, 변화) 에 걸친 400 개의 질문.
• 설계: 검색을 위해 사용된 동일한 비식별화 차트에서 작성된 질문을 대상으로 한 동분포 스트레스 테스트로, 교차 사이트 일반화보다는 검색 충실도에 초점을 맞춤.
• 절대 조건 (Ablation Conditions):
  • C1: LLM 단독.
  • C2/C2b: 일반 RAG (TF-IDF / Dense/Contriever).
  • C3: 진술 없는 KG-RAG.
  • C4: 진술은 있으나 의도 라우팅이 없는 KG-RAG.
  • C4g: 의도 인식 KG-RAG (전체 시스템).
  • C6: 긴 컨텍스트 (모든 노트 연결).
  • C7: 결정론적 KG (LLM 없음).

2.3 평가 프로토콜

• 모델: 6 개 LLM 에 걸쳐 평가 (Claude Opus 4.6, GPT-OSS 20B, MedGemma 27B, Gemma 4 31B, MedGemma 1.5 4B, Qwen 3.5 35B).
• 지표:
  • 주요 종점: 두 명의 외부 의사 (Hird 및 Nadeem) 가 만장일치로 엄격하게 등급을 매긴 $n=50$개 항목에 대한 저자 제외 쌍대 정확 McNemar 검정.
  • 민감도 종점: 결정론적 키워드 평가기 ($n=362$, 변화 제외), 3 인 의사 다수결 ($n=100$), 그리고 오라클 의도 분류.
• 데이터 무결성: 저자들은 자동 생성된 v2 참조 답변의 56% 결함률 (NLP 분류기 오류로 인한) 을 인정하며, 금표준의 한계에 대한 투명성을 유지하면서 부분적으로 수정된 집합을 기반으로 결과를 보고합니다.

3. 주요 결과

3.1 주요 종점 (저자 블라인드)

외부 의사 심의 ($n=50$) 에 대한 저자 제외 쌍대 정확 McNemar 검정은 다음을 보여주었습니다:

• C4g vs. C1: $\Delta = +22.0$ 퍼센트 포인트 (pp).
• 신뢰 구간: 95% Newcombe CI $[+5.1, +31.5]$.
• 유의성: $p = 0.0192$.
  이는 독립적인 의사에 의해 평가될 때 의도 인식 KG-RAG 가 LLM 단독 기준보다 유의하게 우월함을 확인시켜 줍니다.

3.2 구조적 신규성 및 절제

• 검색 vs. 라우팅: 검색만으로는 C1 대비 큰 이득 (C2b, Dense RAG, +29.0 pp) 을 제공했습니다. 그러나 라우팅 없이 진술을 추가한 것 (C4) 은 시간성 카테고리에서 C3 대비 실제로 성능을 저하시켰습니다 (-3.8 pp).
• 라우팅 효과: 의도 인식 라우팅 (C4g) 은 이득을 회복하고 확장했습니다.
  • C2b $\to$ C4g (키워드): +8.84 pp ($p = 1.79 \times 10^{-3}$).
  • C2b $\to$ C4g (오라클): +12.43 pp.
• 카테고리 상호작용: 진술만으로는 진술 민감 카테고리 (예: 부정 +22.7 pp) 에는 도움이 되었으나 시간성 카테고리 (예: 과거 -30.0 pp) 에는 해를 끼쳤습니다. 라우팅은 이러한 결손을 반전시켰습니다.

3.3 교차 모델 수렴

6 개 모델 모두 C4g 구조에서 혜택을 받았습니다. 그러나 개선의 크기는 모델의 기준선 강도와 반비례했습니다 ($\beta = -1.123, r = -0.921, p = 0.009$). 저자들은 이를 구조화된 검색이 모델 파라미터 수를 대체한다는 증거라기보다는 평균으로의 회귀로 해석합니다.

3.4 SliceBench (복잡성 연구)

6 명의 환자, 144 개의 질문으로 구성된 소규모 사례 연구는 복잡성에 의존하는 효과를 시사했습니다. 즉, 더 많은 진료 기록을 가진 환자 (Tier C: +5.0 pp) 에게 KG-RAG 이득이 더 컸으나 (Tier A: +0.6 pp), 이는 집계 통계적 유의성에 도달하지는 못했습니다.

4. 기여 및 중요성

이 논문은 세 가지 주요 기여를 합니다:

1. ClinicalBench: 실제 EHR 에서 검색 충실도를 스트레스 테스트하도록 설계된 새로운 진술 민감 벤치마크로, 집계 점수가 숨기는 카테고리 조건 상호작용을 노출시킵니다.
2. EpiKG 및 인식적 전파 격차: 임상 NLP 파이프라인에서 진술 메타데이터 손실의 형식화와 검색을 통해 진술 및 시간 메타데이터를 1 급 속성으로 보존하는 시스템 구현.
3. 구조적 검증: 의도 인식 라우팅이 구조화된 검색의 이점을 실현하는 데 있어 결정적 요소라는 경험적 증거. 논문은 라우팅 없이 진술 라벨을 전달하는 것이 성능을 저하시킬 수 있음을 보여주며, 질문 의도에 따른 라우팅이 교차 입원 임상 QA 를 크게 개선함을 입증합니다.

중요성:
저자들은 추론 벤치마크가 정제된 입력에서 임상 추론의 '마지막 1 마일'을 측정하는 반면, '첫 번째 1 마일'은 복잡한 차트에서 올바른 환자를 읽는 것이라고 주장합니다. 이 작업은 **표현 (representation)**이 임상 AI 의 과소 측정된 전제 조건이라고 가정합니다. 연구 결과는 임상 QA 에 있어 진술 메타데이터 (부정, 시간성, 귀속) 를 보존하고 검색 전략을 질문 의도와 정렬하는 것이 단순히 모델 크기를 늘리거나 긴 컨텍스트 창을 사용하는 것보다 더 큰 영향을 미친다고 시사합니다.

한계 및 범위:
이 논문은 주장에 있어 겸손합니다:

• 이는 단일 사이트, 동분포 스트레스 테스트이며, 다중 사이트 표현형 검증이 아닙니다.
• 참조 답변에는 알려진 결함 (v2 에서 56% 오류율) 이 있으며, 저자들은 벤치마크가 임상 배포 준비도의 결정적 측정치가 아닌 '탐침 (probe)'이라고 명시적으로 밝힙니다.
• 저자 순환성 (설계자, 빌더, 내부 평가자) 은 외부 의사 심의 및 교차 모델 복제로 완화되었으나 여전히 구조적 한계로 남아 있습니다.
• 이 작업은 임상 배포 준비도를 주장하지 않으며, 향후 배포를 위한 거버넌스, 안전성, 다중 사이트 검증을 전제 조건으로 식별합니다.