PSEBench: A Controllable and Verifiable Benchmark for Evaluating LLMs in Patient Safety Event Triage

기술 요약: PSEBench

문제 정의
환자 안전 사건(Patient Safety Event, PSE) 분류(triage)는 특정 관할 구역의 정책(예: 미네소타의 29가지 보고 대상 유해 건강 사건, MN29)에 따라 임상적 사고가 보고 대상인지 여부를 결정하는 작업입니다. 이는 전문가가 법적 정책에 근거하여 결정을 내리고, 누락된 핵심 사실을 식별하며, 정책이 모호할 경우 이진 결정을 내리는 대신 판단을 유보해야 하는 고도의 정밀함이 요구되는 작업입니다. 대규모 언어 모델(LLM)이 자동화의 가능성을 제시하고 있으나, 기존의 벤치마크는 이를 적절히 평가하지 못합니다. 선행 연구들은 복잡한 정책 기반 추론보다는 고립된 기술적 분류(예: 사건 유형, 심각도)에 초점을 맞추고 있습니다. 또한, 엄격한 정책 충실도, 다회차 정보 탐색의 필요성, 그리고 비용이 많이 드는 사후 인간 주석 없이도 회피할 수 없는 모호한 사례를 처리해야 하는 특성 때문에 이 도메인을 위한 신뢰할 수 있는 벤치마크를 생성하는 것은 매우 어렵습니다.

방법론
저자들은 **클로즈 카드(clause cards)**를 중심으로 한 정책 기반 방법론을 통해 구축된 제어 가능하고 검증 가능한 벤치마크인 PSEBench를 제안합니다.

1. 클로즈 카드 구축:

   • 핵심 혁신은 "클로즈 카드"로, 이는 규제 텍스트를 감사 가능한 변수로 구조화한 결정 명세서입니다. 여기에는 사건 유형($s$), 경계 조건($B$), 사건 요소($E$), 조건에서 요소로의 매핑 $\rho$, 의도된 판결($y$), 법적 근거($G$), 그리고 인스턴스화 제약 조건($\Phi$)이 포함됩니다.
   • 이 카드들은 LLM 보조 및 인간 참여형(human-in-the-loop) 프로토콜을 통해 생성됩니다. LLM은 정책 텍스트의 "충실한 추출(loyal extraction)"과 후보 카드의 "구조적 초안 작성(structured drafting)"을 수행하며, 이후 인간 전문가의 엄격한 감사를 거쳐 경계 조건이 판결을 위해 필요하고 공동으로 충분한지 확인합니다.

2. 제어 가능하고 검증 가능한 생성 파이프라인:

   • 앵커 기반 인스턴스화(Anchor-Driven Instantiation): 실제 탈식별된 사고 보고서(일본 의료질향상평가기구 자료)가 "앵커 자료" 역할을 하여 임상적 현실성과 다양성을 주입합니다.
   • 1단계 (사실적 인스턴스화): LLM이 앵커 자료로부터 사건 요소($E$)를 추출하여 구조화된 사실 기록을 생성합니다. 자동 검증기가 이 사실들이 클로즈 카드의 경계 조건($B$)과 제약 조건($\Phi$)을 충족하는지 확인합니다.
   • 2단계 (서사적 구어화): 두 번째 LLM이 검증된 사실들을 자유 형식의 임상 서사(narrative)로 변환합니다.
   • 폐쇄 루프 검증(Closed-Loop Verification): 추출기(Extractor)가 생성된 서사에서 기저의 사실들을 복구하고, 내러티브 검증기(Narrative Verifier)가 이를 원래의 구조화된 기록과 교차 확인합니다. 이는 서사가 의도된 사실을 충실하게 인코딩하고 있는지, 즉 "조용한 라벨 표류(silent label drift)"(판결을 변화시키는 환각 현상)가 없는지 보장합니다.

3. 벤치마크 변형:

   • 완전 사례(Complete Cases): 모든 결정적 사실이 존재하는 경우.
   • 정보 누락 사례(Missing-Information Cases): 결정적 사실의 일부($E'$)가 서사에서 제외되어, 에이전트가 이를 능동적으로 요청해야 하는 경우. 정답(ground truth)은 어떤 필드가 누락되었는지 명시적으로 추적합니다.
   • 불확실(그레이 존) 사례(Uncertain/Gray-Zone Cases): 모든 사실은 알려져 있으나 정책이 침묵하거나 모순되어, 이진 판결을 강요하기보다 상급자에게 보고(escalate)해야 하는 경우.

4. 에이전트 평가 환경:

   • 평가는 평가 대상 LLM($A_{eval}$)과 자동화된 정보 제공자($A_{info}$) 간의 다회차 상호작용을 시뮬레이션합니다.
   • $A_{info}$는 정형화된 사실을 보유한 무상태(stateless) 오라클로서, 알려진 사실과 일치하는 질의에만 답하고 그 외에는 "알 수 없음"을 선언합니다.
   • $A_{eval}$은 언제 질문을 할지(ASK)와 언제 판결을 내릴지(ANSWER)를 결정해야 합니다.

주요 기여

• PSEBench 데이터셋: MN29 정책에 기반한 5,074개의 사례(완전 사례 3,455개, 정보 누락 사례 1,362개, 불확실 사례 257개)를 포함합니다. 각 사례는 구축 과정에서 파생된 다차원 정답(판결, 클로즈, 법적 근거, 경계 조건, 누락된 필드)을 포함하여 별도의 수동 주석이 필요 없습니다.
• 방법론적 프레임워크: 고충실도의 감사 가능한 규제 분류 벤치마크를 생성하기 위해 클로즈 카드와 폐쇄 루프 검증을 사용하는 확장 가능한 정책 기반 구축 파이프라인을 제공합니다.
• 에이전트 평가: 정적인 분류 지표를 넘어 능동적인 정보 탐색과 원칙 있는 불확실성 대응을 평가하도록 설계된 전용 2역할 환경을 제공합니다.

결과
저자들은 15종의 대표적인 LLM(폐쇄형 프런티어, 오픈소스 프런티어, 소형 모델, 의료 특화 모델)을 평가했습니다.

• 판결 정확도 vs. 에이전트 준비도: 최상위 폐쇄형 모델(예: GPT-5.5, Gemini 3.1 Pro)은 완전 사례에서 높은 판결 정확도(>90%)를 달성했으나, 상호작용적 행동에서는 상당한 성능 격차가 나타났습니다.
• 정보 탐색: 모델들은 서로 다른 행동 양식을 보였습니다. 일부(예: GPT-5.5)는 누락된 사실을 능동적으로 식별하고 타겟팅된 질문을 던졌습니다. 반면 다른 모델(예: Llama-3.1-8B)은 무분별하게 질문했으며, 의료 특화 모델(예: HuatuoGPT-o1)은 거의 질문을 하지 않고 "질문 없이 확정(commit-without-asking)"하는 경향을 보였습니다.
• 불확실성 처리: 모호한 사례를 올바르게 보고(escalate)하는 능력은 가장 극명하게 갈린 역량이었습니다. 오직 강력한 모델들(GPT-5.5, Gemini 3.1 Pro)만이 의미 있는 불확실성 인지 능력을 보여주었습니다. 의료 특화 모델을 포함한 대부분의 모델은 "과잉 보고(over-reporting)" 편향을 보이며, 불확실한 사례에 대해 "보고 대상(Reportable)" 판결을 강요했습니다(예: MedGemma은 불확실한 사례의 98.4%를 보고 대상으로 분류).
• 증거 근거 제시(Evidence Grounding): 높은 판결 정확도가 증거 근거 제시의 실패를 가리는 경우가 많았습니다. 모델들은 종종 틀리거나 환각된 이유로 정답을 맞혔으며, 이는 증거 인용 및 경계 조건 적중률의 낮은 점수로 입증되었습니다.

의의 및 주장
본 논문은 PSEBench가 판결, 법적 증거 근거 제시, 타겟팅된 정보 탐색, 불확실성 인지를 공동으로 평가하는 최초의 정책 기반 PSE 분류 벤치마크라고 주장합니다. 결과는 현재의 LLM이, 심지어 프런티어 모델이라 할지라도, 실제 환자 안전 분류 업무에 자율적으로 배치되기에는 아직 준비가 되지 않았음을 시사합니다. 정적인 분류 성능과 상호작용적이고 정책에 부합하는 추론(특히 누락된 정보 처리 및 정책적 모호성 처리) 사이의 간극은 여전히 상당합니다. 저자들은 PSEBench를 임상 안전 워크플로우를 위한 더 안전하고 정책에 부합하는 LLM 애플리케이션 개발을 가이드할 수 있는 확장 가능하고 검증 가능한 테스트베드로 제시합니다.

한계점 인정
저자들은 앵커 자료가 현실성을 높여주지만, 서사가 합성된 것이므로 실제 EHR(전자 건강 기록) 노트의 구조적 무질서함을 완전히 포착하지 못할 수 있다고 언급했습니다. 또한, 평가는 정보 탐색을 대화 프로토콜로 추상화했기에, 에이전트가 실제 비구조화된 EHR 시스템을 탐색하는 능력을 테스트하지는 못합니다. 마지막으로, 본 벤치마크는 현재 MN29 정책에 기반하고 있으나, 구축 방법론은 다른 규제 프레임워크에도 일반화될 수 있다고 주장합니다.