Are LLMs Ready to Assist Physicians? PhysAssistBench for Interactive Doctor-Patient-EHR Assistance

이 논문은 실제 MIMIC-IV 사례들로 구축된 새로운 벤치마크인 PhysAssistBench를 소개하며, 이는 상호작용적인 의사-환자 시나리오에서 대규모 언어 모델이 임상 지식, 환자 소통, 그리고 EHR 도구 활용을 조정하는 능력을 평가하고, 개별 역량에서의 고립된 개선에도 불구하고 현재의 모델들이 이러한 통합적인 의사 보조 측면에서는 여전히 신뢰할 수 없는 수준임을 밝히고 있다.

핵심

핵심 아이디어: "슈퍼 인턴" 테스트

의사들이 업무 과다로 고통받는 병원을 상상해 보세요. 그들은 자신을 도와줄 "슈퍼 인턴"(AI)을 채용하고 싶어 합니다. 이 인턴은 세 가지 일을 동시에 수행해야 합니다:

1. 환자의 차트(전자 건강 기록 또는 EHR)를 즉각적으로 읽기.
2. 전체적인 상황을 파악하기 위해 환자와 대화하기.
3. 바쁜 의사가 줄임말로 말할 때 그 의사의 말을 듣고 이해하기.

이 논문은 AI가 의학 시험(교과서를 암기하는 학생처럼)은 잘 치를지 모르지만, 의사의 조수로서 실제 현장의 복잡한 업무를 처리할 수 있는지는 아직 알 수 없다고 주장합니다. 이를 알아내기 위해 저자들은 PhysAssistBench라는 매우 어려운 새로운 테스트를 구축했습니다.

문제점: "교과서" vs "현실 세계"

현재의 AI 테스트를 빈 주차장에 놓인 콘 사이에서 차를 주차하는 운전 시험에 비유해 봅시다. AI는 아주 훌륭하게 통과합니다.

하지만 현실은 빈 주차장이 아닙니다. 바로 출퇴근 시간의 정체 구간입니다.

• 의사: 의사는 "혈압을 확인해 주세요"라고 말하는 대신, "압력은 어때요?" 혹은 그냥 "압력?"이라고 짧게 말할 수 있습니다 (이를 **암시적 질의(implicit query)**라고 합니다).
• 환자: 환자는 "혈압이 높아요"라고 말하는 대신, "머리가 풍선처럼 부풀어 오른 것 같고, 양말 자국이 발목에 깊게 남아요"라고 말할 수 있습니다 (이는 모호한 의사소통입니다).
• 시스템: 병원 컴퓨터는 특정 데이터를 얻기 위해 정해진 순서대로 특정 버튼을 클릭해야만 합니다.

논문은 이 세 가지가 한데 섞일 때 현재의 AI 모델들이 실패한다고 말합니다. AI는 교통 체증 속에서 길을 잃고 맙니다.

해결책: "비디오 게임" 병원

AI를 제대로 테스트하기 위해, 연구진은 MIMIC-IV라는 데이터베이스의 실제 익명화된 환자 데이터를 사용하여 현실적인 시뮬레이션을 구축했습니다.

그들은 단순히 질문을 작성한 것이 아니라, 세 명의 캐릭터가 등장하는 비디오 게임 환경을 만들었습니다:

1. 바쁜 의사: 실제 의료 사례를 바탕으로 짧고 모호한 질문을 던지는 AI입니다.
2. "에이전트형" 환자: 실제 인간처럼 행동하는 컴퓨터 캐릭터입니다. 이 캐릭터는 의료 기록을 가지고 있지만, 동시에 '성격'도 가지고 있습니다. 증상을 말하는 것을 잊어버리거나, 은어나 속어를 사용하여 증상을 설명할 수도 있습니다. 이 환자는 지어낸 이야기가 아니라 오직 자신의 실제 의료 기록에 근한 답변만 합니다.
3. 병원 컴퓨터: 정확한 디지털 "열쇠"(도구)를 사용하여 요청할 때만 데이터를 제공하는 엄격한 시스템입니다.

테스트를 받는 AI는 조수(Assistant) 역할을 수행해야 합니다. 의사의 말을 듣고, 의사가 실제로 무엇을 의미하는지 파악하며, 환자에게 적절한 질문을 던지고, 컴퓨터에서 사실 관계를 확인한 뒤, 의사에게 명확한 답변을 전달해야 합니다.

테스트: 네 번의 혼돈(Chaos)

이 테스트는 324개의 서로 다른 "시나리오"(각기 다른 환자 케이스)로 구성됩니다. 각 시나리오는 네 개의 라운드로 진행됩니다:

• 라운드 1: 의사가 특정 사실을 요구합니다 (예: "최신 혈액 검사 결과가 뭐야?").
• 라운드 2: 의사가 더 많은 정보를 요구하지만, 줄임말을 사용합니다 (예: "그리고 약은?").
• 라운드 3: 의사가 지금까지의 정보를 바탕으로 권고 사항을 묻습니다 (예: "이 모든 상황을 고려할 때, 어떻게 해야 하지?").
• 라운드 4: 의사가 AI에게 새로운 처방전을 쓰거나 파일을 업데이트하도록 요청합니다.

AI는 전체 시나리오를 통과하기 위해 네 라운드 모두를 완벽히 수행해야 합니다. 단 한 번의 턴이라도 실수하면 해당 세션은 실패한 것으로 간주됩니다.

결과: "슈퍼 인턴"의 비틀거림

연구진은 GPT-5, Claude, Gemini와 같은 유명한 모델들을 포함하여 14개의 가장 똑똑한 AI 모델들을 테스트했습니다.

결과:

• 좋은 소식: AI는 단순한 작업에는 뛰어납니다. 의사가 "혈압이 얼마인가요?"라고 묻고 AI가 단순히 그것을 찾아내는 경우, 80% 이상의 높은 정확도를 보였습니다.
• 나쁜 소식: 테스트가 복잡해지면 AI는 심하게 고전합니다.
  • "줄임말" 문제: 의사가 모호한 언어(예: "약 좀 확인해봐")를 사용할 때, AI는 어떤 약인지 혹은 무엇을 확인해야 하는지에 대해 자주 혼란을 느낍니다.
  • "환자" 문제: AI가 누락된 정보를 얻기 위해 "환자"와 대화해야 할 때 성능이 급격히 떨어집니다. AI는 컴퓨터 파일을 읽는 것보다 대화를 나누는 데 훨씬 서툽니다.
  • "전부 아니면 전무(All-or-Nothing)" 문제: 가장 우수한 모델조차 4라운드 전체 시나리오를 완벽하게 통과한 비율은 약 **8%에서 23%**에 불과했습니다. 이는 실제 병원에서 AI가 다단계 대화를 수행할 때, 성공하기보다는 실수할 확률이 더 높다는 것을 의미합니다.

결론

이 논문은 AI가 아직 실제 병원에서 의사의 신뢰할 수 있는 "부조종사(Co-pilot)"가 될 준비가 되지 않았다고 결론짓습니다.

비유:
당신이 로봇에게 요리사가 되는 법을 가르치고 있다고 상상해 보세요.

• 기존 테스트: 당신은 로봇에게 "양파를 썰 수 있나요?"라고 물었습니다. 로봇은 통과했습니다.
• 이 새로운 테스트: 당신은 로봇을 바쁜 주방에 넣었습니다. 헤드 셰프가 "수프 좀 고쳐놔!"라고 소리칩니다. 로봇은 수프 맛을 보고, 고객이 무엇을 원하는지 묻고, 식재료가 있는지 찬장을 확인한 뒤, 직접 요리를 해야 합니다.
• 결과: 로봇은 계속 수프를 태우거나 고객에게 물어보는 것을 잊어버립니다. 로봇은 양파 써는 법은 알지만, 주방을 운영하는 법은 모르는 것입니다.

저자들은 AI의 가장 큰 걸림돌은 의학 지식이 부족해서가 아니라, 혼란 없이 듣기, 말하기, 도구 사용을 동시에 **조정(Coordinate)**하는 능력이 부족하기 때문이라고 말합니다. 저자들은 다른 연구자들이 이러한 구체적인 문제들을 해결할 수 있도록 이 테스트를 공개했습니다.

기술 요약

기술 요약: PHYSASSISTBENCH

문제 정의

의료 분야에서의 대규모 언어 모델(LLM) 평가는 현재 의료 지식 검색, 전자 건강 기록(EHR) 시스템 상호작용, 또는 환자 커뮤니케이션와 같이 고립된 역량을 주로 평가하고 있습니다. 그러나 의료용 LLM의 가장 유망한 단기적 배포 형태는 자율적인 의사가 아니라, 인간의 감독 하에 작동하는 **보조자(Assistant)**로서의 역할입니다. 이 역할은 단일 상호작용 내에서 세 가지 뚜렷한 양식을 동시에 조율할 것을 요구합니다:

1. 암시적 의사 요청 (Implicit Physician Requests): 임상의들은 완전히 명시된 지침보다는 생략되거나, 맥락 의존적이거나, 다회차(multi-turn) 형태의 질의를 던지는 경우가 많습니다 (예: "이 모든 상황을 고려했을 때, 약을 바꿀까요?").
2. 모호한 환자 정보 (Ambiguous Patient Information): 환자는 구어체적이고, 불완전하며, 임상적으로 부정확한 증상 묘사를 제공합니다.
3. 정밀한 EHR 도구 사용 (Precise EHR Tool Use): 시스템은 구조화된 기록을 검색하거나 업데이트하기 위해 정확한 FHIR 기반의 도구 호출을 실행해야 합니다.

기존의 벤치마크는 이러한 통합된 환경을 포착하지 못합니다. 기존 방식은 이러한 역할들을 개별적으로 취급하며(예: 정적인 Q&A 또는 단일 턴 도구 사용), 진화하는 다회차 임상 시나리오 전반에 걸쳐 지식, 커뮤니케이션, 그리고 시스템 액션을 조율하는 모델의 능력을 평가하지 않습니다.

방법론

PHYSASSISTBENCH 벤치마크

저자들은 상호작용하는 의사-환자-EHR 환경에서 의사 보조제로서의 LLM을 평가하기 위해 설계된 PHYSASSISTBENCH를 소개합니다.

• 데이터 소스: MIMIC-IV로부터 추출된 실제 비식별 환자 기록을 기반으로 구축되었습니다.
• 규모: 324개의 다회차 세션(총 1,296개 턴)으로 구성되며, 영어와 중국어 모두에서 평가됩니다.
• 구조: 각 세션은 4개의 턴(Turn 0–Turn 3)으로 구성된 단일 임상 접점을 시뮬레이션합니다.
  • Turn 0: 세션을 구체적인 데이터에 고정하기 위해 항상 정보 조회(Information Lookup, IL)로 시작합니다.
  • Turns 1–3: 데이터 수집(Data Gathering, DG), 임상 추론(Clinical Reasoning, CR), 또는 쓰기/업데이트(Write/Update, WU) 작업으로 진행됩니다.
• 태스크 유형:
  • 정보 조회 (Information Lookup, IL): EHR을 통해 단일 사실을 검색합니다.
  • 데이터 수집 (Data Gathering, DG): 여러 소스(EHR + 환자 인터뷰)로부터 정보를 수집합니다.
  • 임상 추론 (Clinical Reasoning, CR): 발견된 사항들을 종합하여 권고안을 형성합니다.
  • 쓰기/업데이트 (Write/Update, WU): FHIR 쓰기 작업(예: 처방전)을 실행합니다.
• 암시성 하위 유형 (Implicitness Subtypes): 벤치마크는 세 가지 언어적 메커니즘을 통해 미지정 쿼리를 처리하는 모델의 능력을 구체적으로 테스트합니다:
  • 명사적 대용 (Nominal Anaphora, NA): 이전 엔티티를 가리키는 대명사.
  • 술어 생략 (Predicate Ellipsis, PE): 동사나 목적어의 생략 (예: "크레아티닌은?" 대신 "크레아티닌 수치는 얼마인가요?").
  • 추상적 사건 대용 (Abstract Event Anaphora, AE): 누적된 맥락에 대한 참조 (예: "이 모든 상황을 고려했을 때...").
• 평가 지표:
  • 루브릭 점수 (Rubric Score): 사실적 정확성, 임상적 해석, 환각(hallucination) 부재를 기준으로 한 턴 단위 점수.
  • Pass@Turn: 임계값을 통과하는 턴의 비율.
  • Pass@Session: 모든 턴이 임계값을 통과하는 세션의 비율 (임상 실무의 다회차 의존성을 반영하는 더 엄격한 지표).

에이전트 기반 환자 환경 파이프라인

정적인 MIMIC-IV 기록으로부터 확장 가능한 임상 근거 시나리오를 생성하기 위해, 저자들은 다중 에이전트 합성 데이터 파이프라인을 개발했습니다:

1. 환자 사전 필터링 (Patient Pre-filtering): 오프라인 검사를 통해 LLM 개입 전, 타겟 시나리오를 지원할 수 있는 충분한 근거(예: 특정 실험실 수치 추세나 약물 쌍)가 기록에 포함되어 있는지 확인합니다.
2. 세션 계획 (Session Planning): 에이전트가 정적 데이터를 특정 FHIR 도구 및 환자 인터뷰 질문이 포함된 서사로 매핑하여 일관된 4-턴 임상 아크(arc)를 구성합니다.
3. 턴 단위 생성 (Turn-Level Generation): 다중 에이전트 시스템(사용자, 플래너, 환자, 답변, 체커 에이전트)이 대화를 생성합니다.
   • 환자 에이전트 (Patient Agent): 특정 건강 문해력(health literacy)과 순응도 프로필을 가진 환자를 시뮬레이션하며, 기초가 되는 EHR 증거에 엄격히 기반하여 응답합니다 (역사실적 환각 방지).
   • 도구 실행 (Tool Execution): 사실적 근거를 보장하기 위해 MIMIC-IV 데이터에 대해 실제 FHIR 쿼리를 실행합니다.
   • 품질 게이트 (Quality Gates): 3단계 검증(계획, 관찰, 답변)을 통해 환각, 구조적 오류, 안전하지 않은 콘텐츠를 필터링합니다.

주요 기여

1. 상호작용적 보조의 공식화: 본 논문은 의사 보조를 임상 지식, 환자 커뮤니케이션, EHR 시스템 간의 조율 문제로 정의하며, 이는 고립된 역할을 평가하는 기존 평가 방식에서 간과되었던 설정입니다.
2. 확장 가능한 에이전트 파이프라인: 정적인 EHR 기록을 상호작용 가능한 "에이전트 환자"로 변환하는 참신한 방법을 제시하여, 임상적 사실성을 훼손하지 않으면서 다회차 시나리오를 가능하게 합니다.
3. PHYSASSISTBENCH 공개: 324개 세션과 1,296개 턴으로 구성된, 수동 검토 및 의사 검증을 거친 벤치마크를 공개하며, 현재의 선도적인 LLM들이 아직 신뢰할 수 있는 의사 보조제가 아님을 입증합니다.

실험 결과

저자들은 14개의 최첨단 LLM(폐쇄형 5개, 오픈 웨이트 9개)을 PHYSASSISTBENCH로 평가했습니다.

• 전반적인 성능: 가장 강력한 모델들(예: GLM-5, Claude-Opus-4.7, GPT-5.4-high)조차 상당한 한계를 보였습니다. 가장 우수한 모델인 GLM-5는 평균 루브릭 점수(mRS) 약 69.4%(영어)를 기록했으나, Pass@Session(엄격한 일관성)은 0.60 임계값에서 21.3%, 0.75 임계값에서 **6.5%**에 불과했습니다.
• 조율의 병목 현상: 여러 소스를 통합해야 하는 작업에서 성능이 크게 저하되었습니다.
  • *정보 조회 (Information Lookup)*는 견고했습니다 (~82.6%).
  • *데이터 수집 (Data Gathering)*과 *임상 추론 (Clinical Reasoning)*은 지속적인 약점으로 나타났습니다 (~47.5% 및 ~54.9% 각각), 이는 다중 도구 구성과 추론이 단일 지점 검색보다 더 어렵다는 것을 나타냅니다.
• 암시적 쿼리의 영향: 쿼리가 암시적일 때 모델은 측정 가능한 페널티를 받습니다.
  • *추상적 사건 대용 (AE)*은 명시적 쿼리에 비해 가장 큰 성능 저하(평균 -5.3%)를 일으켰습니다.
  • 상대적으로 작은 모델(예: Qwen3.5-27B)은 암시성에 극도로 취약한 모습(최대 -9.8% 하락)을 보인 반면, 더 강력한 모델들은 더 안정적이었습니다.
• 환자 커뮤니케이션 격차: 모든 모델은 EHR 전용 턴에 비해 환자 인터뷰 턴에서 실질적으로 낮은 성능을 보였습니다 (평균 26.4 포인트 하락). 이는 모호하고 구어체적인 환자의 입력을 처리하는 것이 일반적인 모델 용량과는 독립적인 별도의 능력 병목임을 시사합니다.
• 언어 편향: 비중국어 모델이 중국어 세션에서 오히려 더 나은 성능을 보이는 놀라운 결과가 나타났습니다 (Pass@Session 기준 최대 +11.4%). 이는 영어 학습 데이터가 안전 지침으로 인해 EHR 도구 호출을 억제하는 "언어 조건부 안전 우선순위(language-conditioned safety priors)" 때문인 것으로 분석됩니다.

의의 및 주장

본 논문은 신뢰할 수 있는 임상 보조를 위해서는 특정 영역의 고립된 발전이 아니라, 지식, 커뮤니케이션, 시스템 간의 조율이 필요하다고 주장합니다.

• 현재 상태: 선도적인 LLM들은 아직 신뢰할 수 있는 의사 보조제가 아닙니다. 이들은 암시적 의도를 해결하고, 환자의 모호함을 처리하며, 단일 워크플로 내에서 증거를 통합하는 데 어려움을 겪습니다.
• 평가 패러다임: 저자들은 정적인 Q&A나 단일 턴 도구 사용에 집중하는 현재의 벤치마크는 불충분하다고 주장합니다. "상호작용" 차원, 즉 맥락을 유지하고, 생략을 해결하며, 다회차에 걸쳐 도구를 조율하는 능력이 임상용 LLM 배포의 핵심 병목입니다.
• 미래 방향: 이 벤치마크는 다회차 추론과 구조화된 도구 사용을 스트레스 테스트하기 위한 자원으로 기능하며, 향ory의 발전이 단순히 파라미터적 의료 지식을 확장하는 것이 아니라 **에이전트적 조율(agentic coordination)**에 집중해야 함을 강조합니다.

저자들은 이 벤치마크가 연구 평가용이며 임상 배치나 자율적 의사 결정 용도가 아님을 명시적으로 밝힙니다. 또한 시나리오 범위의 제한(4가지 특정 임상 워크플로에 집중)과 MIMIC-IV 데이터 의존성으로 인해 모든 의료 시스템에 일반화되지 않을 수 있다는 한계를 인정합니다.