기술 요약: RxEval – 약물 추천을 위한 처방 단위 LLM 평가 벤치마크

문제 정의

의료 분야에서 대규모 언어 모델 (LLM) 을 평가하기 위한 현재 벤치마크들은 주로 의학 지식 회상 (예: MedQA 와 같은 면허 시험) 이나 거시적인 입원 단위 약물 예측에 초점을 맞추고 있습니다. 기존 약물 추천 벤치마크 (예: GAMENet, SafeDrug) 는 ICD 진단 및 시술 코드의 멀티핫 (multi-hot) 벡터를 기반으로 전체 입원 기간에 대한 단일 치료 코드 (ATC-3 수준) 세트를 예측하는 방식으로 과제를 구성합니다.

저자들은 이 구성 방식이 실제 임상 실무를 반영하지 못한다고 주장하며, 그 이유는 다음과 같습니다:

1. 시간적 세분성: 입원 기간 동안의 모든 처방을 하나의 레이블로 집계하여, 환자의 상태가 변화함에 따라 임상 의사가 반복적이고 시간 특정적인 결정을 내린다는 점을 무시합니다.
2. 입력 충실도: 개별화된 치료에 임상 의사가 의존하는 맥락을 제거하는 범주형 코드를 선호하여, 실험실 수치, 활력 징후, 임상 기록, 영상 소견과 같은 풍부한 임상 데이터를 배제합니다.
3. 출력 구체성: 서로 다른 약물을 광범위한 치료 하위 범주로 축소하고, 안전성과 효능에 필수적인 용량 및 투여 경로와 같은 중요한 세부 사항을 생략합니다.

방법론

본 논문은 처방 단위 의사결정에 대한 LLM 평가를 위해 설계된 벤치마크인 RxEval을 제안합니다. 방법론은 MIMIC-IV 중환자실 전자의무기록 (EHR) 데이터베이스에서 데이터 세트를 구축하고 평가를 다지선다형 질문 (MCQ) 과제로 구성하는 것을 포함합니다.

1. 과제 구성

입원 단위 예측과 달리, RxEval 은 입원 기간 내의 각 처방 시점을 별도의 결정 사례로 취급합니다.

• 입력: 인구통계학적 정보, 알레르기, 재택 약물 등을 포함한 상세한 환자 프로필 ($P_a$) 과, 시간 순서대로 정렬된 임상 궤적 ($H_{a,<t}$) 을 결합합니다. 여기에는 시간 $t$까지의 실험실 결과, 시술, 방사선 보고서, 이전 처방 등이 포함됩니다.
• 출력: 시간 $t$에 처방된 특정 약물 - 용량 - 경로 3 중자 (triples) 세트 ($M_{a,t}$).
• 형식: 명칭 변이와 여러 임상적으로 허용 가능한 대안으로 인한 평가 모호성을 피하기 위해, 과제는 다지선다형 질문 (MCQ) 으로 구성됩니다. 모델은 옵션 목록에서 올바른 약물 하위 집합을 선택해야 합니다.

2. 추론 체인 교란을 통한 오답 생성

핵심 혁신은 일반 의학 지식만으로는 배제할 수 없는 "환자별" 오답 (잘못된 옵션) 을 생성하는 것입니다. 이는 3 단계 파이프라인을 통해 달성됩니다:

1. 추론 체인 주석: LLM 이 특정 환자에게 왜 특정 약물이 올바른지 설명하는 임상 추론 체인을 주석으로 달며, 특정 관찰 사실 (facts) 과 임상적 추론을 연결합니다. 비평 LLM 은 모든 사실이 환자의 기록에 기반하고 논리가 일관되도록 검증합니다.
2. 교란: 특정 임상 관찰을 무시하거나 상태를 변경 (예: 문서화된 알레르기 무시) 하여 추론 체인을 교란시킵니다. 그런 다음 LLM 은 교란된 체인 하에서는 적절하지만 실제 환자에게는 잘못된 약물을 생성합니다.
3. 검증: 오답이 환자의 기록을 기반으로 검증 가능하게 잘못되었으며 (구체적인 환자 데이터를 통해 배제해야 할 만큼) 충분히 어렵도록 검증합니다. 95 개의 오답에 대한 의사의 검토 결과, 96.8% 가 명백히 부적절함이 확인되었습니다.

3. 데이터 세트 구성

RxEval 은 584 명의 고유 환자 (587 건의 입원) 에서 파생된 1,547 개의 MCQ 로 구성됩니다.

• 범위: 18 개 ICD 진단 장과 긴 꼬리 분포를 가진 969 개의 고유 약물을 포괄합니다.
• 복잡성: 질문당 평균 7.03 개의 옵션 (최대 23 개) 을 가지며, 가변 크기의 하위 집합 (평균 2.03 개의 정답) 을 선택해야 합니다. 질문의 44.9% 가 다중 정답입니다.
• 맥락 길이: 프롬프트의 중앙값 길이는 3,111 토큰 (최대 118,805) 으로, 표준 의학 QA 벤치마크보다 훨씬 깁니다.

주요 결과

저자들은 16 개의 LLM(8 개의 독점 모델, 8 개의 오픈소스 모델) 을 RxEval 에서 평가했습니다.

• 구별 능력: RxEval 은 다양한 능력을 가진 모델들을 효과적으로 분리합니다. F1 점수는 Llama-3.1-8B-Instruct 의 45.18 에서 Gemini-3.1-Pro 의 77.10 까지 다양합니다.
• 난이도: 가장 강력한 모델인 Gemini-3.1-Pro 조차 **완전 일치 정확도 (Exact Match accuracy) 가 46.10%**에 불과하여, 이 과제가 아직 해결되지 않았음을 나타냅니다.
• 지식 vs 추론: 최첨단 모델이 MedQA(지식 회상) 에서 89% 이상의 점수를 기록하는 반면, RxEval 에서는 성능이 현저히 낮고 다양합니다. 이는 RxEval 이 정적 지식이 아닌 시간적 임상 추론을 평가함을 시사합니다.
• 파인튜닝의 한계: 의학 도메인 파인튜닝 모델 (예: HuatuoGPT-o1, MedGemma) 은 일반 지시 튜닝 모델에 비해 F1 점수에서 미미한 증가 (+1.2~+2.2) 만 보였으며, 이는 현재 파인튜닝 패러다임이 처방 단위 결정에 필요한 특정 시간적 추론을 포착하지 못함을 시사합니다.
• 오류 분석:
  • 소홀 오류: 모델은 명시적으로 언급된 환자 정보 (예: 알레르기) 를 자주 무시합니다. 예를 들어, 문서화된 헤파린 알레르기가 있는 환자에게 헤파린을 처방하는 경우입니다. 프롬프트 끝에 알레르기 목록을 반복하면 이러한 오류의 85.4% 가 수정되었습니다.
  • 추론 오류: 모델은 관찰 결과에서 임상적 결론을 도출하지 못합니다. 예를 들어, 크레아티닌 수치가 높은 환자에게 신장을 통해 배설되는 약물을 처방하거나 고혈압의 원인을 잘못 귀속시키는 경우입니다.
  • 시간적 저하: 임상 궤적이 가장 길고 복잡한 입원 후기 단계에서 전반적으로 성능이 저하됩니다.

중요성과 주장

본 논문은 RxEval 이 임상 응용 분야를 위한 LLM 평가에 필요한 전환을 나타낸다고 주장합니다:

1. 현실성: 거시적이고 입원 단위의 예측에서 입원 환자 처방의 세분적이고 시간 특정적인 현실로 평가를 이동시킵니다.
2. 지식 너머: 의학 지식 벤치마크에서의 높은 성능이 복잡하고 진화하는 임상 데이터를 안전하고 구체적인 치료 계획으로 종합하는 능력을 보장하지 않음을 보여줍니다.
3. 진단적 가치: 이 벤치마크는 최첨단 모델의 체계적인 실패 양상을 드러내며, 구체적으로는 환자별 제약 조건에 대한 주의 유지 (소홀) 와 다단계 임상 추론 수행 (추론) 의 실패를 지적합니다.
4. 안전성 함의: 최상위 모델조차도 용량, 경로, 금기 사항 통합에 어려움을 겪고 있음을 강조함으로써, 저자들은 엄격한 인간 감독 없이는 현재 LLM 이 약물 추천을 위한 자율 배포에 준비되지 않았다고 주장합니다.

저자들은 RxEval 을 임상 배포 전에 해결해야 할 추론 및 주의 메커니즘의 특정 격차를 식별함으로써, 더 안전하고 신뢰할 수 있는 임상 AI 시스템 개발을 안내하는 도구로 위치시킵니다.