DeVisE: Behavioral Testing of Medical Large Language Models

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 대규모 언어 모델 (LLM) 이 임상 의사결정 지원 시스템에 점차 적용되고 있지만, 기존 평가 지표들은 모델이 진정한 임상적 추론 (Clinical Reasoning) 을 수행하는지, 아니면 단순한 표면적 상관관계나 편향에 의존하는지 명확히 드러내지 못합니다.
• 핵심 문제: 의료 LLM 이 환자의 주요 임상 변수 (예: 심박수, 나이, 성별 등) 를 변경했을 때, 인간 의사와 유사하게 임상적 개념을 활용하여 예측을 조정하는지, 아니면 편향 (Bias) 이나 우연한 상관관계에 의존하는지 검증하는 체계적인 평가 프레임워크가 부족합니다.
• 목표: LLM 이 임상적으로 의미 있는 변수 변화에 대해 얼마나 일관되고 비례적으로 반응하는지, 즉 행동적 테스트 (Behavioral Testing) 를 통해 모델의 추론 패턴과 견고성을 평가하는 것입니다.

2. 제안된 방법론: DeVisE (Methodology)

DeVisE (Demographics and Vital signs Evaluation) 는 통제된 반사실적 (Counterfactual) 데이터를 기반으로 한 행동적 테스트 프레임워크입니다.

• 데이터 소스: MIMIC-IV 데이터베이스의 ICU 퇴원 기록 (Discharge Summaries) 을 기반으로 합니다.
  • 입력 데이터: 1,001 건의 원시 (Raw) 입원 기록과, 관심 변수 (인구통계학적 정보 및 생체 징후) 만 추출하여 템플릿화한 (Template-based) 기록을 생성했습니다.
  • 변수:
    • 인구통계학적 변수: 나이, 성별, 인종.
    • 생체 징후 (Vital Signs): 심박수, 수축기/이완기 혈압, 체온, 산소 포화도, 호흡수.
• 반사실적 생성 (Counterfactual Generation):
  • 각 환자 기록에서 단일 변수만 임상적으로 의미 있는 범위로 변경 (예: 심박수 89 bpm → 120 bpm) 하고 나머지는 동일하게 유지하여 반사실적 환자 기록을 생성합니다.
  • 총 166,731 개의 반사실적 데이터를 생성했으며, 자동 및 수동 검증을 통해 데이터 품질을 확보했습니다.
• 평가 프로토콜:
  1. 작업 독립적 평가 (Task-independent): 특정 하위 작업 없이, 반사실적 입력에 대한 모델의 퍼플렉시티 (Perplexity, PPL) 변화를 측정하여 언어적 민감도를 평가합니다.
  2. 작업 특화적 평가 (Task-specific):
     • 임상 하위 작업: ICU 입원 기간 (LoS) 예측 및 사망률 (Mortality) 예측 (Zero-shot 설정).
     • 평가 지표:
       • KL 발산 (KL Divergence): 반사실적 입력에 따른 확률 분포 변화량.
       • 레이블 뒤집기 (Label Flips): 예측 클래스가 변경된 비율.
       • 방향성 정확도 (Correct Direction): 임상적 중증도 변화 (예: 상태 악화) 에 따라 예측이 올바른 방향으로 변했는지.
       • 단조성 (Monotonicity): 중증도가 증가함에 따라 예측이 일관되게 증가/감소하는지.

3. 주요 기여 (Key Contributions)

1. DeVisE 벤치마크 도입: 인구통계학적 변수와 생체 징후에 대한 최소한의 차이 (Minimally differing) 를 가진 반사실적 데이터를 활용한 임상 NLP 를 위한 행동적 테스트 프레임워크를 처음 제안했습니다.
2. 검증된 데이터셋 공개: 1,001 건의 원시 및 템플릿 기반 검증된 기록과 각각에 대응하는 반사실적 데이터를 공개하여, 임상적으로 의미 있는 반사실적 변화에 대한 모델 견고성 평가를 가능하게 했습니다.
3. 포괄적인 모델 비교: 일반 목적, 의료 특화, 추론 중심 등 8 가지 최신 LLM(Phi4, Meditron, LLaMA, OpenBioLLM, GPT 시리즈 등) 을 다양한 차원 (템플릿 vs 원시 텍스트, 작업 독립 vs 특화) 에서 비교 분석했습니다.

4. 주요 결과 (Results)

• 작업 독립적 평가 (Perplexity):
  • 모든 모델은 반사실적 변화에 대해 일관된 언어적 민감도를 보였으나, GPT-OSS-120B는 다른 모델에 비해 훨씬 큰 퍼플렉시티 변화를 보여 과도한 민감도나 불안정성을 시사했습니다.
  • 템플릿 기반 노트에서 변화가 원시 노트보다 더 뚜렷하게 나타났습니다.
• 작업 특화적 평가 (Mortality & LoS):
  • 템플릿의 영향: 템플릿 기반 입력은 모델의 정확도를 높이고, 올바른 방향성 (%CD) 을 증가시켰지만, 동시에 레이블 뒤집기 (Flips%) 를 크게 증가시켜 불안정성을 초래했습니다. 이는 맥락 정보가 제거되면 모델이 생체 징후에 과도하게 의존하게 됨을 의미합니다.
  • 모델별 차이:
    • 의료 특화 모델 (OpenBioLLM 등): 원시 노트에서는 보수적인 행동을 보였으나, 템플릿에서는 안정성이 감소했습니다.
    • 일반 목적 모델 (GPT-4.1-mini 등): 높은 민감도를 보였으나, 방향성이나 단조성 측면에서 일관성이 부족했습니다.
    • DeepSeek-R1-Distill-70B: 템플릿 환경에서도 적절한 민감도를 유지하면서 높은 방향성과 단조성을 보여 가장 균형 잡힌 성능을 보였습니다.
  • 생체 징후: 심박수 등 생체 징후의 변화는 대부분의 모델에서 임상적 중증도 변화에 비례하는 단조적인 예측 변화를 유도했습니다.
• 인구통계학적 편향 (Demographics):
  • 나이, 성별, 인종 변화는 예측 결과에 작지만 일관된 영향을 미쳤습니다. 특히 나이가 예측에 가장 큰 영향을 미쳤습니다.
  • 결정 경계 근처에서 레이블 뒤집기 비율이 높게 (최대 23%) 나타났으며, 이는 모델이 인종이나 성별에 따른 편향을 내재하고 있을 가능성을 시사합니다 (예: 흑인 환자에 대한 입원 기간 예측이 길어지는 경향 등).

5. 의의 및 결론 (Significance)

• 표준 지표의 한계 극복: 기존 정확도 (Accuracy) 나 AUROC 와 같은 표준 지표는 임상적으로 중요한 모델 행동의 차이를 숨길 수 있음을 보여줍니다. DeVisE 는 모델이 어떻게 추론하는지 (행동적 특성) 를 파악하는 새로운 평가 패러다임을 제시합니다.
• 안전한 배포를 위한 필수 도구: 의료 LLM 의 실제 배포 전, 임상적으로 의미 있는 변수 변화에 대해 모델이 얼마나 논리적이고 편향 없이 반응하는지 검증하는 DeVisE는 모델의 신뢰성, 해석 가능성, 공정성을 평가하는 핵심 도구로 자리 잡을 것입니다.
• 향후 방향: 단일 병원 데이터 (MIMIC-IV) 의 한계를 극복하고, 다양한 언어와 의료 시스템으로의 일반화, 시간적 추론 평가, 결측치 처리 영향 분석 등을 향후 과제로 제시했습니다.

요약하자면, 이 논문은 의료 LLM 이 단순히 정답을 맞추는 것을 넘어, 임상적 논리와 편향 없이 환자 상태 변화에 올바르게 반응하는지를 검증하기 위한 DeVisE 프레임워크를 제안하고, 이를 통해 다양한 모델들의 행동적 특성과 잠재적 편향을 규명했습니다.