Deployment-Centered Evaluation: Predicting Query-Level Rejection Risk in a Clinical LLM System

기술 요약: 임상용 LLM의 쿼리 수준 거절 위험에 대한 배포 중심 평가

문제 정의
대규모 언어 모델(LLM)을 임상 워크플로우에 통합하는 과정에서 중요한 평가 격차가 발생한다. 기존의 벤치마크 중심 평가는 객관적인 "정확성"(예: 의사 면허 시험의 정확도)과 과거 쿼리에 대한 종합적인 성능을 우선시한다. 그러나 이러한 정적인 평가는 실제 세계의 유용성, 즉 임상의가 생성된 응답을 실제로 수용할 것인지 아니면 "거절"할 것인지를 포착하는 데 실패한다. 거절은 낮은 인지된 유용성을 반영하는 노이즈가 섞인 개념으로, 스타일적 기대치, 맥락 또는 워크플로우 통합의 불일치로 인해 출력이 사실적으로 정확함에도 불구하고 발생할 수 있다. 또한, 기존 벤치마크는 구축 비용이 많이 들고 갱신하기 어려운 조밀하게 주석이 달린 데이터셋에 의존하므로, 역동적인 실제 배포 상황에서의 사각지대를 만든다. 핵심 과제는 응답이 생성되기 전에, 배포된 시스템에서 자연스럽게 얻을 수 있는 희소한 피드백을 활용하여 특정 사용자 상호작 작용이 거절로 이어질지 여부를 예측하는 것이다.

방법론
저자들은 한 학술 의료 센터의 전자 건강 기록(EHR) 시스템에 내장된, 응답 전 거절 예측 모델을 중심으로 하는 배포 중심 평가 프레임워크를 제안한다.

• 과업 정형화: 목표는 사용자가 LLM 응답을 거절할 확률($r_i = 1$)과 수용할 확률($r_i = -1$)을 예측하는 점수 함수 $f(\cdot)$를 학습하는 것이다. 입력값은 사용자 쿼리 $q_i$와 배포 특유의 맥락인 제공자 유형($p_i$), 부서명($d_i$), 사용된 특정 LLM 모델($m_i$), 그리고 환자 기록의 길이($l_i$)로 구성된다.
• 데이터 소스: 본 연구는 4.5개월간의 실시간 사용자 상호작용(2025년 9월 – 2026년 4월)을 활용한다. 총 74,729건의 상호작용 중 명시적인 이진 피드백("좋아요/싫어요")이 포함된 것은 1,196건뿐이었다. 중복 및 누락된 메타데이터를 필터링한 후, 최종 주석 데이터셋은 878개의 쿼리-주석 쌍으로 구성되었다.
• 모델 아키텍처: 저자들은 text-embedding-3-large를 통해 생성된 쿼리 임베딩과 원-핫 인코딩된 배포 맥락을 결합하여 학습된 로지스틱 회귀 모델을 사용한다.
  • 특징 선택: 임베딩의 하위 집합, 제공자, 부서, 모델 및 맥락 길을 포함한 31가지 가능한 특징 조합에 대해 그리드 탐색을 수행하여 검증 세트에서의 AUROC를 극대화하였다.
  • 학습 프로토콜: 본 연구는 전향적 분석(prospective analysis) 접근 방식을 사용한다. 초기 모델은 첫 8주간의 데이터로 학습된다. 이후 19주 동안, 모델은 실제 라벨이 포함된 새로운 데이터를 매주 통합하여 동적으로 재학습되며, 이는 변화하는 사용자-LLM 트렌드에 적응하기 위한 롤링 학습 윈도우를 시뮬레이션한다.
• 베이스라인: 성능은 쿼리 임베딩만을 사용하는 모델, 맥락 유무에 따른 LLM-판사 분류기(GPT-4.1 사용), 그리고 단순 "항상 수용/거절" 분류기와 비교된다.

주요 기여

1. 전향적 거절 예측: 저자들은 희소한 실제 세계의 피드백을 사용하여 미래의 쿼리에 대한 사용자 거절을 예측하는 응답 전 모델을 학습하는 것이 가능하다는 것을 입증했다.
2. 다운스트림 유용성: 거절 점수는 배포 가능한 결정 도구로 프레임화된다. 운영 임계값을 조정함으로써 동일한 모델이 두 가지 별개의 유스케이스를 지원한다:
   • 기권(Abstention): 고정밀 필터링(거절될 가능성이 높은 응답을 선제적으로 차단)을 통해 검증 피로도를 줄인다.
   • 가드레일 활성화(Guardrail Activation): 고재현 트리거링(추가 검토가 필요한 잠재적 문제를 플래깅)을 통해 저품질 출력이 사용자에게 도달하는 것을 방지한다.
3. 배포 특유의 맥락의 역할: 논문은 메타데이터(제공자 유형, 부서, 모델)를 활용하는 것이 쿼리 내용에만 의존하는 것보다 성능을 크게 향상시킨다는 점을 확립한다.

결과

• 성능: 가장 우수한 성능을 보인 모델(임베딩 + 제공자 + 부서 + 모델 포함)은 전향적 테스트 세트에서 AUROC 0.719(95% CI: [0.670, 0.767])를 달성했다.
• 비교: 이는 쿼리 임베딩 전용 베이스라인(AUROC 0.618)과 LLM-판사 베이스라인(AUROC ~0.52–0.53)보다 뛰어난 성과를 보였다.
• 특징 중요도: 정량적 분석 결과, 부서명과 제공자 유형이 상위 성능 구성에서 가장 빈번하게 나타나는 특징임을 밝혔다. 임베딩을 제거하고 맥락 특징을 유지했을 때 성능 저하가 미미했으며, 이는 데이터가 희소한 환경에서 맥락이 매우 유익하다는 것을 시사한다.
• 다운스트림 지표:
  • 고정밀 임계값($\beta = 0.12$)에서 모델은 0-정밀도 0.88(거짓 양성 3건)을 달성하여 기권에 적합함을 보였다.
  • 고재현 임계값($\beta = 4.0$)에서 모델은 0.99 재현율을 달성하여 가드레일 활성화에 적합함을 보였다.
• 질적 통찰: 거절 근거 분석 결과, 역할과 부서에 따라 상당한 차이가 있음이 나타났다. 예를 들어, 심장내과 의사들은 구체적인 임상적 세부 사항에 대한 요구로 인해 높은 거절률을 보인 반.에, 간호사들은 높은 수준의 요약을 수용하는 경향이 있었다. 마찬가지로, 중환자실 의사들은 일반 병동 의사들이 수용하는 쿼리를 거절했는데, 이는 수용 기준이 부서별 워크플로우와 역할별 기대치에 의해 형성됨을 나타낸다.

의의 및 주장
본 논문은 정적 벤치마크를 넘어 실행 가능한 개입으로 나아가는 배포 특화 평가의 출발점을 제공한다고 주장한다. 주요 의의는 평가 대상을 "정확성"에서 "사용자 수용"으로 전환하여, 임상 환경에서는 출력이 사용자의 특정 맥락과 워크플로우에 부합하는지가 유용성을 정의한다는 점을 인정한 데 있다.

저자들은 자신들의 연구 결과가 단일 학술 의료 센터에서 도출되었으며, 수동적 피드백의 희소성(사용자의 약 1.6%만이 피드백을 제공함)에 의해 제약을 받는다는 점을 겸허히 언급한다. 그들은 자신들의 결과가 배포 특유의 맥락을 사용하여 거절을 예측하는 것이 가능하다는 점을 강조하지만, 선택 편향을 해결하고 이러한 발견을 더 넓은 배포 맥락으로 일반화하기 위해서는 향후 연구가 필요하다고 주장한다. 이 연구는 모든 임상 AI 안전 문제를 해결한다고 주장하는 것이 아니라, 누가, 어떤 맥락에서, 어떤 목적으로 질문하는가가 시스템의 성공을 결정하는 데 있어 질문 자체만큼이나 중요하다는 것을 입증한다.