기술 요약: Mind the Gap – 임상 QA에서의 LLM 불확실성 및 보정 벤치마킹

문제 정의

임상적 질문 답변(QA)과 같은 고위험 임상 영역에서 대규모 언어 모델(LLM)의 배포는 모델의 과잉 확신(overconfidence) 경향으로 인해 저해됩니다. 신뢰할 수 있는 불확실성 정량화(Uncertainty Quantification, UQ)는 안전한 배포를 위해 필수적이며, 이는 단순히 판별력(정답과 오답을 구별하는 능력)뿐만 아니라 보정(예측된 신뢰도와 실제 정확도 사이의 일치성)을 모두 요구합니다.

기존 문헌은 임상 환경에서의 UQ를 포괄적으로 다루는 데 종종 실패합니다. 이전 연구들은 주로 다음과 같은 한계를 가집니다:

• 최근의 추론 지향형 및 도메인 특화 LLM을 제외한, 좁고 오래된 모델 세트에 국한됨.
• 특정 의료 전문 분야 및 질문 유형에 따른 성능 변화를 가리는 집계된 지표 사용.
• 서로 다른 UQ 패러다임(점수 기반 vs 세트 기반) 및 모델 아키텍처(범용 vs 생물 의학 vs 추론형) 간의 체계적인 비교 부족.
• 분류 작업에 집중하여, 자연어 생성(NLG)에서의 불확실성 과제를 임상 맥락에서 거의 탐구하지 않음.

방법론

저자들은 10개의 오픈 소스 LLM(범용, 생물 의학 및 추론 중심 모델 포함)과 대표적인 폐쇄형 모델들을 대상으로 포괄적인 벤치마크를 수행했습니다. 평가는 두 가지 주요 데이터셋인 S-MedQA(6개 공통 의료 전문 분야 포함)와 MedExQA(5개 희귀 전문 분야 포함)를 활용하였으며, 총 1,810개의 질문을 다루었습니다.

데이터 어노테이션

QA 쌍을 6가지 뚜렷한 질문 유형(진단, 치료, 진단 검사, 정의, 절차/수술, 기타)으로 매핑하는 새로운 어노테이션 체계를 도입했습니다. 이를 통해 작업 난이도와 불확실성 프로필이 임상 맥락에 따라 어떻게 변화하는지 세밀하게 분석할 수 있습니다.

불확실성 추정 방법

연구에서는 네 가지 범주의 UQ 접근 방식을 평가했습니다:

1. 점수 기반 (Single-pass):
   • 로짓 기반 (Logit-based): 평균 토큰 레벨 확률(그리디 디코딩) 및 G-NLL (그리디하게 디코딩된 출력의 음의 로그 가능도).
   • 언어적 확신 (Linguistic Confidence): 모델이 답변을 생성한 후 스칼라 형태의 확실도 점수를 할당하는 2단계 방식.
2. 일관성 기반 (Sampling-based):
   • 의미론적 엔트로피 (Semantic Entropy): 여러 응답(질문당 10개)을 생성하고, 선택된 옵션별로 그룹화한 뒤 결과 분포의 엔트로피를 계산함.
3. 세트 기반 (Set-based):
   • 컨포멀 예측 (Conformal Prediction): 목표 표적 한계 커버리지(90%)를 달성하기 위해 응답을 샘플링하여 예측 세트를 구축함.
4. 행동적 특징 (Behavioral Features - 새로운 사례 연구):
   • 추론 지향형 모델(예: DeepSeek-R1, s1.1)의 추론 흔적(reasoning traces)에서 언어적 단서를 추출하는 경량 단일 패스 방식. 특징에는 추론 토큰 수, 스스로 던지는 질문, "Wait" 토큰의 출현 등이 포함됩니다. 이 특징들은 불확실성을 예측하기 위해 지도 학습 기반의 보정 회귀 모델에 입력됩니다.

평가 지표

성능은 다음을 사용하여 평가되었습니다:

• 판별력 (Discrimination): ROC 곡선 아래 면적 (AUROC).
• 보정 (Calibration): 기대 보정 오차 (ECE) 및 브라이어 점수 (Brier Score).
• 세트 기반 지표: 경험적 커버리지(Empirical coverage) 및 평균 세트 크기.

주요 결과

1. 전문 분야 및 질문 유형 간의 이질성

불확실성 신뢰도는 단일한 속성이 아닙니다. 다음과 같은 상당한 변동이 관찰되었습니다:

• 전문 분야: 성능은 11개 임상 전문 분야에 따라 극적으로 변동합니다. 예를 들어, 모든 모델은 언어병리학 질문에서 우연 수준(chance level)의 성능을 보였으나, 추론 모델은 소아과 및 감염병 분야에서 뛰어난 성과를 보였습니다.
• 질문 유형: "절차/수술" 질문이 가장 어려웠으며, 모든 모델이 저조한 성능을 보였습니다. 반면, "정의" 질문이 가장 쉬웠습니다.
• 디커플링 (Decoupling): 높은 정확도가 좋은 보정이나 판별력을 보장하지는 않습니다. 예를 들어, 가장 작은 모델인 Llama-3.2-3B는 낮은 정확도에도 불구하고 일부 전문 분야에서 가장 높은 AUROC를 달와냈으며, 더 큰 모델들은 때때로 과잉 확신(높은 정확도에도 불구하고 낮은 보정력)을 보였습니다.

2. UQ 방법의 성능

• 의미론적 엔트로피: 여러 번의 생성(샘 sampling)이 필요하지만, 모델 전반에 걸쳐 보정과 판별력 모두에서 가장 강력한 종합 성능을 일관되게 제공했습니다.
• 단일 패스 방법 (Single-pass Methods): 대부분의 단일 패스 방식(예: Avg Token LogProb, G-NLL)은 보정과 판별력을 동시에 달성하는 데 실패했습니다. G-NLL은 비임상 QA에서의 이전 성공에도 불구하고 저조한 성능을 보였습니다.
• 행동적 특징: 추론 흔적(예: "Wait" 토큰)에서 행동적 단서를 사용하는 새로운 방법은 의미론적 엔트로피에 근접한 성능을 달성하면서도 **단 한 번의 순방향 패스(single forward pass)**만으로 작동했습니다. 이는 지연 시간(latency)에 민고한 애플리케이션을 위한 경량화되고 해석 가능한 대안을 제공합니다.
• 모델 유형: 추론 지향형 모델(DeepSeek-R1, s1.1)은 일반적으로 우수한 정확도와 보정력을 보여주었습니다. 생물 의학 모델은 작은 규모(8B)에서 이점을 보였으나, 더 큰 규모(70B)에서는 범용 모델을 일관되게 능가하지 못했습니다.

3. 컨포멀 예측 (Conformal Prediction)

세트 기반 방법은 높은 정확도가 자동으로 신뢰할 수 있는 세트 커버리지로 이어지지 않음을 보여주었습니다.

• DeepSeek-R1-70B는 93.8%의 커버리지를 달성하며 압축된 세트를 유지하여 최상의 균형을 보여주었습니다.
• Llama-3.1-70B는 90% 커버리지 목표에 미달(85.5%)하여, 점수 기반 지표에서 세트 기반 신뢰성으로의 일반화가 부족함을 나타내는 과잉 확신을 보였습니다.
• Llama3-OpenBioLLM-70B는 높은 커버리지(90.1%)를 달성했으나 세트 크기가 컸으며, 이는 보수적임을 나타냅니다. 또한 감염병과 같은 특정 카테고리에서는 목표를 달성하지 못했습니다.

핵심 기여

1. 세밀한 벤치마킹: 11개 임상 전문 분야와 6개 질문 유형에 걸친 최초의 대규모 UQ 방법 평가를 통해, 집계된 지표가 중요한 신뢰성 차이를 가릴 수 있음을 밝혀냈습니다.
2. 포괄적인 모델 비교: 범용, 생물 의학 및 추론 중심 LLM에 대한 체계적인 비교를 통해, 도메인 특화 튜닝이 반드시 우수한 불확실성 추정을 보장하는 것은 아님을 강조했습니다.
3. 새로운 행동적 프록시 (Behavioral Proxy): 샘플링이 필요한 자원 집약적 방법의 성능을 근사하면서도 단일 패스로 작동하는 경량화된 불확실성 추정 방법을 도입했습니다.
4. 패러다임 비교: 점수 기반과 세트 기반 불확실성 추정 사이의 불일치를 입증하여, 다각적인 평가의 필요성을 강조했습니다.

의의 및 주장

본 논문은 불확실성 신뢰도는 맥락 의존적이며, 임상 전문 분야 및 질문 유형에 따라 크게 달라진다고 주장합니다. 저자들은 "일률적인(one-size-fits-all)" 평가 방식은 불충분하며 잠재적으로 오해의 소지가 있다고 주장합니다.

이 연구의 주요 기여는 경고적이면서도 건설적인 관점을 제공하는 것입니다:

• 경고: 집계된 지표는 특정 하위 도메인에서의 위험한 과잉 확신을 숨길 수 있습니다.
• 건설적 제언: 제안된 행동적 특징 방법은 샘플링이 불가능한 실제 임상 의사 결정 지원 환경을 위한 실용적이고 해석 가능한 경로를 제시합니다.

저자들은 이 연구를 임상 사용에서 정확하면서도 신뢰할 수 있는 LLM을 개발하기 위한 첫걸음으로 규정하며, 글로벌 평균에 의존하기보다 특정 임상 맥락을 고려한 평가를 옹호합니다. 또한, 어떤 불확실성 신호가 인간의 감독이 필요한 시점을 가장 잘 나타내는지 검증하기 위해 향후 연구에는 임상의의 참여가 반드시 포함되어야 함을 강조합니다.