Self-Reported Confidence of Large Language Models in Gastroenterology: Analysis of Commercial, Open-Source, and Quantized Models

논문 요약: 위장관학 분야 대형 언어 모델 (LLM) 의 자기 보고식 신뢰도 분석

1. 연구 배경 및 문제 제기 (Problem)

• 의료 분야 LLM 의 위험성: 대형 언어 모델 (LLM) 은 임상 의사결정 지원 및 환자 데이터 해석에 활용되고 있으나, '할루시네이션 (hallucination)'으로 인해 잘못된 정보를 설득력 있는 용어와 과도한 자신감 (overconfidence) 으로 제시할 위험이 있습니다.
• 신뢰도 평가의 부재: 의료와 같은 고위험 (high-stakes) 영역에서 LLM 을 안전하게 사용하기 위해서는 모델이 자신의 답변에 대해 얼마나 확신하는지 (uncertainty quantification) 를 정량화하는 것이 필수적입니다.
• 기존 방법론의 한계: 토큰 확률 분석, 의미적 차이 평가, 머신러닝 기반 접근법 등 기존 불확실성 추정 방법들은 계산 비용이 높거나, 추가 학습 데이터가 필요하거나, 일반화 능력이 부족하다는 단점이 있습니다.
• 자기 보고식 신뢰도의 의문: 자연어 처리 능력을 활용한 '자기 보고식 신뢰도 (Self-reported confidence elicitation)'는 실용적이지만, 이전 연구들에서 LLM 이 자신의 신뢰도를 정확하게 표현하지 못하고 과신하는 경향이 있음이 밝혀졌습니다.
• 연구 목적: 상업용, 오픈소스, 양자화 (quantized) 된 다양한 LLM 들이 위장관학 (Gastroenterology) 전문 지식을 바탕으로 답변할 때, 자신의 답변에 대한 신뢰도를 얼마나 정확하게 보고하는지 체계적으로 평가하는 것입니다.

2. 연구 방법론 (Methodology)

• 데이터셋: 2022 년 미국 위장관학회 (ACG) 자가 평가 시험의 300 문항 (다지선다형, 전문가 작성) 을 사용했습니다. 이 데이터는 유료 장벽 뒤에 있어 훈련 데이터에 포함되지 않았을 가능성이 높으며, 위장관학이라는 전문 분야를 다루고 있어 모델 지식의 한계를 평가하기에 적합합니다.
• 평가 대상 모델: 총 48 개의 LLM 을 평가했습니다.
  • 모델 패밀리: Qwen, Llama (3, 3.1, 3.2, 3.3), Phi, Gemini, Gemma, Claude, GPT 시리즈.
  • 범위: 상용 모델 (API/Web), 오픈소스 모델, 양자화 (Quantized) 모델 포함.
• 실험 설계:
  • 프롬프트 엔지니어링: 답변 정확도를 극대화하기 위해 최적화된 프롬프트 구조 (전문가 모방, Chain of Thought, 직접적 질문 등) 와 파라미터 (Temperature=1, 최대 토큰 수 등) 를 적용했습니다.
  • 신뢰도 추출: 모델이 답변과 함께 0(최소) 에서 10(최대) 사이의 신뢰도 점수를 스스로 보고하도록 요청했습니다. 추출된 텍스트에서 정규식과 LLM 기반 파이프라인을 사용하여 신뢰도 점수를 자동 추출하고, 인간 검증 (Human-in-the-loop) 을 통해 99% 정확도를 확보했습니다.
• 성능 지표:
  • 분별력 (Discrimination): 정답과 오답을 구분하는 능력 (AUROC).
  • 보정 (Calibration): 예측된 신뢰도와 실제 정확도의 일치도 (Brier Score, ECE - Expected Calibration Error).
  • 기타: 평균 정확도, 평균 신뢰도 점수, 질문 난이도 및 길이별 분석.

3. 주요 결과 (Key Results)

• 과신 (Overconfidence) 의 보편성: 모든 모델에서 평균 신뢰도 점수가 평균 정확도보다 높게 나타났습니다. 즉, 모델들은 자신의 답변이 틀렸을 때도 매우 확신 있는 태도를 보였습니다.
  • 예: Mistral-7b 는 9.58 의 높은 신뢰도를 보였으나 정확도는 40.66% 에 불과했습니다.
• 성능 지표:
  • AUROC (분별력): 모든 모델의 AUROC 가 0.7 미만이었습니다. 가장 높은 점수는 GPT-o1 mini (0.626) 였으며, 대부분의 모델이 무작위 추측 (0.5) 보다 약간 나은 수준에 그쳤습니다.
  • Brier Score (보정): GPT-o1 preview (0.157) 와 Claude-3.5-Sonnet (0.202) 이 상대적으로 가장 좋은 보정 성능을 보였으나, 여전히 임상적 요구 사항을 충족하기에는 부족했습니다.
• 모델 세대 및 크기의 영향:
  • 최신 모델 (GPT-o1, Claude-3.5 등) 은 이전 세대보다 정확도와 보정 성능이 개선되었습니다.
  • 그러나 모델의 크기가 커지거나 파라미터 수가 많아진다고 해서 신뢰도 보고의 정확성이 비례하여 향상되지는 않았습니다.
• 질문 난이도와의 관계: 질문이 어려워질수록 (정답률이 낮아질수록) 모델의 정확도는 감소했으나, 신뢰도 점수는 거의 변하지 않았습니다. 이는 모델이 자신이 모르는 문제에 대해 여전히 높은 확신을 가지고 있음을 의미합니다.
• 양자화 모델: 양자화된 모델들도 베이스 모델과 유사한 경향을 보였으며, 신뢰도 과신 문제는 모델의 압축 여부와 무관하게 존재했습니다.

4. 주요 기여 (Key Contributions)

• 광범위한 벤치마킹: 상업용, 오픈소스, 양자화 모델 등 48 개의 다양한 LLM 을 위장관학이라는 특정 전문 분야에 적용하여 신뢰도 보고 능력을 체계적으로 비교 분석했습니다.
• 신뢰도 - 정확도 불일치 규명: 모델이 정답을 맞췄을 때와 틀렸을 때 신뢰도 점수의 차이가 미미하며, 질문 난이도가 높아져도 신뢰도가 하락하지 않는 등 '과신' 현상이 구조적임을 실증했습니다.
• 임상 적용의 한계 제시: 최신 모델들이 발전하고 있지만, 현재 수준의 자기 보고식 신뢰도 추정만으로는 고위험 의료 환경 (임상 의사결정) 에 안전하게 배포하기 어렵다는 결론을 도출했습니다.

5. 의의 및 결론 (Significance)

• 안전성 경고: 의료 분야에서 LLM 을 사용할 때, 모델이 "자신 있다"고 말하는 것을 맹신해서는 안 되며, 별도의 불확실성 추정 메커니즘이 필요함을 강조합니다.
• 향후 방향:
  • 단순한 자기 보고식 신뢰도 elicitation 만으로는 부족하므로, Few-shot 학습, In-context learning, 또는 BERT 기반의 2 단계 검증과 같은 방법론적 개선이 필요합니다.
  • LLM 훈련 데이터에 '불확실성 추정 (uncertainty quantification)'을 명시적으로 포함시키는 것이 모델의 신뢰도 보고 능력을 향상시킬 수 있는 잠재적 해결책으로 제시됩니다.
• 결론: LLM 의 자기 보고식 신뢰도는 현재로서는 분별력과 보정 측면에서 한계가 명확하며, 임상 현장에서의 신뢰성 확보를 위해서는 지속적인 연구와 기술적 보완이 필수적입니다.