기술 요약: 대규모 언어 모델은 자신의 응답에 대해 과도하게 확신한다

문제 정의

기본(사전 학습된) 대규모 언어 모델(LLM)은 일반적으로 다음 토큰 예측에 대해 잘 보정된(well-calibrated) 확률을 나타내지만, 지시어 튜닝(instruction-tuned, 사후 학습)된 LLM은 심각한 미보정(miscalibration) 문제를 겪는다. 이들은 오답에 대해서도 높은 신뢰 점수를 부여하는 과잉 확신 경향을 보인다. 기존 연구는 사후 학습 과정(SFT 및 RLHF)이 보정 성능을 저하시킨다는 점을 입증했으나, 대화형 포맷인 **채팅 템플릿(chat template)**이 구체적으로 어떤 기여를 하는지에 대해서는 아직 충분히 탐구되지 않았다. 또한, 이러한 미보정 현상이 훈련 알고리즘 자체에서 기인하는지, 아니면 대화형 프롬프트 스타일에서 기인하는지, 그리고 특정 신뢰도 도출 방법이 재학습 없이 이 문제를 완화할 수 있는지 여부도 불분명하다.

방법론

저자들은 최근의 6가지 오픈 웨이트 LLM 제품군(Llama 3.1, Qwen3, Gemma 3)을 대상으로, 다양한 규모(4B~70B)의 기본 모델과 지시어 튜닝 모델을 모두 활용하여 종합적인 조사를 수행했다. 평가는 57개의 다중 선택 분야로 구성된 MMLU 벤치마크를 통해 진행되었다.

연구는 네 가지 단계로 진행되었다:

1. 훈련과 포맷의 분리: 저자들은 세 가지 모델 변형을 비교함으로써 지시어 튜닝과 채팅 템플릿의 효과를 격리했다:

   • 기본 모델 (사전 학습되었으며, 지시어 튜닝 없음).
   • 표준 채팅 템플릿 없이 호출된 지시어 튜닝 모델.
   • 표준 채팅 템플릿과 함께 호출된 지시어 튜닝 모델.
     보정도는 모델 로짓(logits)에서 직접 유도된 기대 보정 오차(ECE)와 브라이어 점수(Brier Score)를 사용하여 측정되었다.

2. 명시적 신뢰도 도출: 모델에게 확신도를 명시적으로 물었을 때도 미보정 현상이 지속되는지 확인하기 위해, 저자들은 세 가지 신뢰도 도출 방법을 테스트했다:

   • P(True): 주어진 정답에 대해 "True" 토큰의 확률을 예측하도록 요청.
   • 언어적 백분율(Verbalized Percentage): 0~100% 사이의 신뢰도 점수를 요청.
   • 언어적 리커트 척도(Verbalized Linguistic): 모델에게 리커트 척도(예: "매우 낮음"에서 "매-우 높음"까지) 중 하나를 선택하도록 요청.

3. "소유권 편향(Ownership Bias)" 가설 테스트: 저자들은 LLM이 사용자가 제공한 동일한 답변보다 자신이 직접 생성한 답변에 대해 훨씬 더 높은 확신을 갖는 "소유권 편향"을 보일 것이라고 가설을 세웠다. 이를 테스트하기 위해 동일한 질문과 답변 쌍을 사용하되, 답변의 출처만을 다음과 같이 변경하여 프롬프트를 구성했다:

   • 어시스턴트 조건 (Assistant Condition): 답변이 모델 자신의 응답의 일부로 제시됨.
   • 사용자 조건 (User Condition): 답변이 사용자 입력의 일부로 제시됨.
     그 후 모델에게 제공된 답변의 정답 여부를 평가하도록 요청했다.

4. 제안된 완화 전략: 연구 결과에 기반하여, 저자들은 추론 시점의 전략을 제안했다: 신뢰도 도출 시 모델의 답변을 사용자 입력으로 프레싱하여 소유권 편향을 우회하는 방식이다.

주요 결과

1. 미보정의 원인

• 지시어 튜닝: 지시어 튜닝은 근본적으로 보정 성능을 해친다. 지시어 튜닝은 정확도를 3.7% 향상시켰음에도 불구하고, 기본 모델과 비교했을 때 평균적으로 ECE를 13.1%, 브라이어 점수를 6.5% 증가시켰다.
• 채팅 템플릿: 채팅 템플릿은 문제를 더욱 악화시킨다. 이는 약간의 정확도 이득(+1.1%)을 제공했지만, ECE를 추가로 2.74%, 브라이어 점수를 1.5% 증가시켰다.
• 결론: 지시어 튜닝이 미보정의 주요 원인이지만, 대화형 채팅 포맷 또한 이 문제를 유의미하게 심화시킨다.

2. 신뢰도 도출 방법

명시적으로 신뢰도를 묻는 것은 근본적인 미보정 문제를 해결하지 못했다. 지시어 튜닝된 모델은 세 가지 도출 방법(P(True), 언어적 백분율, 언어적 리커트 척도) 모두에서 기본 모델보다 현저히 낮은 보정 성능을 보였으며, 이는 사후 학습 과정이 근본 원인임을 확인시켜 준다.

3. 소유권 편향의 증거

실험을 통해 강력한 "소유권 편향"이 확인되었다:

• 과잉 확신: 모델은 사용자가 제공한 동일한 답변(User condition)보다 자신이 생성한 답변(Assistant condition)에 대해 유의미하게 높은 신뢰도를 할당했다.
• 규모: 신뢰도의 차이는 상당했다. 언어적 리커트 척도 방식의 경우, 모델은 답변이 자신의 것일 때 신뢰도가 평균 26.8% 증가했다. P(True) 방식에서도 평균 15.8%의 증가를 보였다.
• 보정 영향: 이 편향은 보정 지표를 악화시켰다. 어시스턴트 생성 답변의 경우, 사용자 제공 답변 대비 ECE가 평균 9.8%(P(True))에서 최대 26.1%(Linguistic)까지 증가했다.
• 통계적 유의성: 이러한 차이는 거의 모든 모델과 방법에서 통계적으로 유의미했다 (p < 0.01).

4. 제안된 전략의 효과성

모델의 답변을 신뢰도 도출 시 사용자 입력으로 재구성함으로써, 저자들은 다음을 입증했다:

• 과잉 확신 감소: 이 전략은 모델 고유의 과잉 확신을 유의미하게 줄인다.
• 보정 개선: 이 접근 방식은 재학습 없이도 보정 성능을 최대 **26%**까지 향상시킨다.
• 격차 축소: 이는 기본 모델과 지시어 튜닝 모델 간의 보정 격차를 효과적으로 좁히며, 특정 구성에서는 지시어 튜닝 모델이 기본 모델과 대등하거나 오히려 능가하는 보정 성능을 달성하게 한다.

의의 및 주장

본 논문은 지시어 튜닝된 LLM의 미보정 현상 뒤에 숨겨진 근본적인 메커니즘인, 모델이 자신의 출력물에 대해 본질적으로 과도하게 확신하는 소유권 편향을 식별했다고 주장한다. 이 발견은 모델이 사용자의 신념에 맞추려는 "아첨(sycophancy)"과는 대조적이며, 대신 모델이 자신의 생성이 곧 정답임을 가정하는 일종의 자기 일관성(self-consistency) 형태임을 시사한다.

주요 기여는 재학습, 복잡한 보상 모델링, 또는 보조 모델이 필요 없는 단순한 추론 시점 전략을 제시했다는 점이다. 단순히 프롬프트 구조를 변경하여 모델의 답변을 사용자 질의로 제시하는 것만으로도 신뢰도 추정의 신뢰성을 크게 높일 수 있다. 이는 정확한 불확실성 정량화가 필수적인 고위험 애플리케이션에서 더 안전하고 신뢰할 수 있는 AI를 배포하기 위한 실용적이고 비용 효율적인 솔루션을 제공한다.