Asking Is Not Enough: Protocol Sensitivity in LLM Confidence Calibration

문제
대규모 언어 모델 (LLM) 의 신뢰도 보정 (confidence calibration) 은 고위험 분야에서의 안전한 배포에 필수적입니다. 현재 평가는 일반적으로 두 가지 신호를 비교합니다: 토큰 확률 점수 (모델의 내부 로짓에서 유래) 와 언어화된 신뢰도 (모델이 텍스트로 명시적으로 확률을 보고하는 것). 이전 연구는 언어화된 신뢰도가 프롬프트 유도 방법에 민감하다는 것을 입증했으나, 본 논문은 언어화된 신뢰도와 토큰 기반 신뢰도 간의 비교 또한 종종 암묵적으로 남아 있는 '측정 선택 (measurement choices)'에 매우 민감하다고 주장합니다. 구체적으로, 측정되는 양은 다음에 따라 달라집니다: (1) 어떤 답변 문자열이 토큰 확률 점수를 받는지 (자가 생성 vs 제공), (2) 해당 점수가 답변 토큰에서 어떻게 읽히는지 (예: 첫 번째 토큰 vs 스펀 평균), (3) 확률이 측정되는 조건부 컨텍스트 (단순 쿼리 vs 언어화를 위해 사용된 프롬프트 접두사). 저자들은 명시적인 프로토콜 명시가 없으면 관찰된 보정 격차가 모델의 고유한 특성이나 정렬 이득이 아닌 측정 인공물 (measurement artifacts) 을 반영할 수 있다고 주장합니다.

방법론
저자들은 세 가지 오픈 소스 7~8B 베이스/인스트럭트 모델 계열 (Llama-3-8B, Mistral-7B-v0.3, Qwen2.5-7B) 을 사용하여 네 가지 QA 벤치마크 (TriviaQA, SciQ, TruthfulQA, MMLU) 에서 통제된 민감도 분석을 수행했으며, 더 큰 규모의 Qwen2.5 변형 (14B, 32B, 72B) 에 대해 견고성 검증을 수행했습니다.

연구는 언어화된 신뢰도 유도 (단일 연속 0.0~1.0 프롬프트 템플릿) 를 고정하면서 토큰 확률 비교를 정의하는 '프로토콜 축 (protocol axes)'을 체계적으로 변화시켰습니다:

1. 답변 출처 (Answer Provenance): 자가 생성 답변에 대해 유도된 신뢰도와 제공된 답변 (정답, 그럴듯한 오답, 유형 외 오답) 에 대해 유도된 신뢰도를 비교합니다.
2. 점수화된 답변 (Scored Answer): 모델이 생성한 답변에 할당된 토큰 확률과 교사 강제 (teacher-forced) 된 정답 참조에 할당된 확률을 비교합니다.
3. 토큰 판독 (Token Readout): 답변 스펀의 기하평균 ($T_1$) 과 첫 번째 답변 토큰 확률 ($T_2$) 을 비교합니다.
4. 조건부 컨텍스트 (Conditioning Context): 단순 쿼리 하에서 측정된 토큰 확률과 언어화된 프롬프트 접두사 하에서 측정된 토큰 확률을 비교합니다.
5. 추정기 (Estimator): 표준 10-bin 기대 보정 오차 (ECE) 와 bin-free 추정기 (KDE-ECE, KS-Cal, Smoothed ECE) 를 비교합니다.

주요 지표는 부호 있는 보정 격차 $g = \text{ECE}(c_{\text{verb}}) - \text{ECE}(c_{\text{tok}})$이며, 음수 값은 언어화된 신뢰도가 더 잘 보정되었음을 나타냅니다.

주요 기여

1. 고정 유도에서의 프로토콜 민감성: 저자들은 고정된 언어화된 신뢰도 프롬프트를 사용하더라도 언어화된 신호와 토큰 신호 간의 비교가 불안정함을 입증했습니다. 조건부 컨텍스트와 토큰 판독 선택은 관찰된 ECE 격차를 실질적으로 변화시켜 종종 그 부호를 반전시킵니다. 반면, ECE 추정기를 변경하는 것은 미미한 영향을 미칩니다.
2. 답변 출처와 그럴듯함: 연구는 언어화된 신뢰도가 정답성뿐만 아니라 답변의 그럴듯함과 출처를 추적함을 드러냈습니다. 표면적으로 그럴듯한 오답이 제공될 때, 모델은 제공된 정답과 거의 동일한 신뢰도 수준을 부여하는 반면, 유형 외 불일치는 명확히 거부합니다.
3. 보고 체크리스트: 본 논문은 측정의 재현성과 해석 가능성을 보장하기 위해 유도 출처, 점수화된 답변, 토큰 확률 판독, 조건부 컨텍스트를 다루는 신뢰도 신호 비교를 위한 보고 체크리스트를 제안합니다.

결과

• 보정 격차의 불안정성: 기본 '생성된 답변, 단순 컨텍스트' 프로토콜 하에서 인스트럭트 모델은 언어화된 신뢰도와 토큰 신뢰도 간 거의 동등한 수준을 보여줍니다 (평균 격차 $g_A \approx -0.029$). 이는 언어화된 신뢰도에 대한 대규모 보정 이득 주장과 모순됩니다. 그러나 조건부 컨텍스트를 변경 (언어화된 접두사 하에서 토큰 확률 측정) 하면 인스트럭트 모델에서 격차가 $\approx -0.090$만큼 이동하여 종종 격차의 부호를 반전시킵니다.
• 프로토콜 효과의 크기: 조건부 컨텍스트 변경으로 인한 이동의 크기 (평균 절대 이동 0.28) 는 모델 계열 변경 (0.37) 이나 데이터셋 변경 (0.17) 으로 인한 변동과 비교할 만합니다. 토큰 판독 또한 유의미한 이동 (0.11) 을 유발하는 반면, 추정기 선택은 미미한 이동 (0.01) 만 유발합니다.
• 출처 민감성: 제공된 답변 분석에서 제공된 정답과 그럴듯한 오답 간의 신뢰도 차이는 미미합니다 ($\approx +0.021$). 반면 유형 외 오답에 대한 차이는 큽니다. 이는 언어화된 신뢰도가 ground-truth 정답성 추정이 아닌 제공된 텍스트의 그럴듯함을 반영함을 시사합니다.
• 견고성: 이러한 발견은 다양한 모델 규모 (최대 72B), 다양한 프롬프트 규모 (정수 0~100), 그리고 다양한 보정 지표 (Brier, NLL, AUROC) 에서 유효합니다.

의의 및 주장
본 논문은 언어화된 신뢰도나 토큰 확률 중 어느 것도 모델 불확실성의 직접적이고 컨텍스트가 없는 판독으로 취급되어서는 안 된다고 주장합니다. 대신, 둘 다 해석이 측정 프로토콜과 불가분하게 연결된 행동적 측정치입니다. 저자들은 정렬이 자가 보고된 불확실성을 개선한다는 스칼라 주장이나 언어화된 신뢰도가 토큰 확률보다 우월하다는 주장은 구체적인 측정 구성 (답변 출처, 판독 방법, 조건부 컨텍스트) 이 명시적으로 지정될 때만 의미가 있다고 주장합니다. 본 연구는 보정 비교를 모델 능력의 인과적 분해가 아닌 프로토콜 의존적 민감도 분석으로 취급하도록 커뮤니티에 경고하는 분석 역할을 합니다.