기술 요약: LLM의 보고된 확신도는 정답률보다 전념(Commitment)을 더 잘 추적한다

문제 정의

대규모 언어 모델(LLM)은 사용자 신뢰를 유도하거나 후속 의사결정(예: 인간에게 위임하거나 답변을 포기함)을 안내하기 위해 답변에 대한 확신도를 보고하도록 요구되는 경우가 많다. 특히 내부 확률에 접근할 수 없는 블랙박스 설정에서 널리 사용되는 언어적 확신도(Verbal Confidence, VC)—즉, 확실성에 대한 명시적 자기 보고—가 실제 정답의 정확성을 나타내는 지표인지, 아니면 다른 내부 상태의 신호인지 여부는 여전히 불분로하다. 기존의 가정은 확신도가 정답 확률을 추적해야 한다는 것이지만, 본 논문은 이 가설에 이의를 제기하며, 언어적 확신도가 객관적 진실보다는 답변을 뒷받침하려는 모델의 행동적 성향을 나타내는 "전념 준비성(commit-readiness)" 신호로서 기능할 수 있다고 제안한다.

방법론

저자들은 의사결정 이후의 확신도를 연구한 설치류 및 영장류의 신경과학 연구에서 영감을 받아, 답변 생성과 전념 결정(decision to commit)을 분리하는 2단계 포기(abstention) 패러다임을 채택하였다.

1. 실험 설계:

   • 1단계 (답변 및 확신도): 모델은 질문에 답하고(객관식 또는 자유 형식), 별도의 단계에서 언어적 확신도(10단계 척도의 Class-VC 또는 0–100 척도의 Num-VC)를 보고했다. 중요한 점은, 이 단계는 후속 포기 과업을 염두에 두지 않고 수행되었다는 것이다.
   • 2단계 (전념/포기): 모델은 자신의 1단계 답변을 제시받고 이진 결정을 내린다: 전념(사용자에게 답변을 출력함) 또는 포기( "모르겠습니다"를 출력함).
   • 비교 신호: 연구는 VC를 답변 토큰의 온도 조절 소프트맥스 분포에서 도출된 답변 증거의 대리 지표인 **보정된 로그 확률(Calibrated Log-Probability, Cal-LP)**과 비교하였다.

2. 모델 및 벤치마크:

   • 비추론 모델: Gemma 3 (27B), Gemma 4 (31B, no-think 모드), GPT-4o, Qwen 3 (235B, no-think 모드).
   • 추론 모델: Gemini Flash 3, Kimi K2 Think, GPT-Oss-120B, Qwen 3 (235B, think 모드).
   • 데이터셋: SimpleQA, MMLU-Pro, SuperGPQA-hard, HLE (Humanities Last Exam) 등 다양한 난이도와 형식을 포함한다.

3. 분석 접근 방식:

   • 결정-진실 간극 (Decision–Truth Gap): $\Delta_{DT} = \text{AUROC}_{\text{abstention}} - \text{AUROC}_{\text{correctness}}$로 정의된다. 이 지표는 특정 신호가 정답의 정확성을 예측하는 것보다 포기/전념 결정을 더 잘 예측하는지를 정량화한다.
   • 잔차 분석 (Residualisation Analysis): VC의 행동 일치성이 정답과의 일치성으로 환원될 수 있는지 확인하기 위해, 저자들은 VC를 Cal-LP(최선의 가용 정답 근거 대리 지표)에 대해 회귀 분석하고 그 잔차를 분석하였다. 그들은 잔차 VC가 포기(abstention)를 예측하는지 혹은 정답(correctness)을 예측하는지 테스트하였다.
   • 메커니즘 분석 (Gemma 3 & 4): 선형 프로브(linear probes)를 사용하여 답변 후(post-answer, PA) 잔차 스트림 활성화값으로부터 정답 여부와 향후 전념/포기 결정을 디코딩하도록 학습시켰다.
   • 인과적 스티어링 (Causal Steering): Gemma 4에서 저자들은 PA 활성화값으로부터 스티어링 벡터를 구축하고, 이를 2단계 동안 잔차 스트림에 주입하여 "전념 준비성" 상태를 조작하는 것이 포기 행동을 인과적으로 변화시키는지 테스트하였다.

주요 결과

1. 결정-진실 간극

4개의 비추론 모델과 2개의 데이터셋 전반에 걸쳐, 언어적 확신도는 일관되게 양(+)의 결정-진실 간극을 보였으며, 1단계 정답률보다 2단계 전념/포기 결정을 실질적으로 더 잘 예측했다.

• VC 성능: Class-VC와 Num-VC는 각각 +0.13 및 +0.20의 중앙값 간극을 보였다. 거의 모든 셀에서 VC는 정답률보다 포기를 훨씬 더 잘 예측했다.
• Cal-LP 성능: Cal-LP는 근사 0 또는 음(-)의 간극(중앙값 +0.018)을 보였는데, 이는 포기 예측 능력이 정답 예측 능력과 밀접하게 결합되어 있음을 나타낸다. 즉, 행동을 진실보다 더 잘 예측하는 체계적인 이점을 보이지 않았다.

2. 분산 분해 및 잔차 분석

• 분산 구조: ANOVA 분석 결과, VC의 분산은 정답 여부($\eta^2 \approx 0.00–0.05$)보다는 후속 전념/포기 결정(부분 $\eta^2 \approx 0.11–0.48$)에 의해 지배되었다. 반대로, Cal-LP는 정답 관련 구조를 더 강하게 유지했다.
• 잔차 분석: Cal-LP와 공유되는 VC의 분산을 제거했을 때, 잔차 VC는 포기 결정에 대한 강력한 예측력을 유지했으나(중앙값 AUROC = 0.64), 정답 예측 능력은 상실했다(중앙값 AUROC = 0.49, 거의 무작위 수준).
• 해석: 이는 VC가 Cal-LP가 포착하는 답변 증거 신호와는 독립적인, 전념 행동에 정렬된 고유한 구성 요소를 포함하고 있음을 시사한다. 역방향 분석(Cal-LP를 VC에 대해 잔차화)에서는 Cal-LP가 진실과 행동 모두에 결합된 상태를 유지했는데, 이는 Cal-LP가 일차적인 답변 증거 신호임을 뒷받침한다.

3. 추론 모델으로의 일반화

결정-진실 해리 현상은 4개의 벤치마크와 4개의 추론 모델에서도 일반화되었다. 추론 궤적의 복잡성에도 불구하고, VC는 지속적으로 견고한 양(+)의 간극(중앙값 +0.16)을 보인 반면, Cal-LP(사용 가능한 경우)는 유사한 패턴을 보이지 않았다. 추론 모델에서 Cal-LP는 불확실성이 최종 토큰에 집중되지 않고 추론 과정 전체에 분산되어 있기 때문에 정답 여부를 구별하는 데 덜 효과적이었다.

4. Gemma 4의 메커니즘적 증거

• 내부 상태 인코딩: 답변 후(PA) 활성화값(포기 프롬프트가 주어지기 전)에 대한 선형 프로브는 정답 여부 디코딩(AUROC $\approx$ 0.66)을 훨씬 상회하는 높은 정확도(AUROC $\approx$ 0.94)로 향후 전념/포기 결정을 디코딩할 수 있었다.
• 직교성 (Orthogonality): 전념/포기 결정을 인코딩하는 활성화 공간의 방향은 정답 여부를 인코딩하는 방향과 대략 직교했다.
• 인과적 제어: PA 위치에서 Cal-LP와 직교하는 VC 특유의 활성화 방향으로 스티어링했을 때, 모델의 후속 포기 행동이 인과적으로 변화했다. 낮은 확신도 스티어링이 포기율을 높였으며, 이는 VC의 기저에 있는 내부 상태가 전념 결정에서 인과적으로 작동함을 확인시켜 준다.

의의 및 주장

본 논문은 언어적 확신도와 로그 확률 기반 확신도가 서로 대체 가능한 불확실성 측정치가 아님을 결론짓는다.

• 언어적 확신의 본질: VC는 노이즈가 섞인 정답 추정치가 아니라, 행동을 향한 내부 "전념 준비성" 상태의 출력으로 이해하는 것이 적절하다. 이는 모델이 답변을 뒷받침하려는 성향을 반영하며, 객관적 진실에 완전히 고정되지 않은 신호이다.
• Cal-LP의 본질: Cal-LP는 진실-증거 신호처럼 작동하며, 행동에 대한 관련성은 정답을 추적하는 능력에서 파생된다.
• 시사점:
  • 해석: 사용자 및 다운스트림 시스템은 언어적 확신도를 정답 확률의 직접적인 대리 지표로 취급해서는 안 된다. 모델은 행동적으로 전념할 "준비"가 되어 있다면 틀린 답에 대해서도 높은 확신을 표현할 수 있다.
  • 학습: 현재의 학습 목표는 정답에 엄격히 고정되기보다는 응답 스타일과 주의력을 조절하는 확신도 유사 신상에 보상을 줄 수 있다. 향 향후 연구는 적응적 행동(포기 등)을 보존하면서도 확신도를 진실에 더 밀접하게 정렬하기 위해 답변 후의 내부 표현을 타겟팅해야 할 수도 있다.
  • 메타인지: 이러한 결과는 LLM의 확신도 보고가 선택을 이끈 증거의 직접적인 읽기값이 아니라, 초기 선택과 기타 단서(예: 유창성)로부터 사후에 구성되는 인간의 2차 메타인지 신호와 유사하게 기능할 수 있음을 시사한다.

저자들은 VC가 우연 이상의 정답률을 추적하기는 하지만, 전념 행동에 대한 불균형적인 정렬이 내부 조직의 근본적인 특징이며, 이는 옵션 분포에서 유도된 측정치와 구별되는 지점임을 강조한다.