논문 요약: LLM 은 어떻게 언어적 자신감 (Verbal Confidence) 을 계산하는가?

이 논문은 대규모 언어 모델 (LLM) 이 스스로의 답변에 대한 자신감을 숫자나 범주로 표현할 때, 그 내부 메커니즘이 어떻게 작동하는지를 규명합니다. 저자들은 LLM 이 단순히 생성된 토큰의 확률 (log-probabilities) 을 읽는 것인지, 아니면 더 복잡한 자기 평가 과정을 거치는지, 그리고 이 과정이 언제 (실시간 계산인지, 미리 계산된 값을 꺼내 쓰는 것인지) 이루어지는지 두 가지 핵심 질문을 던집니다.

1. 연구 배경 및 문제 정의

• 배경: LLM 의 불확실성 추정은 신뢰할 수 있는 AI 시스템 구축에 필수적입니다. 토큰 수준의 확률 (token likelihoods) 은 잘 보정 (calibrated) 되어 있지만, 대부분의 배포된 모델은 블랙박스이므로 내부 확률에 접근할 수 없습니다. 따라서 모델에게 직접 "자신감 점수"를 말하게 하는 언어적 자신감 (Verbal Confidence) 기법이 널리 사용됩니다.
• 문제: 언어적 자신감이 어떻게 내부적으로 생성되는지에 대한 메커니즘적 이해가 부족합니다.
  1. 언제 계산되는가? (Just-in-Time vs. Cached Retrieval): 모델이 답변을 생성할 때 자동으로 계산하여 저장해 두는 것인지, 아니면 자신감을 물어보는 순간에야 질문과 답변을 다시 분석하여 계산하는 것인지.
  2. 무엇을 나타내는가? (Log-probs vs. Rich Evaluation): 단순한 생성 유창성 (token log-probabilities) 의 반영인지, 아니면 질문 - 답변 적합성에 대한 더 풍부한 평가인지.

2. 연구 방법론

저자들은 Gemma 3 27B와 Qwen 2.5 7B 모델을 대상으로 기계적 해석 (Mechanistic Interpretability) 기법을 활용하여 실험을 수행했습니다. 주요 기법으로는 다음과 같은 것들이 있습니다:

• 활성화 조종 (Activation Steering): 모델의 특정 레이어와 토큰 위치에서 고/저 자신감 벡터를 주입하여 모델의 출력에 미치는 영향을 관찰합니다.
• 활성화 패칭 (Activation Patching): 답변 토큰의 정보를 손상 (corrupt) 시킨 후, 특정 위치 (예: 답변 후 개행문자, 자신감 콜론 등) 의 깨끗한 활성화 값을 복원하여 모델의 자신감 회귀 능력을 확인합니다.
• 활성화 노이즈 (Activation Noising): 특정 위치의 활성화를 평균값으로 대체하여 모델의 자신감 보고 메커니즘이 얼마나 교란되는지 측정합니다.
• 활성화 스왑 (Activation Swap): 고/저 자신감 샘플 간의 내부 표현을 서로 교환하여, 특정 위치가 답변 내용 자체인지 아니면 자신감 정보를 캐시하고 있는지 확인합니다.
• 어텐션 차단 (Attention Blocking): 특정 토큰 간의 어텐션 경로를 차단하여 정보 흐름 (Answer tokens → PANL → CC) 을 추적합니다.
• 선형 프로빙 (Linear Probing) 및 분산 분할: 내부 표현에서 정답 여부나 자신감 크기를 얼마나 잘 예측할 수 있는지, 그리고 이것이 토큰 로그 확률과 얼마나 다른지 분석합니다.

3. 주요 발견 및 결과

3.1. 계산 시점: 캐시된 검색 (Cached Retrieval)

• 가설: 모델은 답변을 생성하는 동안 자동으로 자신감 정보를 계산하여 저장해 두고, 나중에 언어로 표현할 때 이를 꺼내 사용합니다 (Cached Retrieval). 즉, 요청이 들어오기 전에도 계산이 완료됩니다.
• 증거:
  • 시간적 선후관계: 활성화 조종, 패칭, 노이즈 실험에서 답변 후 개행문자 (PANL, Post-Answer-Newline) 위치에서 자신감 관련 효과가 나타나는 레이어 (약 2125 층) 가, 자신감 콜론 (CC, Confidence-Colon) 위치에서 효과가 나타나는 레이어 (약 3035 층) 보다 앞서 발견되었습니다.
  • 정보 흐름: 어텐션 차단 실험을 통해 정보가 답변 토큰 → PANL → CC 순서로 흐르는 것이 확인되었습니다. CC 는 질문이나 답변 토큰을 실시간으로 다시 참조하여 계산하지 않고, PANL 에 저장된 정보를 검색하여 사용합니다.

3.2. 자신감의 본질: 토큰 확률 이상의 평가

• 가설: 언어적 자신감은 단순한 생성 유창성 (토큰 로그 확률) 의 반영이 아니라, 질문과 답변의 적합성을 평가하는 더 풍부한 2 차원적 (Second-order) 계산 결과입니다.
• 증거:
  • 분산 설명력: 선형 프로빙과 분산 분할 분석 결과, PANL 과 CC 의 활성화는 토큰 로그 확률만으로는 설명되지 않는 상당량의 언어적 자신감 변이 (variance) 를 설명했습니다.
  • 오류 감지 능력: 모델은 정답을 생성했음에도 불구하고 (생성 유창성은 높음), 내부적으로 답변의 질이 낮다고 판단하여 낮은 자신감을 표현할 수 있었습니다. 이는 단순한 1 차원적 신호 (First-order, 즉 토큰 확률) 가 아닌, 독립적인 평가 신호가 존재함을 시사합니다.

3.3. 일반화

• 이러한 발견은 Gemma 3 27B와 Qwen 2.5 7B 두 모델 모두에서, 그리고 범주형 (Categorical) 및 숫자형 (Numeric) 자신감 프롬프트 모두에서 일관되게 관찰되었습니다.

4. 주요 기여 및 의의

1. 메타인지 메커니즘 규명: LLM 이 답변 생성과 동시에 자동으로 자기 평가 (자신감 계산) 를 수행하고 이를 내부적으로 캐시한다는 것을 최초로 메커니즘적으로 증명했습니다. 이는 LLM 이 단순한 확률 분포 생성기를 넘어, 자동화된 자기 평가 (Automatic Self-Evaluation) 능력을 갖추고 있음을 시사합니다.
2. 신뢰성 및 보정 (Calibration) 개선: 언어적 자신감이 단순한 유창성 지표가 아님을 밝힘으로써, 모델의 오작동 (할루시네이션) 을 감지하고 보정하는 새로운 접근법의 기초를 마련했습니다.
3. 인지과학적 함의: 인간의 의사결정 신경과학에서 논의되는 '1 차원적 (First-order)' vs '2 차원적 (Second-order)' 자신감 이론을 LLM 에 적용하여, LLM 이 2 차원적 계산 구조를 통해 오류를 감지할 수 있는 잠재력을 가짐을 보여주었습니다.
4. 실용적 시사점: 프롬프트 엔지니어링이나 일반적인 파인튜닝을 넘어, 모델의 내부 회로를 이해하고 조작함으로써 (예: 활성화 조종) 모델의 신뢰성을 체계적으로 개선할 수 있는 가능성을 제시합니다.

5. 결론

이 연구는 LLM 의 언어적 자신감이 사후적 재구성 (post-hoc reconstruction) 이 아니라, 답변 생성 과정에서 자동적으로 계산되어 저장된 후 검색되는 캐시된 메커니즘임을 증명했습니다. 또한, 이 자신감 신호는 단순한 토큰 확률을 넘어 질문과 답변의 적합성에 대한 복잡하고 정교한 평가를 반영합니다. 이러한 발견은 LLM 의 메타인지 능력을 이해하고, 더 신뢰할 수 있는 AI 시스템을 개발하는 데 중요한 이정표가 됩니다.