Closing the Confidence-Faithfulness Gap in Large Language Models

논문 요약: 대형 언어 모델 (LLM) 의 신뢰도 - 충실도 간극 해소

이 논문은 대형 언어 모델 (LLM) 이 자신의 정확도와 무관하게 과도하게 자신감 있게 응답하는 (miscalibration) 문제를 해결하기 위해, 모델의 내부 표현 (internal representations) 을 분석하고 조작하는 기계적 해석 가능성 (mechanistic interpretability) 기반 접근법을 제시합니다.

1. 문제 정의 (Problem)

• 신뢰도 불일치 (Miscalibration): LLM 은 토큰 수준의 확률뿐만 아니라, 자연어로 표현된 "자신감 (verbalized confidence)" 점수에서도 실제 정확도와 괴리가 큽니다. 특히 지시 튜닝 (Instruction Tuning) 과 RLHF 를 거친 모델들은 실제 성능과 관계없이 높은 자신감 (예: 95%) 을 표현하는 경향이 심화됩니다.
• 기존 접근법의 한계: 기존 연구들은 프롬프트 엔지니어링 (Top-K 고려, 다중 샘플 집계 등) 이나 추가적인 파인튜닝을 통해 해결하려 했으나, 이는 모델을 블랙박스로 취급하여 내부에 이미 존재하는 정확한 신호를 활용하지 못했습니다.
• 핵심 가설: 모델은 내부적으로 정확한 불확실성 정보를 가지고 있지만, 이를 생성 과정 (generation process) 에서 올바르게 읽어내지 (readout) 못하기 때문에 신뢰도 불일치가 발생합니다.

2. 방법론 (Methodology)

저자들은 모델의 잔류 스트림 (residual stream) 에서 두 가지 주요 도구를 사용하여 분석을 수행했습니다.

• 골드 캘리브레이션 선형 프로빙 (Gold Calibration Linear Probing):
  • 모델이 정답만 출력하도록 유도한 (신뢰도 언급 없음) 프롬프트 하에서 추출된 활성화 벡터를 사용하여 릿지 회귀 (ridge regression) 프로브를 훈련시켰습니다.
  • 이를 통해 모델이 내부적으로 실제 정답 여부 (accuracy) 를 얼마나 잘 인코딩하는지 확인했습니다.
• 대조적 활성화 추가 (Contrastive Activation Addition, CAA) 조향 (Steering):
  • 높은 자신감과 낮은 자신감을 표현하는 경우의 활성화 차이를 계산하여 조향 벡터 (steering vector) 를 생성했습니다.
  • 생성 시 이 벡터를 잔류 스트림에 주입하여 (inject) 모델의 출력된 신뢰도를 인위적으로 조절하고 인과적 효과를 검증했습니다.
• 실험 설정:
  • 모델: Llama-3.1-8B, Qwen2.5-7B, Mistral-7B-v0.3 (Base 및 Instruct 버전).
  • 데이터셋: MATH, MMLU, TriviaQA, TruthfulQA.
  • 프롬프트 유형: 정답만 요구 (Pure Correctness), 자신감만 요구 (Pure Confidence), 정답과 자신감 동시 요구 (Joint Prompt).

3. 주요 기여 및 발견 (Key Contributions & Findings)

가. 기하학적 분해 (Geometric Dissociation)

• 선형 인코딩: 모델은 실제 정확도 (accuracy) 정보를 잔류 스트림의 선형 방향으로 명확하게 인코딩하고 있습니다.
• 직교성 (Orthogonality): 흥미롭게도, "정확도 신호"와 "표현된 신뢰도 신호"는 서로 거의 직교 (cosine similarity < 0.04) 하는 별개의 선형 하위 공간에 존재합니다. 즉, 모델은 자신이 틀렸다는 것을 알고 있지만, 그 신호가 신뢰도 표현 경로로 연결되지 않습니다.

나. 추론 오염 효과 (Reasoning Contamination Effect)

• 모델이 문제를 풀면서 동시에 자신감을 평가하도록 (Joint Prompt) 요청하면, 정확도와 신뢰도 방향 간의 관계가 약한 양의 상관관계 (+0.26) 에서 강한 부의 상관관계 (-0.63) 로 뒤집힙니다.
• 이는 추론 과정이 신뢰도 표현을 방해하거나 왜곡하여, 모델이 어려운 문제를 풀 때 오히려 더 자신 있게 잘못 답변하게 만든다는 것을 의미합니다.

다. 조향 기반 캘리브레이션 (Steering-based Calibration)

• 인과적 조절: CAA 를 통해 생성된 조향 벡터를 적용하면, 모델의 표현된 신뢰도를 통제된 방식으로 증가 또는 감소시킬 수 있으며, 이는 데이터셋 간에 일반화되고 Base 모델에서 Instruct 모델로 전이됩니다.
• 적응형 2 단계 파이프라인:
  1. 목표 추정: 모델의 내부 상태 (프롬프트 완료 시점) 를 분석하여 해당 질문의 예상 정확도 (Target Confidence) 를 추정합니다.
  2. 적응형 조향: 추정된 목표 신뢰도에 맞추어, 각 질문별로 최적의 조향 강도 (steering strength) 를 계산하여 신뢰도 표현 단계 (Pure Confidence Prompt) 에서만 조향을 적용합니다.
  • 중요: 문제 해결 과정과 신뢰도 평가 과정을 분리하여 '추론 오염'을 방지합니다.

4. 결과 (Results)

• 캘리브레이션 오류 감소: 제안된 적응형 조향 파이프라인은 기존 언스틸드 (unsteered) 신뢰도 및 기존 방법 (SteerConf) 대비 4~7 배 더 낮은 기대 캘리브레이션 오류 (ECE) 를 달성했습니다.
  • 예: Mistral-7B-Instruct 모델의 ECE 가 35.1 에서 3.3 으로 급감했습니다.
• 일반화 및 전이: 수학 문제 (MATH) 에서 학습된 조향 벡터가 일반 지식 (MMLU, TriviaQA) 등 다른 도메인에서도 효과적으로 작동하며, Base 모델의 신호가 Instruct 모델에서도 여전히 유효함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 지식의 부재가 아닌 읽기 실패: LLM 의 신뢰도 불일치는 모델이 정보를 모르고 있어서가 아니라, 내부에 존재하는 정확한 신호를 생성 과정이 올바르게 읽어내지 못하기 (readout failure) 때문임을 증명했습니다.
• 실용적 개입: 모델을 재학습하거나 복잡한 프롬프트를 설계하는 대신, 내부 신호를 읽어내고 출력에 매칭시키는 선형 조향 (linear steering) 만으로도 신뢰도를 획기적으로 개선할 수 있음을 보였습니다.
• 미래 방향: 추론과 신뢰도 평가의 분리 (Separation of Concerns) 가 신뢰도 보정의 핵심이며, 이는 LLM 의 다른 출력 불일치 문제 해결에도 적용될 수 있는 패턴임을 시사합니다.

이 연구는 LLM 의 신뢰성 있는 배포를 위해 모델의 내부 메커니즘을 이해하고 조작하는 것이 기존 방법론보다 더 효과적임을 입증한 중요한 작업입니다.