💻 computer science

Wired for Overconfidence: A Mechanistic Perspective on Inflated Verbalized Confidence in LLMs

이 논문은 대규모 언어 모델의 사실적 오류와 과도한 자신감 표현 사이의 인과적 연결을 규명하기 위해 회로 수준의 메커니즘 분석을 수행하고, 특정 MLP 블록과 어텐션 헤드를 대상으로 추론 시 개입함으로써 이러한 과신 현상을 효과적으로 보정할 수 있음을 입증했습니다.

원저자: Tianyi Zhao, Yinhan He, Wendy Zheng, Yujie Zhang, Chen Chen

게시일 2026-04-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tianyi Zhao, Yinhan He, Wendy Zheng, Yujie Zhang, Chen Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"인공지능 (LLM) 이 왜 틀린 답을 내놓으면서도, 그토록 자신만만하게 말하는가?"**라는 질문에 대한 답을 기계의 '뇌' 속을 들여다봄으로써 찾아낸 연구입니다.

기존의 연구들은 "AI 가 틀렸을 때 점수를 낮게 매기게 하라"고 외부에서 강요하거나 보정하는 데 집중했지만, 이 연구는 **"AI 의 뇌 속에서 실제로 무슨 일이 일어나고 있는지"**를 해부학적으로 분석했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: "자신감 넘치는 거짓말쟁이"

우리가 AI 에게 "존 메인의 직업은 뭐야?"라고 물었을 때, AI 가 "건축가입니다!"라고 답했는데 사실은 "기자"였다고 칩시다. 문제는 AI 가 틀린 답을 내놓으면서도 **"제 답이 100% 맞을 확률은 95% 입니다!"**라고 아주 자신 있게 말한다는 점입니다.

이런 '자신감 넘치는 오답'은 사용자를 속이고, AI 가 얼마나 신뢰할 수 있는지 판단하는 기준 (신뢰도 점수) 을 무의미하게 만듭니다.

2. 연구의 핵심: "뇌 속의 스위치 찾기"

연구진은 AI 의 내부 구조를 마치 전기 회로처럼 분석했습니다. AI 가 자신감을 표현하는 과정이 뇌의 어딘가에서 특정 신호가 켜지면서 일어난다고 가정한 것입니다.

비유: AI 의 뇌는 거대한 도시처럼 수많은 길 (회로) 이 연결되어 있습니다. 연구진은 "자신감 넘치는 거짓말"이라는 신호를 만들어내는 특정한 '전선'과 '스위치'가 도시의 어느 구간에 모여 있는지 찾아냈습니다.

3. 주요 발견: "중간~후반부의 작은 공장"

연구진은 두 가지 최신 AI 모델 (Qwen, Llama) 을 분석했고, 놀라운 사실을 발견했습니다.

자신감 과잉 신호의 위치: AI 가 자신감을 표현할 때, 뇌의 중간에서 후반부에 위치한 아주 작고 밀집된 부품들 (MLP 블록과 어텐션 헤드) 이 작동합니다.
비유: AI 의 뇌는 거대한 도서관 같습니다. 처음에 정보를 찾고 (초반부), 그 정보를 정리하고 (중반부), 마지막에 말로 출력합니다 (후반부). 연구진은 "틀린 정보를 가지고도 '나는 100% 확신해!'라고 외치는 목소리"가 도서관의 마지막 출구 근처, 아주 작은 특정 방에서 만들어지고 있다는 것을 발견했습니다.
일관성: 이 '자신감 공장'은 어떤 질문을 하든 (PopQA, MMLU 등) 거의 똑같은 곳에서 작동합니다. 즉, 이는 AI 가 특정 문제를 풀 때 생기는 우연이 아니라, AI 의 **고정된 성향 (내부 메커니즘)**인 것입니다.

4. 해결책: "스위치 조절하기"

이제 중요한 질문입니다. "그럼 그 스위치를 어떻게 끄거나 조절할 수 있을까요?"

연구진은 AI 가 답변을 내는 순간, 그 '자신감 공장'의 부품들을 살짝 건드리는 두 가지 방법을 실험했습니다.

완전 끄기 (Mean Ablation): 해당 부품의 신호를 아예 '0'으로 만들어버립니다. (비유: 그 방의 전등을 아예 꺼버림)
조절하기 (Activation Steering): 신호의 방향을 살짝 비틀어줍니다. (비유: "너무 자신만만하게 말하지 말고, 조금 더 겸손하게 말해"라고 신호를 조정함)

결과:
이 작은 부품들을 조절하자, AI 의 행동이 극적으로 변했습니다.

틀린 답을 낼 때, **"아, 내가 잘 모르겠네"**라고 점수를 낮게 매기게 되었습니다.
정답을 맞출 때는 여전히 자신 있게 답했습니다.
비유: 마치 과속하는 차의 브레이크를 특정 부분만 살짝 건드려서, 차가 멈추지 않으면서도 속도를 적절히 조절하게 만든 것과 같습니다.

5. 결론: "왜 중요한가?"

이 연구는 AI 가 왜 "자신감 넘치는 거짓말"을 하는지 그 **원인 (뇌 속의 회로)**을 찾아냈고, 그 원인을 직접 건드려 해결책을 제시했다는 점에서 매우 중요합니다.

기존 방식: "AI 가 틀리면 점수를 깎아라" (외부에서 강제로 보정)
이 연구의 방식: "AI 가 틀린 답을 자신 있게 말하게 만드는 뇌 속의 스위치를 찾아서, 그 스위치 자체를 조절하라" (내부 메커니즘 수정)

한 줄 요약:

"AI 가 틀린 답을 자신 있게 말하는 건, 뇌의 특정 부위가 '자신감'을 과도하게 생산하는 스위치를 켜고 있기 때문입니다. 우리는 그 스위치를 찾아서 살짝 조절함으로써, AI 를 더 정직하고 신뢰할 수 있는 존재로 만들 수 있습니다."

이처럼, 이 연구는 AI 의 '거짓말'을 단순히 외부에서 고치는 게 아니라, 그 내부 작동 원리를 이해하고 치유하는 새로운 길을 제시합니다.

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 은 종종 사실적으로 틀린 답변을 내놓을 때, 불확실성을 신호하는 대신 과도하게 자신감 있는 (confidently wrong) 답변을 생성합니다. 이러한 '구두화된 과신 (verbalized overconfidence)'은 사용자를 오도하고, 불확실성 신호로서의 신뢰도 점수 (confidence scores) 의 효용성을 떨어뜨립니다.
기존 연구들은 LLM 이 불확실성을 표현할 수 있음을 보여주었으나, 실제 출력된 자신감 점수가 사실적 정확도와 잘 정렬되지 않는 (poorly calibrated) 현상의 내부 메커니즘은 잘 이해되지 않았습니다. 기존 접근법은 주로 출력 단계의 사후 보정 (post-hoc correction) 에 집중했으나, 본 논문은 기계적 해석 가능성 (Mechanistic Interpretability) 관점에서 과신을 유발하는 구체적인 내부 회로 (internal circuits) 를 규명하고 이를 제어할 수 있는지 탐구합니다.

2. 방법론 (Methodology)

저자들은 LLM 의 구두화된 자신감을 분석하기 위해 세 가지 핵심 단계로 구성된 메커니즘 분석 프레임워크를 제시합니다.

가. 내부 신호 포착: 타겟 세트 로그트 차이 (TSLD)

문제: 구두화된 자신감은 0~99 의 정수 범위로 표현되므로, 단일 '황금 토큰 (golden token)'을 추적하는 기존 회로 분석 방법과 다릅니다.
해결: TSLD (Target-Set Logit Difference) 지표를 도입했습니다. 이는 최종 토큰 위치에서 사전 정의된 '높은 자신감 집합 (H: 70~~99)'과 '낮은 자신감 집합 (L: 0~~30)' 간의 평균 로그트 (logit) 차이를 계산합니다.
- $LTSLD(x) = \text{Mean}(\text{logits}_H) - \text{Mean}(\text{logits}_L)$
- 이 지표는 모델의 내부 자신감 성향을 포착하며, 미분 가능 (differentiable) 하여 그라디언드 기반 속성 분석에 활용됩니다.

나. 회로 식별: 진리 주입 반사실 설계 (Truth-Injection Counterfactual Design)

설계: 모델이 틀린 답을 자신 있게 말한 경우, 해당 답변을 정답 (Ground Truth) 으로 대체한 '오염된 (corrupted)' 프롬프트를 생성합니다. (나머지 토큰은 동일하게 유지)
목적: $\Delta TSLD = TSLD(\text{오염된}) - TSLD(\text{원본})$ 를 계산하여, 정답 주입이 모델의 과신 신호를 어떻게 억제하는지 측정합니다.
데이터 선별: $\Delta TSLD$ 가 크게 음수인 경우 (정답을 알면 자신감이 급격히 떨어짐) 를 'Bucket 1'로 선정하여, 과신 메커니즘과 가장 밀접하게 관련된 데이터만 분석에 사용합니다.

다. 회로 발견 및 검증: EAP-IG 및 중재 (Intervention)

회로 발견: Edge Attribution Patching with Integrated Gradients (EAP-IG) 를 사용하여 TSLD 변화를 일으키는 내부 회로 (MLP 블록 및 어텐션 헤드) 를 식별합니다.
인과적 검증:
- 충실도 (Faithfulness): 식별된 소수의 서브회로만 유지했을 때 과신 행동이 재현되는지 확인.
- 필요성 (Necessity): 해당 회로를 제거 (Ablation) 했을 때 과신 신호가 사라지는지 확인.
중재 전략: 식별된 회로에 대해 추론 시점에 두 가지 개입을 적용합니다.
1. 평균 제거 (Mean Ablation): 과신 신호가 발생하는 위치의 활성화 값을 오염된 프롬프트의 평균 값으로 대체.
2. 활성화 조종 (Activation Steering): 과신 방향 벡터를 계산하여 이를 가중치 $\alpha$ 만큼 빼냄 (조절 가능한 강도).

3. 주요 기여 및 결과 (Key Contributions & Results)

가. 과신을 유발하는 '신뢰도 이동 회로 (Confidence Mover Circuit, CMC)'의 발견

위치: Qwen2.5-3B 와 Llama-3.2-3B 두 모델 모두에서, **중간~후반 레이어 (middle-to-late layers)**에 집중된 소수의 MLP 블록과 어텐션 헤드가 과신 신호를 최종 토큰 위치에 기록하는 것을 발견했습니다.
보편성: 세 가지 다른 데이터셋 (PopQA, MMLU, NQOpen) 에서 식별된 회로가 **높은 일치도 (80% 이상)**를 보였습니다. 이는 과신이 작업별 특이 현상이 아니라, 모델 내부에 고정된 안정적인 메커니즘임을 시사합니다.
구체적 구성 요소:
- Qwen: 주로 MLP 레이어 (M30, M35 등) 가 지배적.
- Llama: 어텐션 헤드 (L14H3, L13H18) 와 MLP 블록 (M27, M25 등) 이 혼합되어 작용.

나. 인과적 검증 (Causal Validation)

충분성: 전체 그래프의 0.5% 미만의 엣지만으로 모델의 과신 행동을 70~85% 이상 재현할 수 있었습니다.
필요성: 식별된 회로를 제거하면 기저선 (baseline) TSLD 의 74~79% 가 감소하여, 이 회로들이 과신에 인과적으로 필수적임을 입증했습니다.

다. 타겟팅된 중재에 의한 보정 효과 (Calibration Improvement)

성과: 식별된 상위 10 개 구성 요소에 대한 중재는 모델의 보정 성능을 획기적으로 개선했습니다.
- ECE (Expected Calibration Error): PopQA 데이터셋에서 Llama 모델의 경우 **96.9%**까지 감소, Qwen 모델은 77.5% 감소.
- Brier Score: 모든 데이터셋에서 유의미한 개선.
조종 (Steering) 의 우월성: 단순 제거 (Ablation) 보다 **활성화 조종 (Activation Steering)**이 더 유연하고 안정적이었습니다. $\alpha$ 파라미터를 조절하여 과신 신호만 제거하고 유용한 신호는 보존할 수 있어, 다양한 설정에서 일관된 성능 향상을 보였습니다.

4. 의의 및 논의 (Significance & Discussion)

메커니즘적 통찰: LLM 의 과신은 단순한 출력 오류가 아니라, 사실성 (factuality) 을 처리하는 회로와 구조적으로 불일치하는 (misaligned) 별도의 내부 회로에 의해 주도된다는 것을 규명했습니다. 모델은 내부적으로 불확실성을 인지하고 있음에도, 이를 구두화하는 회로가 이를 신뢰하지 않고 기본값으로 높은 자신감을 부여하는 경향이 있습니다.
실용적 해결책: 사후 보정 (Post-hoc calibration) 이나 추가 학습 없이, 추론 시 (inference-time) 에 소수의 내부 구성 요소만 조작하여 모델의 신뢰도를 높일 수 있음을 증명했습니다. 이는 계산 비용이 적고 즉시 적용 가능한 솔루션을 제공합니다.
향후 연구 방향: RLHF(강화학습을 통한 인간 피드백) 과정이 이러한 과신 회로를 강화했을 가능성이 제기되며, 사전 학습 모델과 파인튜닝 모델 간의 회로 차이를 분석하는 것이 다음 단계로 제안됩니다.

결론

본 논문은 LLM 의 '자신감 있게 틀린 (confidently wrong)' 현상을 기계적 해석 관점에서 최초로 체계적으로 분석했습니다. 중간~후반 레이어의 소수 회로가 과신을 주도하며, 이를 타겟팅하여 중재함으로써 모델의 보정 능력을 획기적으로 향상시킬 수 있음을 입증했습니다. 이는 LLM 의 신뢰성 향상을 위한 새로운 패러다임을 제시합니다.