💬 NLP

Verbal Confidence Saturation in 3-9B Open-Weight Instruction-Tuned LLMs: A Pre-Registered Psychometric Validity Screen

이 논문은 3~9B 파라미터 규모의 오픈 웨이트 언어 모델들이 수치나 범주형 방식으로 표현하는 '언어적 확신도(verbal confidence)'가 실제 정답률과 일치하지 않는 심리측정학적 타당성 결여 문제를 보인다는 것을 입증했습니다.

원저자: Jon-Paul Cacioli

게시일 2026-04-27

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jon-Paul Cacioli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🤖 제목: "AI의 근거 없는 자신감, 그 위험한 '뻥카'를 잡아라!"

1. 상황 설정: "시험 보는 학생과 자신감 점수"

상상해 보세요. 어떤 학생들에게 시험 문제를 풀게 하고, 문제를 다 풀 때마다 **"이 문제 정답에 대해 0점에서 100점 사이로 얼마나 자신 있어?"**라고 물어봅니다.

우리는 보통 이 학생이 "95점만큼 자신 있어!"라고 하면 "아, 진짜 잘 아는구나"라고 믿고, "10점이야"라고 하면 "아, 모르는구나"라고 생각하겠죠? 이게 바로 우리가 AI에게 기대하는 **'자신감(Confidence)'**의 역할입니다.

2. 연구의 발견: "모든 문제에 '100점!'만 외치는 학생"

연구자가 30억~90억 개의 파라미터(뇌세포 같은 것)를 가진 작은 AI 모델들을 데려다가 시험을 치르게 했습니다. 그런데 아주 이상한 현상이 발견되었습니다.

현상 (Saturation): 이 AI들은 문제를 맞히든 틀리든 상관없이, 거의 모든 문제에 대해 **"95점 이상 확신합니다!"**라고 대답했습니다.
비유: 마치 시험을 보는데, 아는 문제든 찍은 문제든 무조건 **"전부 다 100점 확신해요!"**라고 소리치는 학생과 같습니다.

이런 학생이 있다면, 그 학생이 말하는 '자신감 점수'를 보고 "아, 이 문제는 믿어도 되겠구나"라고 판단할 수 있을까요? 아니요, 불가능합니다. 점수가 다 똑같으니 변별력이 전혀 없기 때문이죠. 논문에서는 이를 '포화(Saturation)' 상태라고 부릅니다.

3. 또 다른 문제: "질문 형식을 바꾸면 멘붕이 온다?"

연구자가 "숫자로 말하기 힘들면, 10단계 중 하나로 골라봐(매우 낮음 ~ 매우 높음)"라고 질문 방식을 살짝 바꿔봤습니다. 그랬더니 AI들이 갑자기 시험 문제 자체를 못 풀기 시작했습니다.

비유: "자신감을 숫자로 말해줘"라고 할 때는 시험을 잘 보던 학생이, "자신감을 단계별로 골라봐"라고 하니까 갑자기 시험 문제 자체를 읽지 못하고 멍해지는 상황입니다. 질문의 형식이 AI의 사고 과정을 방해해 버린 것이죠.

4. 결론: "AI의 말, 곧이곧대로 믿지 마세요!"

이 연구의 핵심 결론은 이렇습니다.

AI의 '자신감'은 가짜일 확률이 높다: 지금 수준의 작은 AI들은 자신이 틀릴 수도 있다는 것을 '말(Verbal)'로 표현하는 능력이 매우 부족합니다. 겉으로는 엄청 자신만만해 보여도 실제로는 틀릴 수 있다는 뜻입니다.
내용물은 있을지 몰라도, 입술이 문제다: AI의 머릿속(내부 데이터)에는 정답과 오답을 구분하는 신호가 분명히 있을 겁니다. 하지만 그걸 **'입 밖으로 내뱉는 과정(출력 인터페이스)'**에서 신호가 다 뭉개져 버립니다.
검증이 먼저다: 앞으로 AI를 실전에 투입할 때, AI가 "저 자신 있어요!"라고 말한다고 해서 덥석 믿으면 안 됩니다. 그 자신감이 진짜 믿을만한지 먼저 **'심리 검사(Psychometric Screen)'**를 거쳐야 합니다.

💡 요약하자면?

"지금의 작은 AI들은 정답을 맞히든 틀리든 무조건 '자신만만!'을 외치는 '근거 없는 자신감 뿜뿜' 상태입니다. 따라서 AI가 내뱉는 자신감 점수만 보고 중요한 결정을 내리는 것은 매우 위험합니다!"

[기술 요약] 3~9B 파라미터 오픈 웨이트 지시 미세 조정(Instruction-Tuned) LLM의 언어적 확신 포화 현상

1. 문제 정의 (Problem Statement)

대규모 언어 모델(LLM)의 불확실성을 측정하기 위해 모델이 직접 자신의 확신도를 숫자로 말하게 하는 '언어적 확신 추출(Verbal Confidence Elicitation)' 방식이 널리 사용되고 있습니다. 이 방식의 전제는 모델이 내뱉는 숫자가 정답과 오답을 구분할 수 있는 내부 신호를 반영한다는 것입니다.

본 연구는 **"모델이 내뱉는 확신도 숫자가 실제로 아이템 수준(item-level)에서 정답 여부를 변별할 수 있는 유효한 신호인가?"**라는 근본적인 질문을 던집니다. 특히, 모델의 크기가 작은(3~9B) 오픈 웨이트 모델들이 단순히 모든 답변에 대해 극도로 높은 확신도(예: 95% 이상)만을 출력하는 '포화(Saturation)' 현상을 겪고 있는지, 그리고 이것이 단순한 보정(Calibration)의 문제를 넘어 신호 자체가 무의미해지는 **'타당성(Validity)'**의 문제인지를 검증하고자 합니다.

2. 연구 방법론 (Methodology)

본 연구는 사전 등록(Pre-registered)된 심리측정학적 타당성 검증 프로토콜을 사용하여 엄격하게 설계되었습니다.

대상 모델: 4개 제품군, 7개의 지시 미세 조정(Instruct) 모델 (3B~9B 파라미터 규모, Llama 3, Mistral, Qwen 2.5, Gemma 2, DeepSeek R1 Distill 포함).
데이터셋: TriviaQA 검증 세트의 524개 아이템.
실험 설계: 8개 모델 × 2가지 추출 방식(NUM, CAT) × 524개 아이템 = 총 8,384회의 결정론적(Greedy decoding) 시행.
- NUM (Numeric): 0~100 사이의 숫자로 확신도 요청.
- CAT (Categorical): 10단계의 범주형 척도로 확신도 요청.
타당성 검증 프로토콜 (Psychometric Validity Screen): 임상 심리 평가 방식(MMPI-3 등)에서 차용한 프로토콜을 적용하여, 확신도 신호를 Valid(유효), Indeterminate(불확정), **Invalid(무효)**의 세 단계로 분류합니다. 주요 지표로는 오답 시 높은 확신도를 보일 확률( $L$ ), 정답 시 낮은 확신도를 보일 확률( $F_p$ ) 등이 사용됩니다.

3. 주요 결과 (Key Results)

① 언어적 확신도의 포화 및 타당성 상실 (H1, H2 확인)

포화 현상: NUM 방식에서 7개 모델 모두 평균 **91.7%**의 확률로 95% 이상의 확신도를 출력했습니다(H1 확인).
타당성 실패: 모든(7/7) 지시 미세 조정 모델이 NUM 방식에서 **'Invalid(무효)'**로 분류되었습니다(H2 확인). 즉, 모델이 내뱉는 숫자가 정답과 오답을 구분하는 변별력을 상실하여, 통계적으로 아무런 정보를 제공하지 못하는 상태(Degeneracy)임을 의미합니다.

② 범주형 추출의 실패 (H4 미확인)

숫자 대신 범주형(CAT) 방식을 사용하면 문제가 해결될 것이라는 가설(H4)은 기각되었습니다. 오히려 범주형 프롬프트는 모델의 태스크 수행 능력(정확도)을 급격히 저하시키는 부작용을 초래했습니다(대부분의 모델에서 정확도가 5% 미만으로 추락).

③ 로그 확률(Logprob)과의 독립성 (H5 확인)

토큰 수준의 로그 확률(Log-probability)은 모델이 언어로 출력하는 확신도를 예측하는 데 유용하지 않았습니다( $R^2 < 0.01$ ). 이는 언어적 확신도가 내부의 확률 값과는 별개의 메커니즘으로 작동함을 시사합니다.

④ 추론 모델의 특이 사항 (Reasoning Contamination Effect)

DeepSeek-R1-Distill 모델의 경우, 추론 과정(Reasoning trace)의 길이가 길수록 확신도가 낮아지는 강한 음의 상관관계( $\rho = -0.36$ )가 관찰되었습니다. 이는 어려운 문제일수록 더 긴 추론을 수행하고, 그 결과 확신도가 낮게 나타나는 현상을 뒷받침합니다.

4. 연구의 의의 및 시사점 (Significance)

신호의 유효성 경고: 본 연구는 3~9B 규모의 소형 모델에서 언어적 확신도를 그대로 사용하는 것이 매우 위험함을 경고합니다. 모델이 내뱉는 숫자가 "모든 것에 대해 95% 이상"이라고 답한다면, 이는 신호가 아니라 단순한 '상수'에 불과합니다.
보정(Calibration) 이전의 단계: 기존 연구들이 "어떻게 하면 확신도를 정확하게 보정할 것인가"에 집중했다면, 본 연구는 **"보정할 가치가 있는 유효한 신호인가"**를 먼저 따져야 한다고 주장합니다. 신호 자체가 포화되어 변별력을 잃었다면, 어떤 수학적 재조정(Rescaling)으로도 정보를 복구할 수 없습니다.
배포 시 주의사항: 모델의 확신도를 기반으로 답변 거부(Abstention), 라우팅(Routing), 또는 안전성(Safety) 결정을 내리는 시스템을 설계할 때, 반드시 사전에 심리측정학적 타당성 검증(Psychometric screening)을 거쳐야 함을 강조합니다.

결론적으로, 이 논문은 소형 오픈 웨이트 모델의 언어적 확신도 출력 방식이 현재의 최소한의 프롬프트 조건 하에서는 정보로서의 가치가 없는 '포화된 상태'임을 과학적으로 입증하였습니다.