AI 가 글을 쓰거나 답을 할 때, "내가 이걸 90% 확신해!"라고 말해주는 숫자가 있습니다. 이를 **자신감 점수 (Confidence Score)**라고 합니다.
좋은 점: 이 점수가 높으면 AI 가 정답일 가능성이 높고, 낮으면 "아, 내가 헷갈리는구나"라고 생각해서 인간이 다시 한번 확인해 볼 수 있습니다. (예: "이 답은 20% 만 확신하니까, 인간이 다시 확인해 주세요.")
2. 문제: 훈련 (SFT) 을 시키니 '자신감'이 망가졌다!
연구자들은 AI 를 특정 작업 (예: 번역, 수학 문제 풀이) 에 맞춰 더 잘하도록 훈련시켰습니다. 이를 **SFT(지도 미세 조정)**라고 합니다.
예상: 훈련을 잘 시키면 AI 가 더 똑똑해지고, 자신의 자신감 점수도 정답과 잘 맞을 거라고 생각했습니다.
현실 (충격): 아니요! 훈련을 시키자 자신감 점수와 정답 사이의 관계가 뒤틀리기 시작했습니다.
3. 발견된 두 가지 이상한 현상
① "아무것도 모르는데 자신만만해!" (과신, Overconfidence)
비유: 시험을 보는데 정답을 모르고 엉뚱한 답을 적었는데, AI 는 "내가 100% 확신해! 이거 맞을 거야!"라고 큰소리를 칩니다.
원인: AI 가 훈련 데이터와 비슷한 패턴을 보일 때, 정답이든 오답이든 무조건 "내 데이터에 익숙하니까 확신해!"라고 반응합니다. 마치 숙제 답안을 외운 학생이, 비슷한 문제가 나오면 정답을 모른 채도 "내가 다 알지!"라고 외치는 것과 같습니다.
② "정답인데 왜 이렇게 망설여?" (과소신, Underconfidence)
비유: 정답을 딱 맞췄는데 AI 는 "음... 내가 이거 맞췄을까? 확신이 안 서는데..."라며 자신감 점수를 낮게 줍니다.
원인: 훈련을 받으면서 AI 가 "아니, 이 답이 너무 완벽할 리가 없어"라고 의심하기 시작하는 경우입니다.
4. 왜 이런 일이 일어날까? (핵심 통찰)
논문은 이 현상의 원인을 아주 흥미롭게 설명합니다.
질문: "AI 가 확신하는 이유는 '정답' 때문일까?"
답변: "아닙니다. '내 훈련 데이터와 얼마나 비슷한가' 때문일 가능성이 큽니다."
비유: AI 는 정답을 맞추는 게 아니라, **"내가 배운 책 (훈련 데이터) 에 나온 내용과 비슷한가?"**를 기준으로 자신감을 조절합니다. 그래서 훈련 데이터와 비슷한 엉뚱한 답을 내놓아도 "이거 내 책에 있잖아! 확신해!"라고 말합니다.
5. 실제 피해: "이게 왜 중요해?"
이 연구는 단순히 이론적인 문제가 아니라, 실제 사용 시 큰 위험이 될 수 있음을 보여줍니다.
상황: AI 가 "이 답은 90% 확신합니다"라고 말하면, 우리는 그 답을 믿고 넘어갑니다.
재앙: 하지만 훈련을 시킨 후 AI 가 틀린 답을 90% 확신으로 내놓으면? 우리는 그 틀린 답을 믿고 실수를 저지르게 됩니다.
결과: 연구 결과, 훈련을 시킨 후 AI 가 틀린 답을 찾아내서 경고해 주는 능력 (정답을 골라내는 능력) 이 약 47% 나 떨어졌습니다.
💡 결론 및 교훈
이 논문의 결론은 매우 명확합니다.
AI 의 '자신감 점수'는 그냥 믿으면 안 됩니다.
AI 를 새로 훈련 (Fine-tuning) 시켰다면, 그 AI 의 자신감 점수는 **새로고침 (재평가)**이 필요합니다. "오프더셸프 (Off-the-shelf, 그냥 가져다 쓰는)" 방식으로는 안 된다는 뜻입니다.
새로운 기준이 필요합니다.
AI 가 "내 훈련 데이터와 비슷해서 확신하는 것"과 "실제로 정답이라서 확신하는 것"을 구분할 수 있는 더 똑똑한 측정 방법이 필요합니다.
사용자 주의사항:
AI 모델을 특정 업무에 적용할 때, "이 모델이 틀린 답을 내놓을 때 얼마나 자신감 있게 틀린다고 할까?"를 반드시 테스트해봐야 합니다. 그렇지 않으면 AI 가 자신감 넘치게 엉뚱한 소리를 할 때, 우리가 속아 넘어갈 수 있습니다.
한 줄 요약:
"AI 가 훈련을 받으면, 정답이든 오답이든 '내 데이터와 비슷하다'는 이유로 자신감 점수를 높게 줍니다. 그래서 훈련된 AI 의 '자신감'은 믿을 수 없으며, 반드시 다시 검증해야 합니다."
1. 연구 배경 및 문제 정의 (Problem)
배경: 언어 모델 (LLM) 의 불확실성을 정량화 (Uncertainty Quantification, UQ) 하는 기술은 할루시네이션 감지, 예측 품질 경고, 고신뢰도 답변 선택 등 다양한 분야에서 필수적입니다. 이러한 기술의 핵심은 모델이 생성한 출력에 대한 신뢰도 점수 (Confidence Score) 가 실제 출력의 품질 (Quality) 과 높은 상관관계를 가져야 한다는 점입니다.
문제: 최근 연구들은 미세 조정 (Fine-tuning) 이 모델의 과도한 자신감 (Overconfidence) 을 유발할 수 있음을 보였습니다. 그러나 기존 UQ 지표들이 다양한 방식으로 미세 조정된 모델에서 여전히 품질과 상관관계를 유지하는지에 대한 체계적인 조사는 부족했습니다.
핵심 질문:
신뢰도 지표의 상관관계는 지도 미세 조정 (SFT) 의 파라미터 (에포크 수, 샘플 수 등) 에 얼마나 민감한가?
SFT 후 신뢰도 점수와 품질 간의 상관관계가 깨지는 (Miscorrelation) 근본적인 역동성은 무엇인가?
2. 방법론 (Methodology)
연구팀은 다양한 모델과 작업에서 SFT 전후의 신뢰도 점수 변화를 분석하기 위해 다음과 같은 실험 설계를 사용했습니다.
데이터셋 및 모델:
작업: 번역 (Eng-Afr, NLLB), 질문 응답 (SQUAD), 수학 (GSM8K).
확률 기반 (Probability-based): 토큰 로그 확률 평균, 엔트로피, 드롭아웃 샘플 엔트로피, 빔 서치 가중치 등.
자기 일관성 기반 (Self-Consistency-based): 드롭아웃을 통한 다중 샘플 생성 후 BLEU, KL 발산, METEOR 등의 분산 측정.
혼합 지표: CoCoA (확률 기반과 자기 일관성 기반의 곱).
실험 절차:
RQ1 (민감도 분석): SFT 전 (Pre-trained), SFT 1 에포크 후, 그리고 조기 종료 (Early Stopping) 를 포함한 완전한 SFT 후의 스피어만 상관관계 (Spearman Correlation) 를 비교. 에포크 수와 학습 샘플 수를 변수로 변경하여 상관관계의 변화를 측정.
RQ2 (역동성 분석): 개별 샘플 수준에서 SFT 전후의 '품질 변화'와 '신뢰도 점수 변화'의 방향성을 4 가지 구간 (Quadrants) 으로 분류하여 분석.
미세 조정 (Miscorrelation) 원인 규명: 품질 순위가 변하지 않았음에도 신뢰도 순위가 뒤바뀌는 경우 (Case 1) 와 그 반대 경우 (Case 2) 를 분석하고, 학습 데이터와의 유사도 (Similarity) 가 신뢰도에 미치는 영향을 조사.
3. 주요 결과 (Key Results)
RQ1: SFT 파라미터에 대한 민감도
상관관계의 급격한 변화: 144 가지 구성 (3 데이터셋 × 4 모델 × 12 지표) 중 33.3%(48 건) 에서 SFT 후 신뢰도와 품질 간의 상관관계가 악화되었습니다. 반대로 66.7% 는 개선되었으나, 통계적으로 유의미한 개선 사례는 8 건에 불과했습니다.
에포크 및 샘플 수의 영향: 학습 에포크가 1 회만 추가되어도 상관관계가 최대 0.391 포인트까지 급격히 하락할 수 있었습니다. 또한, 학습에 사용된 샘플 수 (100~2000 개) 에 따라 상관관계가 유의미하게 달라졌습니다. 이는 특정 신뢰도 지표가 특정 학습 조건에서만 유효할 수 있음을 의미합니다.
RQ2: 상관관계 붕괴의 역동성
지표별 편향:
확률 기반 지표: SFT 후 상대적 과신 (Overconfidence) 경향을 보였습니다. 모델의 품질이 떨어졌음에도 불구하고 토큰 확률 (Log Prob) 이 증가하는 경우가 많았습니다.
자기 일관성 기반 지표: SFT 후 상대적 과소신 (Underconfidence) 경향을 보였습니다.
미세 조정의 주요 원인 (Case 1): 상관관계가 깨지는 대부분의 경우 (약 68.5%), 출력의 실제 품질은 변하지 않았음에도 불구하고 모델의 신뢰도 점수만 변하는 경우였습니다.
이는 모델이 학습 데이터 분포와 유사한 샘플에 대해 높은 확률을 부여하는 경향 (Distributional Bias) 때문입니다. 즉, 모델이 "정답"을 잘 맞추는 것이 아니라 "학습 데이터와 비슷하게" 말하는 것에 대해 자신감을 갖게 된 것입니다.
Case Study: 다운스트림 작업 영향
TruthfulQA 데이터셋을 사용하여 정답 여부를 판단하는 작업에서, SFT 후 신뢰도 점수를 활용한 정답 식별 능력 (AUROC) 이 47% 의 경우에서 감소했습니다. 이는 미세 조정된 모델에서 오프더셸 (Off-the-shelf) 신뢰도 지표를 그대로 사용할 경우 시스템의 신뢰성이 떨어질 수 있음을 시사합니다.
4. 주요 기여 및 결론 (Contributions & Significance)
SFT 에 대한 UQ 지표의 민감성 규명: 기존에 널리 사용되던 신뢰도 지표들이 지도 미세 조정 (SFT) 을 거치면 품질과의 상관관계가 크게 변할 수 있음을 실증적으로 증명했습니다.
미세 조정 메커니즘의 심층 분석: 상관관계 붕괴가 단순히 모델의 성능 저하 때문이 아니라, 학습 데이터 분포와의 유사성과 같은 품질 외 요인 (Output Quality 외의 요인) 에 의해 신뢰도 점수가 왜곡되기 때문임을 밝혔습니다.
실무적 권고:
신뢰도 지표를 실제 배포 환경 (Fine-tuned Model) 에 적용하기 전에는 반드시 해당 작업과 모델에 맞춰 검증 (Testing) 해야 합니다. "Off-the-shelf" 사용은 위험할 수 있습니다.
향후 연구에서는 미세 조정 (SFT) 에 더 강건 (Robust) 한 새로운 신뢰도 지표를 개발하거나, 학습 데이터와의 유사성 등을 고려한 보정 방법이 필요함을 강조합니다.
5. 의의 (Significance)
이 논문은 생성형 AI 의 신뢰성 평가 분야에서 중요한 전환점을 제시합니다. 많은 연구자들이 미세 조정된 모델을 사용할 때 기존 UQ 메트릭을 그대로 적용하는 경향이 있는데, 본 연구는 이러한 접근이 할루시네이션 감지나 안전 장치로서 실패할 수 있음을 경고합니다. 특히, 모델이 "무엇을 모르는지"를 아는 능력 (Uncertainty) 이 미세 조정 과정에서 왜곡될 수 있음을 보여주어, 향후 더 견고한 불확실성 정량화 방법론 개발의 필요성을 강력하게 제기합니다.