Self-Anchoring Calibration Drift in Large Language Models: How Multi-Turn Conversations Reshape Model Confidence

이 논문은 다중 턴 대화에서 LLM 이 자신의 이전 출력에 기반할 때 모델마다 다른 방식으로 신뢰도 보정 오차가 변화하는 '자기 앵커링 보정 드리프트 (SACD)' 현상을 실증적으로 규명하고, 특히 클로드가 신뢰도 하락을, GPT 는 개방형 영역에서 오차 증가를, 지미는 자연스러운 보정 개선이 억제되는 양상을 보인다고 보고합니다.

핵심

🤖 AI 의 '자신감'이 대화할수록 변하는 비밀: "자기-고정 편향" 연구 설명

이 논문은 최신 AI(대형 언어 모델) 가 사람과 오래 대화할수록 자신의 답변에 대한 '자신감'이 어떻게 변하는지를 연구한 흥미로운 결과입니다.

간단히 말해, **"AI 가 자신의 이전 답변을 다시 보고 대화할 때, 그 답변이 '진짜'인지 아닌지와 상관없이 AI 의 자신감이 왜곡된다"**는 발견입니다.

이 복잡한 연구를 일상적인 비유로 쉽게 풀어서 설명해 드릴게요.

---

1. 핵심 개념: "거울 속의 나" (Self-Anchoring)

이 연구의 핵심 용어인 **'Self-Anchoring Calibration Drift(자기-고정 편향)'**를 이해하기 위해 다음과 같은 상황을 상상해 보세요.

비유: 회의실에서의 발표

당신이 회의실에서 처음 발표를 할 때, "이 아이디어는 80% 확률로 성공할 것 같습니다"라고 말합니다.

그런데 상사가 "자세히 설명해 줄 수 있나요?"라고 묻고, 당신은 방금 자신이 한 말을 다시 보고 더 자세히 설명합니다.

• 현실: 사실은 아이디어의 성공 확률은 여전히 80% 입니다.
• AI 의 반응: 하지만 AI 는 "내가 방금 이걸 설명했으니, 내가 이걸 확신하고 있는 게 틀림없지!"라고 생각하며 자신감을 95% 로 올릴 수도 있고, 반대로 "아, 내가 너무 확신한 건가? 다시 생각해보니 불안하네"라며 자신감을 60% 로 낮출 수도 있습니다.

이처럼 사실 (정답) 은 그대로인데, AI 가 자신의 이전 말을 '거울'처럼 보고 대화하다 보니 자신감이 변하는 현상을 이 논문은 **'자기-고정 편향'**이라고 부릅니다.

---

2. 실험 방법: 세 가지 상황 비교

연구진은 세 가지 다른 상황에서 AI 에게 같은 질문을 5 번 반복해서 물었습니다.

1. 상황 A (단일 대화): 질문을 한 번만 하고 끝. (기준선)
2. 상황 B (연속 대화): 질문을 하고, "더 자세히 말해줘", "이유는?" 같은 질문을 4 번 더 이어가며 이전 답변을 계속 보여줌. (이게 핵심 실험)
3. 상황 C (무작위 반복): 같은 질문을 5 번 물었지만, 매번 새로운 대화창을 열어 이전 답변을 전혀 보지 못하게 함. (자연스러운 변화 확인)

---

3. 놀라운 결과: AI 모델마다 성격이 다릅니다!

연구진은 "AI 가 대화할수록 더 자신감 있게 될 것"이라고 예상했습니다. 하지만 결과는 전혀 달랐습니다. 모델마다 '성격'이 너무 달랐기 때문입니다.

🟢 클로드 (Claude Sonnet 4.6): "겸손해지는 AI"

• 현상: 대화를 이어갈수록 자신감이 떨어졌습니다. (예: 처음엔 87% 확신 → 나중엔 78% 확신)
• 비유: 처음엔 "이거 맞아요!"라고 자신 있게 말하다가, 상사가 계속 "정말? 자세히 설명해"라고 묻자, "음... 다시 생각해보니 약간의 불확실성이 있네요"라며 점점 겸손해지고 주저하는 모습입니다.
• 문제: 사실 (정답) 은 변하지 않았는데, 자신감만 떨어졌습니다.

🔵 GPT-5.2: "오만해지는 AI"

• 현상: 특히 추상적인 질문 (사실 확인이 어려운 주제) 에서 자신감이 올라갔습니다.
• 비유: 처음엔 "아마 맞을 거예요"라고 말하다가, 대화를 이어갈수록 "내가 틀릴 리가 없지, 100% 확실해!"라며 점점 더 오만해지고 확신에 찬 모습입니다.
• 문제: 정답이 틀려도 자신감만 높아져서 사용자를 더 혼란스럽게 만들 수 있습니다.

🟠 지미니 (Gemini 3.1 Pro): "멈춰버린 AI"

• 현상: 자신감 수치는 변하지 않았습니다. 하지만 더 큰 문제가 있었습니다.
• 비유:
  • 새로운 대화 (상황 C): 지미니는 같은 질문을 여러 번 받으면 "아, 내가 처음엔 틀렸구나. 이제 알겠다!"라며 자연스럽게 실수를 고치고 정확해집니다.
  • 연속 대화 (상황 B): 하지만 자신의 이전 답변을 계속 보면, 그런 자연스러운 '수정'이 아예 일어나지 않습니다. 처음에 틀렸다면, 끝까지 틀린 채로 고집을 부립니다.
• 핵심: 자신감은 변하지 않았지만, 스스로를 고칠 기회를 잃어버린 것입니다.

---

4. 중요한 발견: "사실"과 "주관"의 차이

이 연구에서 가장 흥미로운 점은 질문의 종류에 따라 결과가 달랐다는 것입니다.

• 사실 확인 질문 (예: "파리의 수도는 어디인가요?"):
  • 모든 AI 가 자신감 변화가 거의 없었습니다. (정답이 명확하니까요.)
• 주관적/개방형 질문 (예: "이 정책의 장단점은 무엇일까요?"):
  • 여기서만 자신감의 왜곡이 극심하게 발생했습니다.

비유:

• 사실 질문: "1+1 은 몇?" → AI 는 "2"라고 확신합니다. 대화할수록 변하지 않음.
• 주관 질문: "이 그림이 아름다운 이유는?" → AI 는 자신의 이전 설명을 보고 "내가 이렇게 설명했으니, 내가 더 확신할 수밖에 없지!"라고 착각하며 자신감을 조절합니다.

---

5. 이 연구가 우리에게 주는 교훈

이 논문은 AI 를 사용할 때 우리가 주의해야 할 점을 알려줍니다.

1. 오래 대화할수록 AI 의 '자신감'은 믿을 수 없다:
   AI 가 "절대 확실해!"라고 말하더라도, 그것은 AI 가 대화를 이어가면서 스스로를 과신하게 만든 결과일 수 있습니다. 반대로 "잘 모르겠어요"라고 말하더라도, 그건 AI 가 대화하면서 스스로를 의심하게 만든 결과일 뿐, 사실은 알고 있을 수도 있습니다.
2. 주관적인 이야기일 때 더 조심해야 한다:
   날씨나 수학 같은 '사실'은 안전하지만, 의견이나 전략 같은 '주관적'인 이야기를 나눌 때는 AI 가 자신의 이전 말을 거울로 삼아 자신감을 왜곡할 수 있습니다.
3. 모델마다 성향이 다르다:
   어떤 AI 는 대화할수록 겸손해지고, 어떤 AI 는 오만해지며, 어떤 AI 는 실수를 고치지 못합니다. 사용하는 AI 의 '성격'을 이해하는 것이 중요합니다.

📝 한 줄 요약

"AI 와 대화할수록, AI 는 자신의 이전 말을 거울처럼 보며 '자신감'을 조절하는데, 이 조절이 사실과는 무관하게 일어나기 때문에 우리는 AI 의 확신에 너무 쉽게 속아서는 안 됩니다."

이 연구는 앞으로 AI 가 사람과 더 긴 대화를 나눌 때, 그 '자신감'이 얼마나 신뢰할 수 있는지 다시 한번 생각하게 해줍니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 최근 대형 언어 모델 (LLM) 은 다양한 작업에서 뛰어난 성능을 보이지만, 보정 (Calibration) 문제, 즉 모델이 표현하는 확신 (Confidence) 과 실제 정확도 (Accuracy) 간의 불일치가 여전히 주요 과제로 남아 있습니다. 특히 잘못된 정보를 높은 확신으로 제시하는 과신 (Overconfidence) 은 의료, 법률 등 고위험 분야에서 심각한 피해를 초래할 수 있습니다.
• 문제: 기존 연구는 주로 단일 턴 (Single-turn) 응답에서의 보정을 다루었습니다. 그러나 실제 LLM 은 사용자와의 다중 턴 대화 (Multi-turn conversation) 를 통해 상호작용합니다. 이 과정에서 모델은 자신의 이전 응답을 새로운 컨텍스트로 받아들이게 되는데, 이것이 모델의 후속 응답에 대한 확신에 체계적인 왜곡을 일으킬 수 있다는 가설이 제기되었습니다.
• 핵심 개념: 저자는 이를 자기-앵커링 보정 편향 (Self-Anchoring Calibration Drift, SACD) 이라고 명명했습니다. 이는 인간 심리학의 '앵커링 효과'와 유사하게, 모델이 자신의 이전 출력을 기준으로 삼아 이후 응답의 확신이 체계적으로 변하는 현상을 의미합니다.

2. 연구 방법론 (Methodology)

• 실험 설계: 3 가지 조건을 비교하는 혼합 요인 설계 (Mixed factorial design) 를 사용했습니다.
  • 조건 A (단일 턴 베이스라인): 새로운 컨텍스트에서 질문을 한 번만 제시.
  • 조건 B (다중 턴 자기-앵커링): 질문 후 4 번의 중립적인 후속 질문 (상세 설명 요청 등) 을 통해 대화 이력을 누적하며 5 턴까지 진행.
  • 조건 C (독립 반복 통제): 동일한 질문을 5 번 독립적인 새로운 컨텍스트에서 반복 (재측정 오차 및 자연스러운 보정 개선 효과 측정).
• 데이터셋: 사실적 (Factual), 기술적 (Technical), 개방형 (Open-ended) 도메인에서 각각 50 개씩 총 150 개의 질문으로 구성.
• 평가 대상 모델: Frontier 모델 3 종 (Claude Sonnet 4.6, Gemini 3.1 Pro, GPT-5.2).
• 측정 지표:
  • 확신 편향 점수 (CDS, Confidence Drift Score): 5 턴과 1 턴의 표현된 확신 차이.
  • 기대 보정 오차 (ECE, Expected Calibration Error): 표현된 확신과 실제 정확도 간의 불일치 정도.

3. 주요 기여 (Key Contributions)

1. SACD 의 공식적 정의: 다중 턴 대화에서 모델의 이전 출력이 후속 응답의 확신을 체계적으로 왜곡하는 현상을 이론적으로 정의하고, 기존 '시코팬시 (Sycophancy, 사용자의 의견에 동조하는 경향)' 와 구별됨을 명시했습니다.
2. 통제된 실증 연구: 질문의 난이도와 모델 편향을 통제할 수 있는 3 가지 조건 (A, B, C) 을 설계하여, 다중 턴 효과와 단순 반복 효과를 분리하여 분석했습니다.
3. 모델별 이질적 발견: SACD 가 모델마다 방향과 양상이 다르게 나타난다는 것을 규명했습니다. 이는 보정 편향이 단순히 대화 구조의 문제가 아니라, 모델의 학습 방식 (RLHF 등) 에 따라 결정됨을 시사합니다.
4. 오픈 소스: 모든 코드와 데이터를 공개하여 재현성을 보장했습니다.

4. 연구 결과 (Results)

예상과 달리, 모든 모델에서 일관된 확신 증가가 발생하지 않았으며 모델별로 상이한 패턴을 보였습니다.

• 모델별 SACD 양상:
  • Claude Sonnet 4.6: 다중 턴 대화 시 확신이 유의미하게 감소 (CDS = -0.032) 했습니다. 특히 개방형 질문에서 1 턴 (약 87%) 에서 5 턴 (약 78%) 으로 확신이 떨어졌습니다. 이는 '실용적 재보정 (Pragmatic Recalibration)' 메커니즘이 작용하여 점차 겸손해졌음을 시사합니다.
  • GPT-5.2: 개방형 도메인에서 확신이 증가하는 경향 (CDS = +0.026) 을 보였으며, 5 턴까지 ECE 가 급격히 악화 (.355 → .629) 되었습니다. 이는 '반복 - 확신 휴리스틱'이 강화된 결과로 해석됩니다.
  • Gemini 3.1 Pro: CDS 는 거의 0 이었으나, ECE 관점에서 독특한 현상을 보였습니다. 독립 반복 (조건 C) 시에는 2 턴 만에 ECE 가 .327 에서 거의 0 으로 개선되었으나, 자기-앵커링 (조건 B) 상황에서는 ECE 가 .333 수준으로 전혀 개선되지 않고 정체되었습니다. 즉, SACD 가 모델의 자연스러운 보정 개선 능력을 억제하는 형태로 나타났습니다.
• 도메인 조절 효과 (Domain Moderation):
  • 사실적 질문: 모든 모델에서 CDS 가 0 에 가까웠습니다. 정답이 명확한 경우 모델은 내부 지식에 기반하여 확신을 유지했습니다.
  • 개방형 질문: SACD 효과가 가장 극명하게 나타났습니다. 정답이 불명확한 영역에서 모델의 이전 응답이 확신 형성에 지배적인 영향을 미쳤습니다.
• 통계적 유의성:
  • Claude 는 확신 감소가 통계적으로 유의미했습니다 (p = .029).
  • GPT-5.2 와 Gemini 는 ECE 의 변화 (악화 또는 개선 저해) 에서 통계적으로 유의미한 차이를 보였습니다.

5. 의의 및 시사점 (Significance)

• 평가 패러다임의 전환 필요: 기존의 단일 턴 평가만으로는 LLM 의 실제 신뢰성을 판단할 수 없습니다. 다중 턴 대화에서의 보정 편향 (Calibration Drift) 을 반드시 모니터링해야 합니다.
• 모델 아키텍처 및 학습의 영향: SACD 의 방향성 (확신 증가 vs 감소 vs 개선 저해) 은 모델의 학습 목표 (RLHF, 보정 최적화 등) 에 따라 달라집니다. 이는 모델 설계 시 대화 맥락에서의 신뢰성 유지가 중요함을 시사합니다.
• 실무적 적용 제안:
  • 대화 중 지속적인 확신 모니터링 시스템 도입.
  • 자기-앵커링 효과를 끊기 위해 주기적인 컨텍스트 초기화 (Context Reset) 전략 수립.
  • 개방형/모호한 질문 영역에 특화된 보정 정책 적용.
• 이론적 통찰: SACD 는 단일 메커니즘이 아니라 모델마다 다른 메커니즘 (확신 억제, 확신 증폭, 보정 개선 저해) 으로 작동하는 다양한 형태 (Multiform) 의 현상임을 증명했습니다.

결론

이 논문은 LLM 이 다중 턴 대화에서 자신의 이전 응답에 '앵커링'되어 보정 상태가 체계적으로 변할 수 있음을 최초로 규명했습니다. 특히 개방형 도메인에서 이러한 편향이 두드러지며, 모델마다 그 양상이 상이하다는 점은 향후 AI 시스템의 안전성과 신뢰성 확보를 위해 대화 맥락을 고려한 새로운 평가 및 개선 방안이 시급함을 보여줍니다.