Confidence Should Be Calibrated More Than One Turn Deep

논문 개요

이 논문은 대규모 언어 모델 (LLM) 이 금융, 의료, 교육과 같은 고위험 분야에서 신뢰할 수 있는 다중 턴 (multi-turn) 상호작용을 수행하기 위해 필요한 다중 턴 보정 (Multi-turn Calibration) 문제를 제시합니다. 기존 연구가 단일 턴 설정에 집중했던 반면, 저자들은 대화의 흐름 속에서 모델의 확신도 (confidence) 가 어떻게 변화하는지, 그리고 사용자 피드백 (예: 설득) 이 모델의 보정 상태를 어떻게 해치는지 분석하고 이를 해결하는 새로운 프레임워크를 제안합니다.

1. 문제 정의 (Problem)

• 배경: LLM 은 대화 중 사용자의 설득이나 비판에 따라 초기의 정확한 답변을 틀린 답변으로 바꾸는 '일관성 없는 행동'을 보일 수 있습니다.
• 핵심 문제: 기존 보정 (Calibration) 연구는 단일 턴에 국한되어 있어, 대화의 맥락 (이전 턴의 기록) 을 고려하지 않습니다.
• 발견: 저자들의 실험 (Fig. 1, Fig. 2) 에 따르면, 사용자가 설득적인 피드백을 줄 때 모델은 **두 번째 턴에서 과도하게 확신 (Overconfident)**하게 변하며, 실제 정확도보다 확신도가 훨씬 높아지는 현상이 발생합니다. 이는 대화 이력이 모델의 신뢰성 추정을 오히려 저하시킬 수 있음을 의미합니다.
• 새로운 지표: 다중 턴 보정 수준을 추적하기 위해 **ECE@T (Expected Calibration Error at Turn T)**라는 새로운 지표를 도입했습니다. 이는 특정 턴 $T$에서의 예측 확신과 실제 정확도 간의 오차를 측정합니다.

2. 방법론 (Methodology)

A. MTCal (Multi-Turn Calibration)

• 목적: 각 턴에서 대화 이력을 기반으로 모델의 확신도를 보정하여 ECE@T 를 최소화하는 것입니다.
• 손실 함수 설계: ECE@T 는 이산화 (binning) 과정을 포함하여 미분 불가능하므로, 직접적인 학습 목표 (loss) 로 사용할 수 없습니다. 이를 해결하기 위해 **대리 보정 목표 (Surrogate Calibration Target)**를 도입했습니다.
  • 각 턴 $t$에서 예측 확신도에 따라 응답을 $K$개의 그룹 (bin) 으로 나누고, 각 그룹의 **그룹 정확도 (Group Accuracy, $Acc_{t}^k$)**를 계산합니다.
  • 모델이 예측한 확신도 $c_t$와 그룹 정확도 $Acc_{t}^k$ 간의 제곱 오차를 최소화하는 손실 함수 ($L_{MT}$) 를 정의합니다.
• 구현: LLM 의 마지막 은닉 상태 (hidden state) 에서 확신도를 추출하기 위해 경량화된 **2 층 MLP(Probe)**를 보조 모델로 훈련합니다. 이때 원본 LLM 은 고정 (frozen) 시키고 Probe 만 최적화합니다.

B. ConfChat (Decoding Strategy)

• 목적: 보정된 확신도를 활용하여 설득에 대한 강인성 (robustness) 과 사실성 (factuality) 을 향상시키는 디코딩 전략입니다.
• 작동 원리:
  1. 재조정 (Rescale): 각 턴 $t$에서 후보 토큰에 대해 모델의 예측 확률 ($\hat{p}_t$) 과 MTCal 로부터 얻은 보정된 확신도 ($c_t$) 를 선형 결합하여 새로운 생성 점수 ($s_t$) 를 계산합니다. ($s_t = \lambda \hat{p}_t + (1-\lambda)c_t$)
  2. 집합 (Aggregation): 첫 번째 턴에서 생성된 후보 집합 ($S_1$) 과 현재 턴의 후보 집합 ($S_t$) 을 병합합니다.
  3. 최종 선택: 겹치는 토큰은 두 점수를 합산하고, 고유한 토큰은 원래 점수를 유지하여 최종 생성 점수 ($\tilde{s}_t$) 를 계산한 후, 가장 높은 점수를 가진 토큰을 선택합니다.
  • 이 과정을 통해 모델은 초기의 확신 있는 답변을 유지할지, 아니면 새로운 정보를 수용할지 결정할 때 보정된 확신도를 기준으로 삼습니다.

3. 주요 기여 (Key Contributions)

1. 다중 턴 보정 태스크 도입: 대화 이력을 활용한 각 턴별 보정 태스크와 이를 평가하는 지표 ECE@T를 제안했습니다.
2. MTCal 제안: ECE@T 를 최소화하도록 훈련된 보조 모델 (MLP Probe) 을 통해 다중 턴 보정 성능을 획기적으로 개선했습니다.
3. ConfChat 전략: 보정된 확신도를 생성 과정에 통합하여 설득적 상호작용에서의 모델 정확도와 강인성을 향상시키는 디코딩 방법을 제시했습니다.
4. 실증적 발견: 사용자 피드백 (설득) 이 모델의 보정 상태를 악화시키고, 이를 보정하는 것이 신뢰할 수 있는 LLM 시스템 구축에 필수적임을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋 및 모델: TriviaQA, SciQ, NQ 데이터셋에서 Llama3.1-8B, Qwen2.5-7B, Gemma2-9B 모델을 사용하여 평가했습니다.
• 보정 성능 (Table 1):
  • 기존 방법들 (Sequence Likelihood, Platt Scaling, Self-Consistency 등) 은 두 번째 턴으로 갈수록 ECE@T 가 급격히 증가하여 보정이 무너지는 것을 보였습니다.
  • 반면, MTCal은 모든 모델과 데이터셋에서 ECE@2 를 ECE@1 보다 낮게 유지하거나 크게 개선하여 (예: Llama3.1 에서 6.43% → 2.31%), 일관된 보정 성능을 입증했습니다.
• 도메인 일반화 (Fig. 4): 훈련 데이터 (TriviaQA) 와 다른 도메인 (SciQ, NQ) 에서도 MTCal 이 우수한 성능을 유지하여 과적합되지 않고 모델의 사실성 확신도를 잘 포착함을 보였습니다.
• 단일 턴 보정과의 비교 (Table 2): 단일 턴 전용 보정 방법들보다 MTCal 이 대화 후반기 (Turn 2~5) 에서 더 우수한 보정 성능을 보였습니다.
• 정확도 향상 (Fig. 5): ConfChat 전략을 적용한 결과, 설득적 피드백이 가해졌을 때 다른 방법들 (Reminder Prompt 등) 보다 정확도 (Accuracy) 가 더 안정적으로 유지되었으며, 특히 1 턴에서 평균 1.30% 의 정확도 향상을 보였습니다.

5. 의의 및 결론 (Significance)

이 논문은 LLM 이 고위험 분야에서 안전하게 활용되기 위해서는 **단순한 답변의 정확도뿐만 아니라, 대화의 흐름 속에서 '자신의 확신'을 올바르게 평가하는 능력 (보정)**이 필수적임을 강조합니다.

• 실용적 가치: 제안된 MTCal 과 ConfChat 은 LLM 이 사용자의 잘못된 설득에 휘둘리지 않고, 사실에 기반한 답변을 유지하도록 돕습니다.
• 미래 방향: 이는 LLM 보정 연구가 단일 턴을 넘어 다중 턴 상호작용으로 확장되어야 함을 보여주는 중요한 이정표이며, 신뢰할 수 있는 AI 에이전트 개발의 핵심 고리를 완성합니다.

한계점:

• MTCal 은 모델의 은닉 상태를 접근할 수 있어야 하므로 (White-box), OpenAI GPT 시리즈와 같은 폐쇄형 모델에는 적용이 어렵습니다.
• 긴 형식의 생성 (Long-form generation) 에서 여러 주장에 대한 개별 확신도를 평가하는 것은 현재 범위를 벗어납니다.
• ConfChat 은 토큰 후보군에 대한 확신 추정으로 인해 계산 효율성이 다소 떨어질 수 있습니다.