기술 요약: 다중 정답 질문에 대한 LLM 신뢰도 평가 및 교정

문제 정의

신뢰도 교정(Confidence calibration)은 대규모 언어 모델(LLM)의 신뢰성을 위해 매우 중요하며, 모델이 표현하는 신뢰도가 실제 예측 성능과 일치하도록 보장해야 합니다. 기존의 학습 불필요(training-free) 교정 방법들은 단일 정답 질의응답(QA) 환경에서는 광범위하게 연구되어 왔으나, 본 논문은 다중 유효 정답을 가진 질문에 적용했을 때 발생하는 결정적인 실패 모드를 식별합니다.

핵심 문제는 **확률 질량 분할(probability mass split)**입니다. 단일 정답 설정에서 응답 일관성(샘플링된 출력 간의 일치도)은 신뢰도의 신뢰할 수 있는 대리 지표가 됩니다. 즉, 모델이 정답을 "알고 있다면" 출력들이 수렴합니다. 그러나 다중 정답 설정에서 모델은 동일하게 정답이지만 텍스트적으로는 서로 다른 여러 답변(예: 두통약에 대해 "Ibuprofen"과 "Acetaminophen")을 생성할 수 있습니다. 기존의 일관성 기반 방법들은 이러한 자연스러운 다양성을 불확실성이나 불일치로 해석하여, 결과적으로 신뢰도를 체계적으로 과소평가하게 됩니다. 이로 인해 모델이 사실적으로 정답을 맞혔음에도 불구하고 신뢰할 수 없는 것으로 분류되어 심각한 미교정(miscalibration)을 초래합니다. 이러한 현상은 더 넓은 지식 범위를 보유하여 더 다양한 정답을 생성하는 대규모 모델(예: 70B+ 파라미터)에서 특히 두드러집니다.

방법론

1. MACE 벤치마크

이 현상을 체계적으로 연구하기 위해 저자들은 Honorable Award, Political Office, Regional Affiliation, Mathematical Concept, Natural River, Linguistic Culture의 6개 도메인에 걸친 12,000개의 사실적 질문으로 구성된 MACE (Multi-Answer Confidence Estimation) 벤치마크를 도입합니다.

• 구성: Wikidata 트리플릿을 사용하여 제어된 템플릿을 통해 질문을 생성합니다.
• 기수 제어(Cardinality Control): 벤치마크는 정답의 개수에 따라 질문을 1개, 2개, 4개, 6개의 정답(1a, 2a, 4a, 6a로 표기)으로 명시적으로 분류합니다.
• 품질 관리: 휴리스틱 필터링(인기도 및 유효성)과 도메인 전문가의 수동 검증을 포함한 엄격한 파이프라인을 통해 철저하고 정확한 정답 집합을 확보함으로써, 철저한 정답(ground truth)이 부족하거나 기수가 제어되지 않은 기존 벤치마크의 한계를 해결했습니다.

2. 실험적 평가

저자들은 7B에서 72B 파라미터 범위의 4가지 LLM 제품군(LLaMA, Qwen, DeepSeek, GPT)을 대상으로 15개의 대표적인 교정 방법을 평가했습니다.

• 테스트된 방법:
  • 단일 턴(Single-turn): 토큰 수준 확률(Entropy, Perplexity), 언어화된 신뢰도(Verb), 일관성 기반 방법(Consistency, Semantic Entropy).
  • 이중 턴(Double-turn): 모델이 두 번째 패스에서 자신의 답변을 검증하는 자기 평가 방식(PTrue, Self-Ask).
• 지표: 신뢰도 추정의 품질을 측정하기 위해 정확도(Accuracy)와 AUROC(Receiver Operating Characteristic 곡선 아래 면적)를 사용합니다.

3. 제안된 솔루션: 의미론적 신뢰도 집계 (Semantic Confidence Aggregation, SCA)

확률 질량 분할로 인한 미교정 문제를 해결하기 위해 저자들은 **의미론적 신뢰도 집계(SCA)**를 제안합니다.

• 핵심 아이디어: 단일 가장 높은 확률의 응답에 의존하거나 다양성에 의해 페널티를 주는 대신, 모든 고확률 유효 답변들의 신뢰도를 집계합니다.
• 메커니즘:
  1. 질문에 대해 여러 응답($N$)을 샘플링합니다.
  2. 의미적 유사성을 기준으로 응답들을 클러스터링합니다.
  3. 해당 클러스터 내의 모든 응답의 토큰 수준 생성 확률을 합산하여 각 클러스터의 신뢰도($C_m$)를 계산합니다: $P(C_m) = \sum_{s \in C_m} p(s)$.
  4. 임계값 $\tau$를 사용하여 저확률 클러스터(노이즈)를 필터링합니다 (단, 실험 결과 $\tau=0$인 경우가 종종 충분함을 확인했습니다).
  5. 최종 신뢰도 점수는 남은 유효 클러스터들의 확률 합입니다: $Conf_{SCA} = \sum_{C_m \in C_{valid}} P(C_m)$.
• 장점: 이 접근 방식은 정답의 다양성을 오류가 아닌 특징으로 취급하여, 모델이 여러 유효한 의미적 클러스터에 확률 질량을 분산시키더라도 높은 신뢰도 점수를 유지할 수 있게 합니다.

주요 결과

1. 신뢰도-정확도 역설 (The Confidence-Accuracy Paradox)

실험 결과 역설적인 경향이 드러났습니다: 정답의 개수가 증가함에 따라(1a에서 6a로), QA 정확도는 향상(경험적으로 문제가 쉬워짐)되지만, 거의 모든 기존 방법에서 추정 신뢰도는 지속적으로 감소합니다.

• 대규모 모델에 미치는 영향: 더 큰 모델(예: LLaMA-70B)은 더 작은 모델(예: LLaMA-8B)보다 더 심각한 신뢰도 저하를 겪습니다. 이는 "지식 커버리지" 때문으로 분석됩니다. 더 큰 모델은 더 많은 지식을 내재화하고 있으므로 더 넓은 범위의 유효한 답변을 생성하며, 이로 인해 더 큰 확률 질량 분할과 낮은 일관성 점수가 발생합니다.

2. 기존 방법의 실패

혼합형 답변 설정(1, 2, 4, 6개의 정답이 섞인 경우)에서 최첨단(SOTA) 교정 방법들은 무너집니다.

• 일관성 기반 방법들(예: Semantic Entropy, Consistency)은 답변의 다양성을 불확실성으로 오해하여 AUROC가 크게 하락합니다.
• 이중 턴 방법들(예: PTrue)은 검증과 생성을 분리함으로써 더 높은 안정성을 보이지만, 여전히 전체적인 교정 성능에서 제안된 SCA를 능가하지 못합니다.

3. SCA의 성능

SCA는 단일 정답 질문에서도 강력한 성능을 유지하면서, 혼합형 답변 설정에서 최첨단(SOTA) 교정 성능을 달고합니다.

• LLaMA-3.1-70B-Instruct 모델에서, SCA($\tau=0$ 적용 시)는 완전 혼합 설정([1,2,4,6])에서 76.7의 AUROC를 달성하여, 차순위 베이스라인인 Perplexity(73.8)를 앞질렀습니다.
• SCA는 임계값 $\tau$에 강건하며, 효과적인 결과를 위해 복잡한 클러스터링이나 필터링을 요구하지 않습니다. 단순히 샘플링된 모든 응답에 대해 토큰 수준 확률을 합산하는 것만으로도 최적의 결과를 얻는 경우가 많습니다.
• 이 방법은 모델 규모(7B ~ 72B)와 제품군(Qwen, LLaMA) 전반에 걸쳐 일반화됩니다.

의의 및 주장

본 논문은 신뢰도 교정의 범위를 제한적인 단일 정답 QA 설정에서 더 일반적이고 현실적인 시나리오인 다중 정답 상황으로 확장했다는 점을 주장합니다.

• 벤치마크 기여: MACE는 철저한 정답(exhaustive ground truth), 다중 정답 질문, 그리고 제어된 정답 기수를 제공함으로써 문헌의 중요한 공백을 메우며, 확률 질량 분할을 진단할 수 있게 합니다.
• 방법론적 통찰: 본 연구는 응답의 불일치가 반드시 낮은 신뢰도를 의미하는 것은 아니라는 점을 입증합니다. 다중 정답 맥락에서 불일치는 오히려 모델이 더 넓은 유효 지식 세트에 접근할 수 있는 능력을 반영합니다.
• 실질적 영향: SCA를 제안함으로써, 저자들은 올바르고 다양한 응답이 신뢰할 수 없는 것으로 잘못 처벌받는 "신뢰 위기"를 방지하는 학습 불필요하며 계산 효율적인 방법을 제공합니다. 이는 질문에 흔히 여러 유효한 솔루션이 존재하는 실제 애플리케케이션에 LLM을 배포할 때 필수적입니다.

저자들은 본 벤치마크가 난이도 조절을 위해 정형화된 프롬프트 템플릿을 사용함으로써 자연스러운 다양성을 희생했다는 점과, 현재 평가가 영어 단문 사실적 응답에 국한되어 있다는 점을 언급하며 한계에 대해 겸허한 태도를 유지했습니다. 이들은 다국어 맥락 및 장문 생성으로의 확장이 필요한 향후 과제임을 밝히고 있습니다.