Claim-Level Confidence Calibration for Reliable Decision Making with Large Language Models

기술 요약: 신뢰할 수 있는 의사결정을 위한 LLM의 클레임 수준 신뢰도 교정 (Claim-Level Confidence Calibration)

문제 정의
대규모 언어 모델(LLM)은 사용자가 모델의 출력을 수락, 거부 또는 검증할지 결정해야 하는 고위험 의사결정 파이프라인에 점점 더 많이 배치되고 있습니다. 이러한 환경에서 발생하는 핵심적인 실패 모드는 모델이 표현하는 신뢰도와 실제 사실적 정확성(환각) 사이의 불일치입니다. 기존 방식들은 대개 **응답 수준(response-level)**의 신뢰도 점수를 제공합니다. 저자들은 이 신호가 의사결정을 내리기에는 너무 거칠다고 주장합니다. 하나의 응답에는 정답과 오답이 섞여 있을 수 있지만, 단일한 집계 점수는 이를 하나로 뭉뚱그려 어떤 특정 정보는 믿고 어떤 정보는 검증해야 하는지 사용자가 식별하는 것을 방철합니다. 또한, 기존의 많은 불확실성 정량화 방법들은 모델의 로짓(logits) 접근이나 미세 조정(fine-tuning)을 필요로 하므로, "폐쇄형 박스(closed-box)" 상용 API(예: GPT-4, GPT-4o)에는 적용하기 어렵습니다.

방법론
본 논문은 클레임 수준의 신뢰도 교정을 위한 폐쇄형 박스 기반의 추론 시점(inference-time) 파이프라인을 제안합니다. 이 프레임워크는 모델 가중치를 수정하거나 내부 파라미터에 접근하지 않고 작동합니다. 파이프라인은 다음 다섯 단계로 구성됩니다:

1. 문맥 내 추론 (In-context Reasoning): 시스템은 탐욕 디코딩(greedy decoding)을 통해 기본 응답을 생성하며, 변동성을 포착하기 위해 선택적으로 $N-1$개의 확률적 샘플을 생성합니다.
2. 클레임 추출 (Claim Extraction): 보조 LLM(GPT-4o-mini)이 기본 응답을 원자적이고 독립적이며 검증 가능한 클레임(15단어 이하, 대명사 해결 포함)으로 분해합니다.
3. 클레임 검증 (Claim Verification): 각 클레임은 보조 검증기(LLM, RAG 시스템 또는 웹 검색 가능)에 의해 해당 클레임이 증거에 의해 뒷받침되는지 판단됩니다.
4. 클레임별 신뢰도 점수 산출 (Per-Claim Confidence Scoring): 시스템은 각 클레임에 대한 원시 신뢰도 점수 $conf(c_i)$를 생성하기 위해 두 가지 신호를 결합합니다:
   • 검증 신호 ($ver(c_i)$): 폐쇄형 모델의 경우, 이는 14단계 결정성 척도에서 매핑된 언어적 신뢰도 점수입니다. 오픈형 모델의 경우, 평균 토큰 로그 확률(log-probability)입니다.
   • 일관성 신호 ($freq(c_i)$): $N$개의 샘플링된 응답 전체에서 해당 클레임이 나타나는 빈도입니다.
   • 이들은 다음과 같은 가중 혼합 방식으로 결합됩니다: $\hat{p}(c_i) = \alpha \cdot freq(c_i) + (1-\alpha) \cdot ver(c_i)$, 여기서 $\alpha$는 홀드아웃 세트(held-out set)에서 튜닝됩니다.
5. 사후 교정 (Post-hoc Calibration): 온도 스케일링(Temperature Scaling, TS) 및 플랫 스케일링(Platt Scaling, PS)이 응답 수준의 가능도가 아닌, 개별 클레임 점수에 직접 적용되어 보고된 신뢰도를 경험적 정확도와 일치시킵니다. 이를 통해 선택적 개입(예: 신뢰도가 낮은 클레임에 대해서만 증거 검색)이 가능해집니다.

주요 기여

1. 폐쇄형 박스 파이프라인: 저자들은 응답을 원자적 클레임으로 분해하고, 로짓이나 미세 조정 없이도 사후 교정을 적용하는 방법을 제시하여, API 전용 모델에도 적용 가능하게 했습니다.
2. 체계적 평가: 연구진은 6개의 현대적 모델(Llama-3.1, Mistral, Qwen2.5, DeepSeek-R1, GPT-4, GPT-4o)과 2개의 데이터셋(TriviaQA - 사실적 상식, TruthfulQA - 적대적 거짓 전제)을 대상으로 7개의 베이스라인(시퀀스 가능도, 언어적 신로도, HalluMeasure, LMvsLM 포함)을 평가했습니다.
3. 실패 모드 진단: 본 논문은 클레임 수준 교정이 성공하는 특정 영역(혼합된 정답성, 폐쇄형 박스 설정)과 실패하는 영역(모델이 잘못된 결론을 향해 확신을 가지고 추론하는 적대적 거짓 전제 질문)을 식별합니다.

결과

• 교정 오차 감소: TriviaQA에서 제안된 방법과 사후 교정을 결 함께 사용했을 때, 미세 조정되지 않은 퓨샷(few-shot) 베이스라인에 비해 기대 교정 오차(Expected Calibration Error, ECE)가 크게 감소했습니다. 예를 들어, Mistral의 경우 Platt Scaling을 통해 ECE를 $\le 0.013$까지 낮추었습니다. GPT-4o/TriviaQA의 경우, 이 방법은 온도 스케일링 베이스라인보다 15배 뛰어난 0.006의 ECE를 달 achievement 했습니다.
• 실행 가능한 신호: 이 방법은 실행 가능한 클레임별 신뢰도를 제공합니다. 교정된 0.9라는 점수는 기대 오차율이 약 10%임을 신뢰성 있게 나타내며, 이를 통해 다운스트림 시스템이 정밀한 수락/거절 결정을 내릴 수 있게 합니다.
• 적대적 실패: TruthfulQA에서, 이 방법은 모델이 거짓 전제로 인해 유도된 클레임을 확신을 가지고 생성할 때 어려움을 겪습니다(예: GPT-4o의 ECE는 0.412로 상승). 이 경우, 파이프라인은 모델의 잘못된 신뢰도를 교정하는 대신, 모델의 틀린 신뢰도를 그대로 반영합니다. 저자들은 능동적 교차 검증(LMvsLM 등)을 포함하는 방법들이 이 상황에서 더 나은 성능을 보인다는 점을 언급하며, 신뢰도 신호만으로는 불충분함을 시사했습니다.
• 추론 모델: DeepSeek-R1과 같이 긴 사고 사슬(Chain-of-Thought, CoT)을 생성하는 모델의 경우, 전체 트레이스에서 클레임을 추출하면 신호가 희석됩니다. 저자들은 배포 시 클레임 추출을 최종 답변 구간으로 제한할 것을 권장합니다.

의의 및 주장
본 논문은 응답을 원자적 클레임으로 분해하고 그 입도(granularity)에서 신뢰도를 교정하는 것이 LLM 배포 시 신뢰할 수 있는 의사결정을 위한 필수적인 단계라고 주장합니다. 주요 의의는 전통적인 교정이 불가능한 폐쇄형 박스 환경에서 실행 가능한 미세한 불확실성 신호를 제공한다는 데 있습니다.

저자들은 클레임 수준의 교정이 사실적 질문에 대한 오류를 효과적으로 줄이고 표적 개입(예: 신뢰도가 낮은 클레임에 대한 인간 검토)을 지원하지만, 만능 해결책은 아니라고 결론짓습니다. 특히 적대적 거짓 전제가 포함된 시나리오에서는 신뢰도 신호만으로는 신뢰할 수 없습니다. 논문은 프로덕션 파이프라인이 이러한 실패 모드를 처리하기 위해 클레임 수준의 신뢰도와 능동적 검증 단계(교차 검증 또는 외부 검색 등)를 결합해야 한다고 상정합니다. 이 연구는 환각을 완전히 해결한다고 주장하는 것이 아니라, 실제 의사결정이 이루어지는 입도에서 불확실성을 정량화하고 관리할 수 있는 프레임워크를 제공하는 것입니다.