기술 요약: LLM의 불확실성 정량화를 위한 클러스터링 기반 자기 평가 (Clustered Self-Assessment)

문제 정의

대규모 언어 모델(LLM)은 다양한 작업에서 탁월한 성능을 보이지만, 유창하고 그럴듯해 보이면서도 사실과는 다른 답변을 생성하는 경우가 빈번합니다. 이러한 "환각(hallucination)" 문제는 의료, 법률, 과학 연구와 같은 고위험 영역에서 특히 치명적입니다. 이러한 위험을 완화하기 위한 주요 장벽은 명시적이고 신뢰할 수 있는 불확실성 추정치의 부재입니다. 기존의 불확실성 정량화 방법들은 주로 생성된 샘플들의 엔트로피나 의미론적 발산 지표와 같은 간접적인 신호에 의존합니다. 이러한 접근 방식은 두 가지 주요 한계를 가집니다:

1. 해석 가능성: 엔트로피 기반 지표와 같은 간접 점수는 최종 사용자가 해석하기 어려워 실질적인 활용도를 제한합니다.
2. 내부 지식의 미활용: 많은 방법이 모델이 자신의 지식에 대해 가진 내부적 이해를 활용하지 못한 채 출력의 불일치만을 측정합니다. 또한, LLM이 자신의 불확실성을 직접적으로 말하게 하려는 시도들은 잘 알려진 모델의 과잉 확신(overconfidence) 문제로 인해 실패하는 경우가 많습니다.

방법론: 클러스터링 기반 자기 평가 (Clustered Self-Assessment)

저자들은 LLM이 생성한 답변을 스스로 평가하도록 유도하여 불확실성을 도출하고 정량화하는 2단계 방법인 클러스터링 기반 자기 평가를 제안합니다. 이 과정은 불확실성 추정 문제를 구조화된 객관식 질문(MCQ) 작업으로 변0환합니다.

1단계: 답변 클러스터링 (Answer Clustering)

주어진 입력 질문에 대해 LLM은 여러 개의 응답(샘플)을 생성합니다. 의미적 중복을 줄이면서 다양성을 보존하기 위해, 이 샘플들을 의미적으로 구별되는 클러스터로 그룹화합니다:

• 의미 관계 추정: 외부 자연어 추론(NLI) 모델(구체적으로 deberta-large-mnli)을 사용하여 샘플된 답변들 사이의 쌍방향 의미 관계를 추정합니다. 각 쌍 $(a_i, a_j)$에 대해 NLI 모델은 함의(entailment), 중립(neutral), 모순(contradiction)과 같은 레이블을 예측합니다.
• 클러스터링 로직: 양방향 NLI 레이블에 규칙 기반 필터를 적용합니다. 두 답변의 양방향 관계에 모순(contradiction)이 포함되지 않고, 어느 한 방향이라도 함의(entailment)가 포함되어 있다면 동일한 클러스터로 그룹화합니다.
• 대표 답변 선택: 각 클러스터는 단일 답변(일반적으로 클러스터에 처음 할당된 답변)에 의해 대표됩니다. 이 과정은 최종 선택지 세트가 동일한 응답의 미세한 변형이 아니라 의미적으로 구별되는 후보 답변들을 나타내도록 보장합니다.

2단계: MCQ를 통한 자기 평가 (Self-Assessment via MCQ)

클러스터링된 답변들은 구조화된 객관식 질문(MCQ)을 구성하는 데 사용됩니다:

• 질문 구성: 원래의 질문과 함께 각 클러스터의 대표 답변들을 별개의 선택지(예: 옵션 A, 옵션 B, 옵션 C)로 제시합니다.
• 안전 옵션: 생성된 모든 클러스터가 틀렸거나 모델이 매우 불확실한 시나리오를 고려하여 "위 항목 중 없음(None of the above)"이라는 추가 옵션을 포함합니다.
• 신뢰도 점수 산출: 구성된 MCQ가 원래의 LLM에 다시 입력됩니다. 특정 선택지에 할당된 토큰 확률(token probability)이 신뢰도 점수 역할을 합니다.
  • 형식적으로, 만약 $c_{i^*}$가 올바른 선택지의 토큰 레이블이라면, 신뢰도 점수 $S$는 $P(c_{i^*})$입니다.

주요 기여

1. 자기 평가 유도: 이 방법은 샘플 생성된 답변들을 MCQ 형식으로 구조화함으로써 LLM의 내부 불확실성 표현을 활용합니다. 이는 모델이 간접적인 통계적 대리 지표에 의존하는 대신, 자신의 답변에 대한 정당성을 명시적으로 평가하도록 유도합니다.
2. 우수한 성능 및 효율성: 이 접근 방식은 여러 모델과 데이터셋에 걸쳐 기존 베이스라인(Semantic Entropy, EigenScore, SAR 포함)보다 일관되게 우수한 성능을 보입니다. 특히, 일부 베이스라인이 16개의 샘플까지 필요로 하는 반면, 이 방법은 단 2개의 추가 샘플만으로도 경쟁력 있는 성능을 달착하여 계산 오버헤드를 크게 줄였습니다.
3. 인간 해석 가능성: 특정 선택지의 토큰 확률을 신뢰도 점수로 사용함으로써, 이 방법은 사용자에게 직관적이며 답변이 정답일 가능성에 직접 매핑되는 지표를 제공합니다.

실험 결과

이 방법은 7개의 최신 오픈 소스 모델(Qwen-2.5, Qwen-3, Gemma-3 시리즈)과 3개의 데이터셋(TriviaQA, Natural Questions, XSum 요약)을 대상으로 평가되었습니다.

• 정확도 (AUROC): 이 방법은 모든 모델과 데이터셋에서 가장 높은 AUC-ROC(Area Under the Receiver Operating Characteristic Curve)를 달성했습니다. 예를 들어, Qwen2.5-32B를 사용한 TQA 데이터셋에서 0.940의 AUROC를 기록하며, 다음으로 우수한 베이스라인인 Deg(0.848)를 앞질렀습니다.
• 샘플 효율성: 최소한의 샘플링만으로도 성능이 견고하게 유지되었습니다. 단 2개의 추가 샘플만으로도 8개 또는 16개의 샘플을 사용한 베이스라인보다 뛰어난 성능을 보였습니다.
• 보정(Calibration): Brier 점수를 통해, 이 방법은 확률 기반 베이스라인(P(True) 및 원시 확률)보다 우수한 보정 성능을 입증하였으며, 이는 신뢰도 점수가 경험적 정답과 잘 일치함을 나타냅니다.
• 프로브 학습(Probe Training): LLM의 은닉 상태(hidden states)로부터 불확실성을 예측하는 프로브의 학습 신호로 사용되었을 때, 이 방법의 점수는 추론 시 정답 레이블 없이도 프로브가 분포 외(out-of-distribution) 설정에서 베이스라인보다 우수한 성능을 내도록 했습니다.

의의 및 한계

본 논문은 클러스터링 기반 자기 평가가 LLM의 출력을 정량화하는 데 있어 실용적이고 효과적이며 계산 효율적인 솔루션을 제공한다고 주장합니다. 문제를 자기 평가 작업으로 전환함으로써, 모델의 내부 지식과 사용자가 해석 가능한 신뢰도 지표 사이의 간극을 메웁니다.

저자들은 다음과 같은 특정 한계를 인정합니다:

• 로짓 접근 권한(Logit Access): 이 방법은 출력 로짓에 대한 접근을 필요로 하며, 이는 폐쇄형(closed-source) 모델에서는 불가능할 수 있습니다.
• 외부 의존성: 클러스터링을 위해 외부 NLI 모델에 의존하며, 이는 계산 오버헤드와 잠재적인 의미론적 불일치를 유발할 수 있습니다. 저자들은 향ี 연구에서 LLM 자체의 내부 표현을 클러스터링에 활용할 수 있다고 제안합니다.
• 보정(Calibration): 이 방법은 사후 보정(post-hoc calibration) 없이 원시 소프트맥스 확률을 사용하지만, 이미 강력한 성능을 보여주고 있습니다.

결론적으로, 본 논문은 구조화된 자기 성찰을 통해 LLM 출의 신뢰성을 높이는 단순하면서도 강력한 프레임워크를 제시합니다.