Verify when Uncertain: Beyond Self-Consistency in Black Box Hallucination Detection

기술 요약: 불확실할 때 검증하라: 블랙박스 환각 탐지에서 자기 일관성을 넘어

문제 정의

대규모 언어 모델(LLM)은 빈번하게 환각(hallucinations)—그럴듯하지만 사실과 다른 내용—을 생성하며, 이는 민감한 애플리케이션에서 모델의 신뢰성을 저해합니다. 블랙박스 설정(내부 상태나 로짓에 접근할 수 없고 출력값만 확인할 수 있는 환경)에서 이러한 환각을 탐지하는 것은 매우 중요한 과제입니다. 기존 방식들은 주로 **자기 일관성(self-consistency)**에 의존합니다. 이는 모델이 정답을 생성할 경우 확률적으로 샘플링된 응답들이 서로를 함의(entailing)하는 반면, 환각이 발생할 경우 출력들이 일관되지 않을 것이라는 직관에 기반합니다. 그러나 자기 일관성 방법론이 블랙박스 시나리오에서 가용한 제한된 정보 내에서 성능의 한계치에 도에 도달했는지, 그리고 과도한 계산 비용을 들이지 않고 어떻게 탐지 성능을 개선할 수 있는지는 여전히 불분명합니다.

방법론

1. 자기 일관성 천장(Ceiling) 분석

저자들은 먼저 기존의 자기 일관성 방법론(예: Semantic Entropy, Mean Pairwise Distance, Eigenvalue-based metrics)을 자기 함의 행렬 $P^{self}$에 적용되는 함수 $f$로 정형화합니다. 이 패러다임의 이론적 성능 한계를 결정하기 위해, 그들은 $P^{self}$를 정답 환각 레이블로 매핑하는 최적의 함수 $f$를 근사하도록 **그래프 합성곱 신경망(GCN)**을 학습시킵니다.

• 발견 사항: Llama-2, Llama-3, Mixtral 등 다양한 LLM과 데이터셋(SQuAD, TriviaQA)에 대한 실험 결과, 기존 방법론들은 이미 이 지도 학습 기반의 오라클(oracle)과 거의 유사한 성능을 보였습니다. 이는 자기 일관성만을 활용하는 패러다임 내에서는 추가적인 성능 향상이 제한적임을 시사합니다.

2. 교차 모델 일관성(Cross-Model Consistency) 도입

자기 일관성의 천장을 넘어서기 위해, 본 논문은 대상 모델($M_t$)과 검증 모델($M_v$) 사이의 일관성을 확인하는 검증 모델을 통합할 것을 제안합니다.

• 메커니즘: $M_t$와 $M_v$의 샘플을 비교하여 교차 함의 행렬 $P^{cross}$를 구축합니다.
• 이론적 통찰: 검증 모델이 대상 모델보다 약하더라도, 두 모델 간의 일치 또는 불일치는 자기 일관성만으로는 포착할 수 없는 정보를 제공합니다.
• 선형 결합: 저자들은 자기 일관성 지표와 교차 일관성 지표의 단순 가중 평균인 $(1-\lambda)MPD(P^{self}) + \lambda MPD(P^{cross})$가 GCN 오라클로부터 도출된 이론적 천장에 매우 근접한 성능을 달성할 수 있음을 입증합니다.

3. 예산 인지형 2단계 탐지 알고리즘

모든 질문에 대해 검증 모델을 호출하는 것이 상당한 계산 오버헤드(특히 검증 모델이 대규모 모델인 경우)를 초래한다는 점을 인식하여, 저자들은 2단계 적응형 알고리즘을 제안합니다.

1. 1단계 (자기 일관성): 자기 일관성 점수($s_{self}$)를 계산합니다.
   • $s_{self}$가 하한 임계값 $t_1$보다 낮으면, **환각 없음(No Hallucination)**으로 분류합니다.
   • $s_{self}$가 상한 임계값 $t^*$보다 높으면, **환각(Hallucination)**으로 분류합니다.
   • $s_{self}$가 중간의 "불확실 영역"($t_1 < s_{self} < t^*$)에 속하면, 2단계로 진행합니다.
2. 2단계 (교차 일관성): 모호한 부분집합에 대해 검증 모델의 응답을 샘플링하고, 교차 일관성 점수($s_{cross}$)를 계산한 후, 최종 분류를 위해 임계값 $t_2$를 적용합니다.

기하학적 해석: 저자들은 이 과정을 커널 평균 임베딩(Kernel Mean Embeddings) 공간에서 해석합니다. 자기 일관성은 대상 모델의 평균 임베딩 노름($\|\mu_t\|$)에 대응하며, 교차 일관성은 대상 모델과 검증 모델 임베딩 간의 내적($\langle \mu_t, \mu_v \rangle$)에 대응합니다. 2단계 프로세스는 $\mu_t$의 노름을 기준으로 샘플을 필터링하고, 검증 모델을 사용하여 불확실한 영역을 분리하는 초평면(separating hyperplane)을 정의합니다.

임계값 선택: 임계값 $t_1$과 $t_2$는 주어진 오탐율(false alarm rate)에 대해 탐지 확률을 최대화하도록 검증 세트를 사용하여 선택됩니다. 논문은 이 선택 절차가 테스트 데이터에 잘 일반화됨을 보장하는 정리(Theorem 5.1)를 제공합니다.

주요 결과

• 성능 천장: 기존의 자기 일관성 방법론은 검증 모델이 없는 블랙박스 탐지에서의 성능 천장에 근접해 있습니다.
• 검증 모델의 효용성: 검증 모델을 도입하면, 검증 모델이 대상 모델보다 작거나 약하더라도 근사된 천장 성능(AUROC 및 AURAC으로 측정)이 크게 향상됩니다.
• 비용-성능 트레이드오프: 제안된 2단계 알고리즘은 최소한의 계산 비용으로 높은 탐지 성능을 달-성합니다.
  • 실험 결과 성능 곡선은 **볼록(convex)**하며, 이는 적은 비율의 검증 모델 호출만으로도 대부분의 성능 이득을 얻을 수 있음을 의미합니다.
  • 구체적으로, 이 방법은 모든 질문에 대해 검증 모델을 호출할 때보다 **95%**의 최대 성능 이득을 유지하면서 계산 비용을 13.5%~28% 절감할 수 있습니다.
• 강건성: 이 접근법은 20개의 쌍(pair)으로 테스트된 다양한 대상-검증 모델 조합과 데이터셋(SQuAD, TriviaQA) 전반에서 우수한 성능을 보입니다. 한 세트의 질문에서 학습된 임계값은 다른 질문에도 효과적으로 전이됩니다.

의의 및 주장

본 논문은 블랙박스 설정에서 환각 탐지 정확도와 계산 예산 사이의 트레이드오프에 대한 실질적인 해결책을 제시한다고 주장합니다.

• 자기 일관성을 넘어: 자기 일관성이 한계에 도달했다는 점을 확립하고, 교차 모델 일관성이 필수적이고 효과적인 다음 단계임을 보여줍니다.
• 효율성: 주요 기여는 자기 일관성과 교차 일관성 사이를 동적으로 전환하는 예산 인지형 2단계 메커니즘입니다. 이를 통해 모든 쿼리에 대해 두 번째 대규모 모델을 실행하는 과도한 비용 없이도 높은 신뢰성을 유지할 수 있습니다.
• 이론적 근거: 커널 평균 임베딩을 통한 기하학적 해석을 제공함으로써, 왜 일관성 기반 탐지가 작동하는지에 대한 더 깊은 이론적 통찰을 제시합니다.
• 범위: 저자들은 일관성 신호를 연구하기 위한 통제된 환경으로서 질의응답(QA) 벤치마크에 명시적으로 집중하며, 개방형 텍스트에서 의미적 동등성을 판단하는 모호함 때문에 긴 형태의 생성(long-form generation)으로 확장하는 것이 여전히 도전 과제임을 언급합니다.

본 연구는 임계값을 조정하기 위해 현재 검증 세트가 필요하지만, 제안된 프레임워크는 함의 관계의 분포에 대해 태스크 불가지론적(task-agnostic)이며, 의미적 동등성을 평가할 수 있는 다른 생성 설정에도 잠재적으로 적용될 수 있다고 결론짓습니다.