기술 요약: 환각 탐지를 위한 D-Score

문제 정의

대규모 언어 모델(LLM)은 유창한 텍스트를 생성하지만, 그 내용이 사실과 다르거나, 증거에 의해 뒷받려되지 않거나, 모델의 내부 지식과 일치하지 않는 현상인 '환각(hallucination)'을 빈번하게 일으킨다. 현재의 탐지 방법들은 외부 자원(검색 기반 시스템)에 의존하거나 여러 번의 생성 과정(일관성 기반 방법)을 거치는 경우가 많으며, 이는 추론 비용과 복잡성을 증가시킨다. 따라서 외부 검증기나 반복적인 샘플링 없이, 단일 순전파(forward pass) 과정 동안 모델의 내부 상태로부터 직접 작동하는 탐지 메커니즘이 필요하다.

방법론: D-Score

본 논문은 트랜스포머 모델 내 은닉 활성화(hidden activations)의 기하학적 구조에서 유도된 스펙트럼 통계량인 D-Score를 소개한다. 핵심 직관은 잘 뒷받침된 텍스트는 소수의 지배적인 방향을 따라 집중된 일관된 은닉 궤적(hidden trajectory)을 유도한다는 것이다. 반대로, 모델이 자신의 내부 지식과 충돌하는 근거 없는 주장을 처리할 때, 은닉 표현은 주장된 내용과 더불어 반증, 불확실성 또는 근거 부족의 흔적을 함께 인코딩할 수 있다. 이러한 충돌은 은닉 궤적을 추가적인 특이 방향(singular directions)으로 확산시켜, 활성화 행렬의 '유효' 차원을 증가시킨다.

수학적 정식화

고정된 모델 $m$, 특정 레이어 $j$, 그리고 입력 텍스트 $\mathbf{x} = (x_1, \dots, x_T)$가 주어졌을 때, 이 방법은 레이어 $j$에서의 토큰들의 은닉 상태를 열(column)로 하는 은닉 활성화 행렬 $H^{(j)}(\mathbf{x}; m) \in \mathbb{R}^{d \times T}$를 구성한다.

$\sigma_1 \ge \sigma_2 \ge \dots \ge \sigma_r > 0$를 $H^{(j)}(\mathbf{x}; m)$의 0이 아닌 특이값(singular values)이라고 하자. D-Score는 이 행렬의 상대적 수치 랭크(relative numerical rank)로 정의된다:
$$D^{(j)}_{\tau}(\mathbf{x}; m) = \max \{ n \le r : \frac{\sigma_1(H)}{\sigma_n(H)} \le \tau \}$$
여기서 $\tau > 1$은 허용 오차 매개변수이다. 이 점수는 선도 특이값 $\sigma_1$에 비해 유의미하게 남은 특이 방향의 개수를 계산한다.

탐지 규칙

탐지기는 D-Score가 보정된 결정 수준 $\bar{D}$를 초과하면 입력을 환각으로 분류한다:
$$\hat{Y}(\mathbf{x}) = 1 \quad \text{if} \quad D_{\tau}(\mathbf{x}) > \bar{D}$$
이 접근 방식은 단 한 번의 순전파와 선도 특이값 계산(상대적 임계값 아래로 떨어질 때까지)만을 요구하며, 이는 $H^\top H$에 대한 반복법인 파워 메서드(power method)를 사용하여 고차원 모델에 대한 전체 SVD의 계산 비용을 피하면서 효율적으로 추정될 수 있다.

이론적 정당성

본 논문은 **모델 내부적 환각(model-internal hallucination)**을 모델이 낮은 내부 진실 믿음을 할당하는 근거 없는 주장에 대한 것으로 정의한다. 이는 그러한 주장이 은닉 상태 공간에 '충돌 방향(conflict directions)'을 도입한다고 가정한다. 이론적 명제는 근거 없는 콘텐츠가 일관된 표현에 대해 충분히 강한 $q$개의 직교하는 방향을 도입할 경우, D-Score가 최소 $q$만큼 증가함을 보여준다. 따라서 높은 D-Score는 이러한 충돌 방향의 존재를 나타내는 대리 지표(proxy) 역할을 한다.

주요 기여

1. D-Score의 도입: 은닉 활성화 행렬의 상대적 수치 랭크를 나타내는 단순한 스펙트럼 통계량으로서, 은닉 상태 궤적의 확산을 측정하도록 설계되었다.
2. 운영적 정의: 근거 없는 주장과 낮은 내부 진실 믿음을 기준으로 모델 내부적 환각을 공식적으로 정의하여, 모델이 스스로 인식하지 못하는 오류와 구분하였다.
3. 기하학적 논거: 환각된 텍스트가 추가적인 충돌 방향(불확실성, 반증 등)으로 은닉 궤적을 확산시킴으로써 D-Score를 증가시킨다는 이론적 정당성을 제시하였다.
4. 경험적 평가: 다양한 모델과 데이터셋에 걸쳐 D-Score가 환각 탐지를 위한 강력한 신호임을 입증하는 포괄적인 평가를 수행하였다.

실험 결과

D-Score는 FAVA-Annotation(오픈 도메인 생성에서의 사실적 오류)과 RAGTruth(검색 증강 생성에서의 환각)라는 두 가지 벤치마크에서 평가되었다. 실험은 Llama-2-7B, Llama-3-8B, Vicuna-7B 세 가지 오픈 웨이트 모델을 대상으로 진행되었다.

• 성능: D-Score는 Hidden Score(이전의 스펙트럼 방법), 퍼플렉시티(perplexity) 기반 점수, 엔트로피 기반 지표를 포함한 최신 베이스라인들을 일관되게 능가하였다.
  • FAVA-Annotation에서 D-Score는 모든 모델에서 가장 높은 AUROC를 달al성하였다 (예: Llama-3-8B의 경우 66.98% vs. Hidden Score의 57.10%).
  • RAGTruth에서 D-Score는 견고한 성능을 유지하였으나 (예: Llama-3-8B의 경우 61.53% AUROC), Hidden Score는 Vicuna-7B에서 성능이 급격히 하락하여 무작위 선택 수준에 근접한 반면, D-Score는 여전히 효과적이었다 (60.20%).
• 모델 능력과의 상관관계: D-Score와 베이스라인 간의 성능 격차는 더 유능한 모델(예: Llama-3-8B)에서 더 뚜렷하게 나타났으며, 이는 해당 방법이 모델이 내부적으로 인지하는 비사실적 환각을 효과적으로 포착함을 시사한다.
• 부분 집합 분석: 모델의 명시적 자기 평가가 인간의 주석과 일치하는 데이터 부분 집합(모델이 자신의 오류를 인식하지 못한 사례를 필터링함)을 평가했을 때, D-Score는 더욱 높은 AUROC 점수(Llama-3-8B에서 최대 72.51%)를 기록하였으며, 이는 이 방법이 모델의 내부적 오류 표현에 의존하고 있음을 확인시켜 준다.

의의 및 주장

본 논문은 D-Score가 엄격한 효율성 제약 조건 하에서 작동하는 강력한 은닉 상태 신호를 제공한다고 주장한다:

• 단일 패스 효율성: 모델을 통한 단 한 번의 순전파만을 필요로 한다.
• 외부 의존성 없음: 외부 검색, 외부 검증기 또는 두 번째 모델을 필요로 하지 않는다.
• 다중 생성 불필요: 일관성 기반 방법과 달리 여러 출력을 샘플링할 필요가 없다.

저자들은 D-Score를 보편적인 진실의 특징화가 아닌, 보정된 위험 점수(calibrated risk score)로 위치시킨다. 이 방법은 특히 "모델 내부적 환각"—즉, 모델이 모순을 인식할 수 있는 필요한 정보를 가지고 있음에도 불구하고 최종 출력에서 이를 억제하지 못한 오류—을 탐지하는 데 효과적이다. 이 방법은 은닉 상태 궤적의 위상(특히 특이값의 확산)이 모델의 확신도와 상충하는 내부 신호의 존재에 대한 진단적 정보를 포함하고 있음을 강조한다.

한계점

저자들은 다음과 같은 몇 가지 한계를 인정한다:

• 화이트박스 요구 사항: 이 방법은 은닉 활성화에 대한 접근을 필요로 하므로, 접근 권한이 제공되지 않는 한 폐쇄형 모델에는 적용할 수 없다.
• 내부 가시성: 모델이 오류를 인식할 수 있는 내부 지식을 갖춘 경우에만 탐지할 수 있다. 만약 모델이 오류를 인식할 지식이 없다면 D-Score는 이를 표시하지 못할 수 있다.
• 복잡성 혼동: 길고 다양하며 의미적으로 복잡한 비환각 텍스트에서도 높은 D-Score가 나타날 수 있으므로 주의 깊은 보정이 필요하다.
• 매개변수 민감도: 견고하기는 하지만, 레이어 선택, 허용 오차 $\tau$, 결정 임계값 $\bar{D}$의 선택에 의존한다.