기술 요약: 내부 어텐션 발산 신호를 통한 대규모 언어 모델의 환각 탐지

1. 문제 정의

대규모 언어 모델 (LLM) 은 자주 유창하지만 사실적으로 잘못된 내용을 생성하는데, 이를 환각 (hallucination) 현상이라고 합니다. 이는 의료 및 법률과 같은 고위험 분야에서 상당한 위험을 초래합니다. 이 문제를 해결하는 데 있어 주요한 과제는 자기회귀형 LLM 이 유창한 이어쓰기를 생성하도록 훈련되었지, 보정된 신뢰도 추정을 하도록 훈련되지 않았다는 점입니다. 따라서 표준 출력 기반 불확실성 신호 (예: 퍼플렉시티, 로그 가능도, 토큰 확률) 는 종종 확신 있는 오류와 신뢰할 수 있는 지식을 구분하지 못합니다. 왜냐하면 모델 분포 하에서 환각된 문장도 높은 가능도를 받을 수 있기 때문입니다.

기존의 불확실성 정량화 방법들은 종종 반복 샘플링 (예: 의미적 엔트로피) 이나 외부 검증 모델에 의존하는데, 이는 상당한 계산 오버헤드를 초래합니다. 또한, 은닉 상태 프로빙 (probing) 에 의존하는 접근 방식들은 종종 작업 간 일반화에 어려움을 겪으며, 전역적 신뢰도 신호보다는 작업별 상관관계를 포착하는 경향이 있습니다. 외부 모델이나 여러 번의 생성 없이 모델의 내부 메커니즘에서 직접 불확실성 신호를 추출하는 경량 단일 패스 (single-pass) 방식이 필요합니다.

2. 방법론

제안된 방법은 **어텐션 발산 (attention divergence)**에 기반한 단일 패스 불확실성 정량화 기법을 도입합니다. 핵심 가설은 환각이 모델이 신뢰할 수 있는 지식을缺乏할 때 발생하는 내부 계산의 실패, 구체적으로 잘못 할당되거나 분산된 어텐션 패턴으로 특징지어진다는 것입니다.

2.1 어텐션 발산 신호

이 방법은 Kullback–Leibler (KL) 발산을 사용하여 특정 어텐션 헤드의 분포가 균일 참조 분포에서 얼마나 벗어나는지를 측정합니다.

• 참조 분포 ($U$): 맥락 토큰에 대한 균일 분포로, 모델이 모든 위치에 동등하게 주의를 기울이는 최대 불확실성 상태를 나타냅니다.
• 어텐션 분포 ($P$): 특정 생성 단계에서 특정 어텐션 헤드가 생성하는 토큰 위치에 대한 이산 확률 분포입니다.
• 지표: KL 발산은 $D_{KL}(P \parallel U) = \log T - H(P)$로 계산되며, 여기서 $T$는 컨텍스트 윈도우의 토큰 수이고 $H(P)$는 어텐션 분포의 엔트로피입니다.

직관적으로, 유익한 토큰에 대한 어텐션의 높은 집중 (낮은 엔트로피) 은 높은 KL 발산을 초래하여 확신을 시사합니다. 반대로, 분산된 어텐션 (높은 엔트로피) 은 낮은 발산을 초래하여 불확실성을 시사합니다. 저자들은 환각이 잘못 보정된 확신 (오해의 소지가 있는 토큰에 대한 높은 발산) 으로 나타날 수 있다고 주장하거나, 프로브의 집계 맥락에서 발산 패턴의 집계 신호가 정확도와 상관관계가 있다고 봅니다.

2.2 특징 추출 및 프로빙

1. 특징 구성: 생성된 각 답변에 대해 모든 생성 단계에 걸쳐 모든 어텐션 헤드의 평균 KL 발산을 계산합니다. 이러한 값들은 $x_i \in \mathbb{R}^{L \times H}$인 특징 벡터를 형성하며, 여기서 $L$은 레이어 수이고 $H$는 헤드의 수입니다.
2. 프로브 훈련: 이러한 발산 특징을 기반으로 답변의 정확도 ($y=1$은 정확, $y=0$은 부정확) 를 예측하기 위해 Lasso (L1) 정규화를 적용한 경량 로지스틱 회귀 프로브를 훈련합니다. L1 정규화는 가장 예측력 있는 어텐션 헤드의 희소 부분집합을 선택하여 모델의 어떤 부분이 신호를 인코딩하는지에 대한 해석 가능성을 제공합니다.
3. 평가: 성능은 AUROC (수신자 운영 특성 곡선 아래 면적), 기대 보정 오차 (ECE), 그리고 정확도를 사용하여 측정됩니다.

3. 주요 기여

• 단일 패스 불확실성 추정: 이 방법은 반복 샘플링이나 외부 모델 없이 어텐션 행렬에서 직접 불확실성 신호를 추출하여 단일 순방향 패스로 작동합니다.
• 해석 가능성: 어텐션 분포의 KL 발산을 분석함으로써 이 방법은 "화이트박스" 신호를 제공합니다. 저자들은 이 신호가 무작위가 아니라 특정 아키텍처 구성 요소에 집중되어 있음을 보여줍니다.
• 일반화 능력: 이 접근 방식은 여러 모델 계열 (Llama-3.2, Qwen3, Mistral) 과 다양한 작업 유형 (사실적 QA, 멀티홉 추론, 수학 추론) 에서 검증되었습니다.

4. 실험 결과

4.1 데이터셋별 성능

이 방법은 네 가지 데이터셋에서 평가되었습니다: TruthfulQA(다중 선택 사실적 QA), TriviaQA(개방 도메인 사실적 QA), HotpotQA(멀티홉 추론), 그리고 GSM8K(수학 추론).

• 사실적 QA: 이 방법은 TruthfulQA(모든 모델에서 AUROC > 0.89) 와 TriviaQA(AUROC > 0.83) 에서 강력한 성능을 달성했습니다.
• 추론 작업: HotpotQA에서의 성능은 0.77 에서 0.80 AUROC 범위였습니다. GSM8K 에서는 모델에 따라 결과가 달라졌는데, Qwen3-4B 는 0.945 AUROC 를 달성한 반면, Llama 와 Mistral 은 우연 이상이지만 moderate 한 유의미한 결과를 보여주었습니다.
• 베이스라인 비교: HotpotQA 에서 이 방법 (AUROC 0.78) 은 샘플링 기반 방법 (예: 의미적 엔트로피, SelfCheckGPT) 과 다른 단일 패스 베이스라인 (예: 퍼플렉시티, TOHA) 보다 우월했습니다. 또한 TruthfulQA 와 TriviaQA 에서 은닉 상태 프로빙 방법과 비교하여 경쟁력 있거나 우월한 성능을 보여주었습니다.

4.2 제거 실험 및 분석

• 레이어 및 헤드 국소화: 신호는 균일하게 분포되어 있지 않습니다. 제거 실험 연구에 따르면 중간 레이어를 제거할 때 가장 큰 성능 저하가 발생하여 신호가 그곳에 집중되어 있음을 나타냈습니다. 또한, 신호는 단일 "환각 헤드"에 국한되지 않고 여러 상관관계 있는 헤드에 분포되어 있습니다.
• 토큰 특이성: 발산 신호는 사실적 토큰(명사구와 숫자) 에서 가장 두드러집니다. 접속사와 구두점은 낮은 발산을 보였습니다. 극단적인 꼬리 (99 백분위수) 분석에 따르면, 고발산 단어의 약 73% 가 명사구였습니다.
• 프롬프트 영향: 불확실성 신호의 일부는 생성이 시작되기 전에도 존재합니다 (프롬프트 토큰에 대해서만 계산됨). 이는 일부 불확실성이 모델 지식 격차 (인지적) 만이 아니라 프롬프트의 모호성과 관련된 알레토릭 (aleatoric) 적이라는 것을 시사합니다.
• 건전성 검사: 정확도 레이블을 무작위화하고 길이, 구두점과 같은 단순 출력 속성에 대해 테스트한 결과, 이 신호가 데이터 누출이나 피상적인 출력 특성의 인공물이 아님이 확인되었습니다.

5. 중요성 및 주장

이 논문은 내부 어텐션 역학이 모델 불확실성과 환각을 탐지하기 위한 효율적이고 해석 가능한 신호를 제공한다고 주장합니다. 주요 중요성은 다음을 입증하는 데 있습니다:

1. 내부 상태를 통한 환각 탐지: 신뢰할 수 있는 지식을 검색하지 못하는 실패는 모델이 생성하는 유창하지만 잘못된 출력과 구별되는 어텐션 발산의 특정 패턴으로 나타납니다.
2. 효율성: 이 방법은 샘플링 기반 불확실성 추정에 대한 계산적으로 저렴한 대안을 제공하여, 지연 시간이 중요한 실시간 응용 프로그램에서 실행 가능하게 합니다.
3. 아키텍처 통찰: 이 발견들은 불확실성이 중간 레이어와 사실적 앵커에 인코딩되어 있음을 시사하며, 환각이 단순한 디코딩 오류가 아니라 내부 계산의 구조적 실패라는 견해를 지지합니다.

6. 한계

저자들은 명시적으로 몇 가지 한계를 지적합니다:

• 상관관계 vs 인과관계: 이 연구는 어텐션 발산과 정확도 간의 예측적 상관관계를 확립하지만 인과 관계를 증명하지는 않습니다.
• 프로브 의존성: 이 방법은 신호를 집계하기 위해 로지스틱 회귀 프로브에 의존합니다. 선택된 헤드의 특정 부분집합은 데이터셋과 모델 계열마다 달라지는데, 이는 프로브가 너무 구체적일 수 있으며 불확실성을 위한 보편적이고 프로브가 없는 규칙은 아직 식별되지 않았음을 시사합니다.
• 화이트박스 요구 사항: 이 방법은 내부 어텐션 가중치에 대한 접근이 필요하므로, 생성된 텍스트나 출력 확률만 제공하는 블랙박스 모델에는 적용할 수 없습니다.
• 해석 가능성: 프로브가 유익한 헤드를 식별하지만, 결과 모델은 불확실성이 어떻게 표현되는지에 대한 완전한 설명으로서 해석하기 어렵습니다. 이는 완전한 메커니즘적 설명보다는 신호 추출 도구로 더 기능합니다.