기술 요약: 불확실성 인지 어텐션 헤드를 이용한 LLM의 효율적인 환각 탐지

문제 정의

대규모 언어 모델(LLM)은 유창함에도 불구하고 "환각(hallucinations)" 또는 사실적 오류를 범하기 쉽습니다. 불확실성 정량화(Uncertainty Quantification, UQ)는 모델의 내부 신뢰도를 활용하여 이를 완화할 수 있는 경로를 제시하지만, 기존 방법론들은 상당한 트레이드오프에 직면해 있습니다. 정보 기반 점수(예: 토큰 엔트로피)는 계산 효율성은 높지만 긴 문장 생성에서 성능이 떨어지는 경우가 많습니다. 샘플링 기반 방법은 높은 정확도를 제공하지만, 반복적인 추론 패스로 인해 막대한 계산 오버헤드를 발생시킵니다. 지도 학습 방식은 정확한 점수를 산출하지만, 비용이 많이 드는 작업별 주석(annotation)이 필요하며 도메인 변화나 분포 외(out-of-distribution) 데이터에 대한 일반화 능력이 부족합니다. 결과적으로, 화이트박스(white-box) LLM에서 실시간 환각 탐지가 가능한 다재다로우면서도 효율적이고 비지도 학습 기반의 UQ 방법론이 부재한 상황입니다.

방법론: RAUQ

저자들은 트랜스포머 어텐션 메커니즘의 특정 패턴을 분석하여 환각을 식별하는 비지도 학습 프레임워크인 **RAUQ (Recurrent Attention-based Uncertainty Quantification)**를 제안합니다. 이 방법은 추가적인 샘플링이나 보조 모델 없이 단일 순전파(forward pass) 내에서 작동합니다.

핵심 관찰 사항

Llama-3.1 8B와 같은 모델의 어텐션 맵에 대한 기계론적 분석을 통해, 저자들은 LLM이 사실과 다른 토큰을 생성할 때 특정 "불확실성 인지(uncertainty-aware)" 어텐션 헤드들이 바로 직전의 토큰을 향한 어텐션 가중치가 체계적으로 감소한다는 것을 관찰했습니다. 반면, 올바른 토큰의 경우 이러한 헤드들은 국소적인 구문 및 의미적 연속성을 반영하며 이전 토큰에 대해 높은 어텐션을 유지합니다. 이 신호는 소수의 헤드에 특이적으로 나타나며, 모든 헤드를 평균 내면 이 패턴이 희석됩니다.

알고 생성 구성 요소

RAUQ는 세 가지 핵심 구성 요소를 통합합니다:

1. 불확실성 인지 헤드 선택 (Uncertainty-Aware Head Selection):
   각 레이어 $l$에 대해, 이 방법은 생성된 시퀀스 전체에 걸쳐 직전 토큰에 대한 평균 어텐션 가중치를 최대화하는 단일 어텐션 헤드 $h_l$을 자동으로 선택합니다:
   $$h_l(y) = \arg \max_{h=1...H} \frac{1}{N-1} \sum_{i=2}^{N} a_{i,i-1}^{l,h}$$
   이 선택은 감독 없이 동적으로 수행됩니다.

2. 재귀적 신뢰도 전파 (Recurrent Confidence Propagation):
   자기회귀적 생성의 조건부 의존성을 고려하기 위해, RAUQ는 각 레이어 $l$의 각 토큰 $i$에 대한 토큰 수준 신뢰도 점수 $c_l(y_i)$를 계산합니다. 이 점수는 토큰의 조건부 확률 $s_i$(또는 지시어 튜닝된 모델의 경우 엔트로피 기반 신호)를 선택된 어텐션 헤드의 활성화 값에 의해 가중치가 부여된 이전 토큰의 신뢰도와 재귀적으로 결합합니다:
   $$c_l(y_i) = \begin{cases} s_1 & \text{if } i=1 \\ \alpha s_i + (1-\alpha) a_{i,i-1}^{l, h_l} c_l(y_{i-1}) & \text{if } i > 1 \end{cases}$$
   여기서 $\alpha$는 즉각적인 토큰 확률과 어텐션에 의해 조절된 전파된 신뢰도의 기여도를 균형 있게 조절하는 하이퍼파라미터입니다.

3. 집계 (Aggregation):
   토큰 수준의 점수는 로그 평균(퍼플렉시티와 유사)을 사용하여 레이어별 불확실성 점수 $u_l(y)$로 집계됩니다:
   $$u_l(y) = -\frac{1}{N} \sum_{i=1}^{N} \log c_l(y_i)$$
   최종 시퀀스 수준의 불확실성 점수 $u(y)$는 중간 레이어들의 부분 집합에 대한 최대 점수를 취함으로써 도출되며, 이는 불확실성의 상한 추정치를 제공합니다.

주요 기여

• 기계론적 통찰: 본 논문은 "불확실성 인지" 어텐션 헤드를 식별하고 분석하여, 특정 헤드에서 직전 토큰에 대한 어텐션 감소가 환각 발생과 강하게 상관되어 있음을 입증했습니다.
• RAUQ 프레임워크: 원시 어텐션 가중치와 토큰 확률을 신뢰할 수 있는 불확실성 점수로 변환하는 비지도 학습 기반의 플러그 앤 플레이(plug-and-play) UQ 방법을 도입했습니다. 이는 별도의 태스크별 라벨이 필요 없으며, 모델에 대한 하이퍼파라미터 튜닝이 필요 없고, 1% 미만의 계산 오버헤드만을 추가합니다.
• 포괄적 평가: 12개의 데이터셋(QA, 요약, 번역을 아우름)과 9개의 서로 다른 LLM(다양한 크기의 Llama, Qwen, Gemma, Falcon 변체 포함)에 대해 광범위한 실험을 수행했습니다.

실험 결과

RAUQ는 샘플링 기반 방법(예: Semantic Entropy), 어텐션 기반 방법(예: Focus, Attention Score), 그리고 지도 학습 회귀 모델을 포함한 15개의 다양한 베이스라인과 비교 평가되었습니다. 주요 지표는 가장 불확실한 예측을 제외했을 때 유지되는 응답의 평균 품질을 측정하는 **예측 거부 비율(Prediction Rejection Ratio, PRR)**입니다.

• 성능: RAUQ는 모든 태스크와 모델에서 최신 베이스라인들을 일관되게 능가했습니다. 예를 들어, Gemma-2 9B를 사용한 번역 태스크에서 두 번째로 우수한 방법보다 상당한 차이(0.051 PRR)로 앞섰습니다. 또한 모든 태스크와 모델에서 최고 또는 두 번째로 높은 평균 성능을 달 기록했습니다.
• 일반화: 이 방법은 다양한 모델 크기(360M에서 70B 파라미터까지)와 아키텍처(Mixture-of-Experts 모델 포함)에 걸쳐 강력한 견고성을 보여주었습니다. 또한 지도 학습 방식이 실패하는 분포 외(out-of-domain) 시나리오에서도 높은 성능을 유지했습니다.
• 효율성: 400~800%의 계산 오버헤드를 유발하는 샘플링 기반 방법과 달리, RAUQ는 추론 시간에 단 0.3%의 오버헤드(1% 미만)만을 추가하여 실시간 애플리케이션에 적합하도록 설계되었습니다.
• 절제 연구(Ablation Studies): 실험을 통해 모든 헤드를 평균 내는 대신 특정 헤드를 선택하는 것이 결정적임을 확인했습니다. 또한, 재귀적 신뢰도 전파를 제거하거나 어텐션 성분을 제거할 경우 성능이 크게 저하된다는 점을 통해 이 과정이 필수적임을 입증했습니다.

의의 및 주장

저자들은 RAUQ를 화이트박스 LLM을 위한 경량화된 플러그 앤 플레이 솔루션으로 정의합니다. RAUQ의 의의는 외부 지식 베이스나 비용이 많이 드는 샘플링에 의존하지 않고도 계산 효율성과 탐지 정확도 사이의 간극을 메운다는 데 있습니다.

본 논문은 RAUQ가 기존의 LLM-as-a-service 시스템에 강력한 UQ 메커니즘을 직접 배포할 수 있게 한다고 주장합니다. 저자들은 RAUQ가 외부 검증이나 인간의 감독(특히 안전이 중요한 도메인에서)을 대체하는 것이 아니라 보완하는 수단임을 인정하면서도, 이것이 더 신뢰할 수 있고 책임 있는 LLM 사용을 향한 의미 있는 진전이라고 확언합니다. 감독 없이도 다양한 태스크와 모델 크기에 걸쳐 일반화할 수 있는 능력은 현재 UQ 연구의 핵심적인 한계를 해결합니다.