Pre-Generation Hallucination Detection in Large Language Models via Soft-Target Attention Probing

기술 요약: 소프트 타겟 어텐션 프로빙을 통한 생성 전 환각 탐지

문제 정의
대규모 언어 모델(LLM)은 종종 확신에 차 있지만 사실과 다른 응답을 생성하는데, 이를 환각(hallucination) 현상이라고 합니다. 세만틱 엔트로피(semantic entropy)나 자기 일관성(self-consistency)을 사용하는 생성 후 탐지 방법들이 존재하지만, 이는 디코딩의 전체 계산 비용을 발생시킵니다. 생성 전 탐지는 입력 표현(input representations)으로부터 토큰을 생성하기 전에 환각 위험을 추정함으로써 더 가벼운 대안을 제공하며, 이를 통해 절제(abstention), 검색 증강(retrieval augmentation) 또는 모델 라우팅과 같은 조기 개입을 가능하게 합니다.

그러나 기존의 생성 전 접근 방식은 근본적인 통계적 문제에 직면해 있습니다. 이들은 일반적으로 단일 그리디 디코딩(greedy-decoded)된 정답을 그라운드 트루스 레이블로 사용하여 탐지를 이진 분류 문제로 정형화합니다. 저자들은 생성 전의 정답 여부가 모델의 확률적 출력 분포를 반영하는 확률 변수이기 때문에, 이러한 방식이 통계적으로 부적절하다고 주장합니다. 단일 샘플에서 도출된 이진 레이블은 모델의 진정한 기저 오류 확률에 대한 노이즈가 섞인 대리물(proxy)이며, 이는 불가피한 레이블 노이즈와 편향(예: 모델이 정답에 높은 확률을 할당하더라도 많은 오답에 질량을 분산시키는 경우 위험을 과소평가함)을 유발합니다.

방법론
본 논문은 생성 전 환각 탐지를 이진 분류가 아닌 위험 추정(risk-estimation) 문제로 재정의합니다. 목표는 주어진 프롬프트에 대해 모델이 자신의 샘핑 분포(sampling distribution) 하에서 오답을 생성할 확률을 예측하는 것입니다.

1. 소프트 타겟 감독 (Soft-Target Supervision):
   저자들은 이진 레이블 대신, 경험적 답변 오류율(empirical answer error rate)로부터 도출된 소프트 타겟을 사용하여 프로브(probe)를 훈련할 것을 제안합니다. 각 프롬프트에 대해, 모델의 기본 분포인 온도 $\tau = 1$에서 $N$개의 답변을 확률적으로 샘플링합니다. 소프트 타겟은 이 $N$개의 샘플 중 사실과 다른 샘플의 비율입니다.

   • 이론적 보장: 저자들은 이 경험적 오류율이 모델의 샘플링 분포 하에서 프롬프트별 오류 확률에 대한 **유일한 불편 최소 분산 추정량(UMVUE, Unique Unbiased Minimum-Variance Estimator)**임을 증명합니다. 이 정형화는 레이블 노이즈를 최소화하고 일관된 난이도 신호를 제공합니다.
   • 통계적 이점: 소프트 타겟을 사용하는 것은 확률적 경사 하강법의 분산을 줄여, 이진 레이블에 비해 최적화 과정에서의 수렴 속도를 높입니다.

2. 어텐션 프로빙 (Attention Probing):
   본 연구는 (원래 생성 후 탐지를 위해 개발된) 어텐션 프로빙을 생성 전 설정에 맞게 조정합니다. 은닉 상태를 균일하게 집계하는 선형 프로빙(linear probing, 예: 평균 풀링)과 달리, 어텐션 프로빙은 학습 가능한 쿼리 벡터를 사용하여 입력 프롬프트의 토큰 레벨 은닉 상태에 선택적으로 가중치를 부여합니다. 이를 통해 탐지기가 환각 위험에 가장 유익한 특정 프롬프트 위치에 집중할 수 있게 합니다.

   • 프로브는 트랜스포머의 임의의 레이어 $l$의 은닉 상태에 적용됩니다.
   • 로지스틱 회귀 헤드가 집계된 표현을 위험 점수로 매핑합니다.

주요 기여

• 위험 추정 프레임워크: 본 논문은 생성 전 환각 탐지가 근본적으로 분포 추정 문제임을 확립합니다. 저자들은 경험적 오류율에 기반한 소프트 타겟 감독을 도입하였으며, 이것이 불편(unbiased)하고 최적(minimum-variance)인 추정량임을 이론적으로 증명했습니다.
• 아키텍처 및 레이어 분석: 체계적인 비교 결과, 어텐션 프로빙이 특히 프롬프트 구조가 가변적인 생성 전 설정에서 균일한 선형 프로빙보다 일관되게 우수한 성능을 보임을 밝혀냈습니다. 또한, 레이어별 분석을 통해 중간 레이어가 환각 신호를 가장 강력하게 전달함을 입 demonstrated 했으며, 이는 최종 레이어까지의 전체 순전파(forward pass)를 완료하지 않고도 신뢰할 수 있는 위험 추정치를 얻을 수 있음을 시사합니다.
• 실증적 검증: 제안된 방식은 세 가지 질의응답 벤치마크(SQuAD, Natural Questions, HotpotQA)와 5가지 인스트럭션 튜닝 모델(Qwen, LLaMA, Gemma 제품군, 모두 9B 파라미터 미만)을 대상으로 평가되었습니다.

결과

• 소프트 타겟의 우월성: 평가된 모든 모델과 데이터셋에서, 소프트 타겟으로 훈련된 어텐션 프로빙은 이진 타겟 방식보다 일관되게 우수한 성능을 보였습니다. 이러한 이득은 소프트 타겟이 포착하는 분포 정보가 가장 가치 있는 개방형 작업(예: Natural Questions, HotpotQA)에서 가장 두드러졌습니다.
• 어텐션 vs. 선형 프로빙: 어텐션 프로빙은 생성 전 설정에서 선형 프로빙보다 유의미하게 높은 성능을 보였으며(일부 사례에서 ROC-AUC 기준 최대 23.1 포인트 차이), 다만 제약이 심한 단일 토큰 작업(예: 객관식 또는 불리언 QA)에서는 평균 풀링만으로도 충분하여 그 격차가 줄어들었습니다.
• 생성 전 vs. 생성 후 성능: 구조적으로 제약이 있는 짧은 답변 작업(SQuAD 등)의 경우, 생성 전 프로브가 생성 후 방식의 성능에 근접했습니다(ROC-AUC 차이가 평균 0.07% 수준). 그러나 답변 길이와 추론 복잡도가 증가함에 따라(예: HotpotQA), 불확실성이 생성 과정 자체에 더 의존하게 되면서 생성 후 방식이 우세해지는 격차가 벌어졌습니다.
• 효율성: 중간 레이어에서 위험을 탐지함으로써, 이 방법은 전체 순전파 대비 상당한 계산 비용(최대 54% GFLOPs 절감)을 절감하면서 조기 개입을 가능하게 합니다.

의의 및 주장
본 논문은 생성 전 환각 탐지가 이진 분류가 아닌 위험 추정으로 프레임화될 때 실행 가능하고 효율적인 전략임을 주장합니다. 주요 기여는 소프트 타겟 감독이 그리디 이진 레이블보다 더 원칙적이고 효과적인 훈련 신호를 제공하며, 이를 통해 탐지 작업을 LLM 생성의 확률적 특성과 일치시킨다는 점을 입증한 데 있습니다.

저자들은 자신들의 연구 결과가 실용적인 운영 체제를 지지한다고 강조합니다. 즉, 짧고 구조화된 답변을 가진 작업의 경우, 생성 전 및 순전파 과정 도중(중간 레이어 사용)에 신뢰할 수 있는 환각 위험 추정치를 얻을 수 있어, 절제나 검색 증강과 같은 저비용 개입이 가능하다는 것입니다. 저자들은 한계점으로서, 불확실성이 생성 과정과 본질적으로 결합되어 있는 긴 문맥이나 다단계 추론(multi-hop reasoning) 작업에서는 효과가 떨어질 수 있으며, 이 접근 방식이 모델 활성화 값에 대한 화이트박스(white-box) 접근 권한을 필요로 한다는 점을 언급했습니다. 이 연구는 생성 후 탐지기를 대체하는 것이 아니라, 더 빠르고 저렴한 신호를 제공함으로써 이를 보완하는 것을 목표로 합니다.