Harnessing Reasoning Trajectories for Hallucination Detection via Answer-agreement Representation Shaping

기술 요약: 답변 일치 표현 형성을 통한 추론 궤적 활용으로 환각 탐지

문제 제기
대규모 추론 모델 (LRMs) 은 최종 답변을 생성하기 전에 길고 일관된 추론 흔적을 생성합니다. 이러한 흔적은 풍부한 신호를 제공하지만, 답변 수준의 환각 탐지를 흐리게 하는 경향이 있습니다. 전체 흔적을 따라 숨겨진 상태를 직접 탐지하거나 탐지에 흔적 텍스트를 사용하는 것은 취약합니다; 탐지기는 추론 과정의 표면적 스타일 패턴에 과적합하여 최종 답변의 유효성을 포착하지 못합니다. 또한, 기존 방법들은 종종 비용이 많이 드는 테스트 시간 샘플링 (예: 일관성을 측정하기 위해 여러 응답 생성) 이나 분류기 훈련을 위한 인간 주석에 의존합니다. 핵심 과제는 추론 궤적에서 표면 형태 변화에 강건하고 고비용 추론 없이 환각 위험을 나타내는 안정적이고 답변 중심의 신호를 추출하는 것입니다.

방법론: 답변 일치 표현 형성 (ARS)
저자들은 잠재적 개입을 통해 답변 안정성을 명시적으로 인코딩함으로써 탐지에 유리하고 흔적 조건부인 답변 표현을 학습하는 프레임워크인 ARS 를 제안합니다. 이 방법은 두 가지 주요 단계로 작동합니다:

1. 반사실적 답변을 위한 잠재적 개입:
   추론 흔적의 텍스트를 교란하는 것 (일관성을 해치거나 가짜 단서를 도입할 수 있음) 대신, ARS 는 모델의 잠재 상태에 직접 개입합니다. 구체적으로, LRM 의 penultimate 계층에서 추론 궤적의 마지막 토큰 숨겨진 상태로 정의된 흔적 경계 임베딩($h$) 을 대상으로 합니다.

   • 작은 교란 벡터 ($\delta$) 를 분포 (예: 등방성 가우시안) 에서 샘플링하여 $h$에 추가함으로써 수정된 상태 $\tilde{h} = h + \delta$를 생성합니다.
   • 모델은 $\tilde{h}$에서 디코딩을 계속하여 반사실적 답변($\tilde{a}$) 을 생성합니다.
   • 이 과정을 $M$번 반복하여 반사실적 답변 집합을 생성합니다.

2. 답변 일치 표현 형성:
   이 프레임워크는 원래 답변 ($a$) 과 반사실적 답변 ($\tilde{a}$) 간의 일치에 기반하여 훈련 쌍을 구성합니다.

   • 양성 쌍: 원래 답변과 일치하는 반사실적 답변 ($Agr(a, \tilde{a}) = 1$).
   • 음성 쌍: 원래 답변과 일치하지 않는 반사실적 답변 ($Agr(a, \tilde{a}) = 0$).
   • 경량 매핑 함수 $g_\phi$를 훈련하여 일반 답변 임베딩 ($u$) 을 형성된 임베딩 ($z$) 으로 변환합니다. 목표는 동의하는 임베딩을 앵커에 가깝게 당기고 동의하지 않는 임베딩을 멀어지게 하는 대비 손실입니다.
   • 핵심적으로, 기본 LRM 매개변수 ($\theta$) 는 고정된 채 유지되며 경량 헤드 $g_\phi$만 훈련됩니다. 이 과정은 모델 자체 생성의 내부 일관성에만 의존하며, 실제 환각 레이블이 필요하지 않습니다.

주요 기여

• 흔적 형성의 첫 번째 프레임워크: ARS 는 추론 궤적을 체계적으로 활용하여 LRM 의 환각 탐지를 위해 답변 표현을 형성하는 첫 번째 프레임워크로 제시되며, 반사실적 답변을 유도하기 위해 흔적 경계에서 잠재적 교란을 활용합니다.
• 일치 주도 목표: 이 논문은 작은 내부 변화가 답변을 유지하는지 여부에 따라 답변 임베딩을 조직화하는 목표를 도입하여, 취약한 텍스트 교란이나 인간 주석에 대한 의존을 피합니다.
• 이론적 및 실증적 분석: 저자들은 형성된 임베딩의 일치 - 분리 확률과 환각 탐지 오류의 상한을 연결하는 이론적 명제 (명제 4.2) 를 제공합니다. 실증적으로는 답변 안정성 (반사실적 일관성으로 측정) 이 진실성을 예측한다는 것을 입증합니다.

결과
실험은 여러 LRM 계열 (Qwen3-8B/14B, DeepSeek-R1-Distill 변형) 을 사용하여 네 가지 데이터셋 (TruthfulQA, TriviaQA, GSM8K, MATH-500) 에서 수행되었습니다.

• 성능 향상: ARS 는 불확실성 기반 방법 (Perplexity, Semantic Entropy), 일관성 기반 방법 (Lexical Similarity, SelfCKGPT), 그리고 LRM 특화 탐지기 (RHD, RACE, G-Detector) 를 포함한 강력한 기준선보다 일관적으로 우위를 점했습니다.
  • Qwen3-8B 를 사용한 TruthfulQA 에서 ARS 는 다운스트림 탐지기인 CCS 를 사용하여 **86.64%**의 AUROC 를 달성했는데, 이는 일반 LRM 임베딩 기준선 (66.85%) 과 다른 최첨단 방법들 (예: 77.08% 의 TSV) 보다 상당한 개선입니다.
  • 모든 데이터셋과 모델 크기에서 유사한 향상이 관찰되었으며, 일반 임베딩 대비 10% 에서 20% 사이의 개선이 있었습니다.
• 일반화 능력: 형성된 표현은 데이터셋 간 (예: GSM8K 에서 훈련하고 TriviaQA 에서 테스트) 에 효과적으로 이전되며 더 큰 모델 (14B 매개변수) 로 확장됩니다.
• 효율성: 추론 시 여러 순전달이 필요한 샘플링 기반 기준선과 달리, ARS 는 테스트 시간에 단일 생성만 필요합니다. 훈련 오버헤드는 최소입니다 (예: TruthfulQA 훈련 세트에 대해 약 649 초).

의의 및 주장
이 논문은 ARS 가 유창한 추론 흔적이 사실적 오류를 가릴 수 있는 LRM 의 중요한 신뢰성 실패를 해결한다고 주장합니다. 잠재적 교란 하에서 답변 안정성을 반영하도록 표현을 형성함으로써, ARS 는 환각과 관련된 "취약한" 내부 상태를 노출시킵니다. 저자들은 ARS 가 진실성의 보장이 아니라 다른 안전 장치와 함께 사용되도록 의도된 탐지 구성 요소라고 강조합니다. 이 작업은 추론 모델에서 환각의 기하학에 대한 통찰력을 제공하며, 환각된 답변은 종종 낮은 안정성 마진을 가진 잠재 공간 영역에 위치하며, 인간 감독 없이 답변 일치 형성을 통해 효과적으로 노출될 수 있음을 시사합니다.