기술 요약: 토큰 수준 환각 탐지를 위한 시계열 다중 신호 융합

문제 정의

대규모 언어 모델(LLM)은 유창한 텍스트를 생성하지만, 때때로 완전히 조작된 내용을 만들어내기도 한다. 검색 증강 생성(RAG) 시스템에서 단 하나의 환각된 주장은 의료나 금융과 같은 핵심 분야의 후속 의사결정에 오류를 전파할 수 있다. 기존의 탐지 방법들은 근본적인 설계상의 한계를 지니고 있는데, 이는 환합을 점(point) 이벤트로 취급하여 각 토큰을 시간적 진화 과정을 고려하지 않은 채 독립적으로 점수화한다는 점이다.

기존 연구는 네 가지 범주로 나뉘며, 각 범주는 구체적인 실패 모드를 가진다:

1. 내부 프로브(Internal Probes): 모델 내부의 정보에 접근해야 한다(폐쇄형 API에서는 불가능하며, 모델이 주제에 대해 부분적인 지식만을 보유했을 때 실패하는 경우가 많음).
2. 불확실성 추정치(Uncertainty Estimators): 엔트로피나 의미론적 발산에 의존하지만, 가장 위험한 유형인 고신뢰도 환각 상황에서는 실패한다.
3. NLI 기반 분류기(NLI-Based Classifiers): 주장과 소스 문서를 비교하지만, 일반적으로 스팬(span)이나 토큰을 독립적으로 처리하여 오류의 순차적 특성을 놓친다.
4. 활성화 기반 방법(Activation-Based Methods): 활성화를 추출하기 위해 오픈 웨이트 프록시 모델을 실행해야 한다.

본 연구의 핵심 가설은 환합이 점 이벤트가 아니라 **시간적으로 확장된 스팬(temporally extended span)**이라는 것이다. 자기회귀 모델이 사실적 근거에서 벗어나면, 오류가 있는 토큰들이 후속 생성을 편향시키며, 이 과정에서 통계적 특징이 시간에 따라 공동으로 진화하는 특유의 환각 토큰 런(run)을 생성한다.

방법론

특징 추출 (33차원 스트림)

이 접근 방식은 생성 모델의 내부 정보에 접근할 필요가 없는 엄격한 블랙박스 방식이다. 생성된 응답의 각 토к엔 $w_t$에 대해, 세 가지 상호 보완적인 신호 군을 융합하여 33차원 특징 벡터를 구성한다:

1. 텍스트 통계 (20차원): 소스 컨텍스트로부터의 발산을 포착한다. 특징에는 단어 길이, 숫자/대문자 플래그, 절대적/상대적 위치, 그리고 컨텍스트 중첩(unigram, bigram, trigram)이 포함된다. 결정적으로, 이들은 **시간적 도함수(temporal derivatives)**로 강화된다: 누적 중첩 비율, 실행 중인 신규성 비율(running novelty rates), 연속된 신규 토크 개수, 윈도우 평균(5, 10, 20 토큰), 그리고 신규성의 1차 및 2차 차분 등이 포함된다.
2. 자연어 추론 (NLI) (7차원): 미세 조정된 DeBERTa-v3-large 모델을 사용하여 소스 문서에 대한 문장 단위 함의(entailment), 모순(contradiction), 중립(neutral) 확률을 계산한다. 이는 시간적 특징으로 강화된다: 모순의 실행 평균, 인접 문장 간의 1차 차분, 윈도우 최대값, 함의 하락 점수 등이다.
3. 언어 모델 (LM) 놀람도 (Surprisal) (6차원): 외부 관찰자로서 TinyLlama-1.1B를 사용하여 통계적 이상 징후를 측정한다. 특징에는 로그 확률, 다음 토큰 엔트로피, 평균/최대 서브워드 순위, 어휘 불일치에 대한 폴백(fallback) 지표, 그리고 상호작용 특징이 포함된다.

시퀀스 레이블링 아키텍처

탐지 작업은 독립적인 토큰 분류가 아닌 시퀀스 레이블링(sequence labeling) 문제로 프레임화된다.

• 주 모델: 두 개의 레이어와 64의 은닉 차원을 가진 양방향 GRU(BiGRU)이다. 이 모델은 전체 특징 행렬 $X \in \mathbb{R}^{T \times 33}$을 처리하여 토큰 수준의 확률 $\hat{y}_t$를 예측한다.
• 학습: 클래스 균형 이진 교차 엔트로피(RAGTruth의 약 5.6% 양성 비율을 보정)를 사용하여 최적화하며, 검증 F1 점수를 기준으로 조기 종료(early stopping)를 적용한다.
• 베이스라인: 본 연구는 BiGRU를 독립적 분류기(로지스틱 회귀, MLP), 로컬 모델(1D-CNN), 그리고 다른 시퀀스 모델(BiLSTM, Transformer, CRF 변형)과 비교한다.

주요 기여

1. 시퀀스 레이블링 공식화: 환각 탐지를 시퀀스 레이블링 문제로 재정의하여, 토큰 간의 시간적 의존성을 모델링하는 것이 독립적인 토큰 분류보다 성능이 크게 향상됨을 입증하였다.
2. 다중 신호 시간적 융합: 텍스트, NLI, LM 신호를 시간적 통계와 함께 융합한 33차원 특징 세트를 도입하였다. 연구 결과, 단일 신호 군은 단독으로 0.641 AUC를 넘지 못했으나, 시간적 모델링 하에서의 융합은 0.840 AUC에 도달함을 보여주었다.
3. 이득의 분해: 제어된 절제 실험(ablation study)을 통해 성능 향상의 원인을 격리하였다:
   • 시간적 순서(Temporal Order): 독립적 분류기 대비 개선 효과의 44%를 차지한다.
   • 시퀀스 집계(Sequence Aggregation): 24%를 차지한다.
   • 비선형 용량(Nonlinear Capacity): 32%를 차지한다.
   • 이는 성공의 주요 동력이 단순히 모델 용량을 늘리는 것이 아니라, 토큰의 순서를 모델링하는 것임을 확인시켜 준다.
4. 일반화 및 보정:
   • 미학습 소스 모델에 대해서도 견고한 교차 모델 일반화 성능을 입증하였다(미학습 소스 모델에서 상대적 저하율 3.8%).
   • **주석 밀도(Annotation density)**가 데이터셋 크기보다 교차 도메인 전이에서 더 중요하다는 것을 식별하였다(예: PsiloQA는 규모는 작지만 환각 빈도가 높아 RAGTruth보다 더 잘 전이됨).
   • CRF 모델의 스코어링 아티팩트를 수정하여, 포워드-백워드 마진(forward-backward marginals)을 사용하는 것이 소프트맥스 점수 대신 사용될 때 최대 +17.9 AUC 포인트를 회복할 수 있음을 보여주었다.

결과

RAGTruth 성능

• BiGRU (모든 신호): RAGTruth 테스트 세트에서 0.840 AUC(10개 시드 평균)를 달성하였다.
• 베이스라인 비교: 동일한 특징을 학습한 독립적 로지스틱 회귀 베이스라인(0.730 AUC)보다 11포인트 높은 성능을 보였다($p=0.002$).
• 아키텍처 천장: 적절히 학습되었을 때, 성능 천장(~0.845 AUC)은 순환(BiGRU, BiLSTM), 상태 공간(Mamba), 어텐션(Transformer) 구조 전반에서 일관되게 나타났다. 이는 병목 현상이 모델 아키텍처가 아닌 특징 세트에 있음을 시사한다.
• 신호 기여도:
  • 최상의 단일 신호 (NLI 함의 하락): 0.641 AUC.
  • 모든 신호 융합 + 시간적 모델링: 0.840 AUC.
  • 그 차이는 신호 융합으로부터 +8.9 포인트, 시간적 모델링으로부터 +11.0 포인트로 분해된다.

일반화

• 교차 모델: 6개의 소스 LLM(GPT-4, GPT-3.5, LLaMA-2 변형, Mistral)에 대한 Leave-one-out 테스트 결과, 분포 내 성능 대비 미미한 저하(평균 AUC 0.808)를 보였다.
• 교차 데이터셋: 환각 밀도가 높은 PsiloQA에서 RAGTruth로의 전이는 0.744 AUC를 달성하여, 역방향(0.634 AUC)보다 우수한 성능을 보였으며, 이는 데이터의 규모보다 레이블 밀도가 중요함을 강조한다.
• 블랙박스 적용 가능성: 이 방법은 내부 프로브가 불가능한 폐쇄형 모델에서도 작동한다. 오픈 웨이트 모델에서 어텐션 기반 신호(Lookback Lens)와 결래할 경우 성능은 0.866 AUC까지 상승한다.

의의 및 주장

본 논문은 시간적 구조(temporal structure)가 토큰 수준 환각 탐지에서 가장 미개척된 신호라고 주장한다. 환각을 점 이벤트가 아닌 시간적으로 확장된 스팬으로 취급함으로써, 제안된 방법은 독립적 분류기가 버리는 정보를 복구한다.

• 정보 이론적 통찰: 연구에 따르면, 특정 토큰이 환각인지 여부에 대한 불확실성의 76%는 이전 토큰의 레이블을 알 때 해결되며, 양옆의 이웃을 모두 알 때는 91%가 해결된다. 독립적 분류기는 이 정보를 완전히 버린다.
• 실제 배포: 이 접근 방식은 폐쇄형 API에 직접 배포 가능하며, 미학습 모델에 대해서도 최소한의 성능 저하(<4% AUC 손실)를 보이며, 사용 가능한 경우 화이트박스 신호와 가산적으로 결합된다.
• 한계점: 저자들은 토큰 수준 AUC는 강력하지만(0.840), 스팬 수준 F1(0.394)은 미세 조정된 인코더 기반 방법(예: LettuceDetect의 0.589)보다 낮다는 점을 솔직하게 언급하였다. 이 격차는 블랙박스 적용 가능성(사전 추출된 특징 사용)과 날카로운 경계 표현을 학습하는 능력(화이트박스 접근 및 훨씬 많은 파라미터 필요) 사이의 트레이드오프에 기인한다. 또한, 이 방법은 외부 추론 패스(DeBERTa 및 TinyLlama)에 의존하므로 지연 시간이 발생할 수 있다.

결론적으로, 본 논문은 시간적 모델링과 다중 신호 융합이 토큰 수준 환각 탐지를 위한 필요충분조건임을 입증하며, 단일 신호나 독립적 분류에 의존하는 기존의 최첨단 방법들을 능가함을 보여준다.