Forecasting the Onset of Hallucination: Causal, Token-Level, Black-Box Survival Analysis During Generation

기술 요약: 환각 발생(Onset)의 예측

문제 정의
현재의 토큰 단위 환각 탐지기들은 환각이 발생한 후에야 거짓 주장을 식별해내는 사후 대응적(reactive) 방식으로 작동한다. 저자들의 동반 연구에 따르면, 변화점(change-point)에 반응하는 모든 탐지기는 약 1.3 토큰의 이론적 지연 한계를 가지며, 이는 탐지가 본질적으로 환각이 시작된 이후에 발생함을 의미한다. 본 논문은 환각의 발생(onset)을 발생하기 전에 *예측(forecast)*할 수 있는지에 대한 질문을 다룬다. 이 과업은 이산 시간 생존 분석(discrete-time survival analysis)으로 정식화된다. 즉, 현재 충실한(faithful) 토큰들로 구성된 위험 집합(risk set) 위에서, 환각 구간의 시작을 하나의 "실패 이벤트(failure event)"로 취급한다. 목표는 현재 토큰 $t$까지 사용 가능한 인과적이고 스트리밍에 안전한(streaming-safe) 특징들만을 사용하여, 향후 $k$ 토큰 이내에 발생(onset)이 일어날 확률인 토큰당 해저드(hazard)를 계산하는 것이다.

방법론
제안된 프레임워크는 생성 과정 중 배포를 위해 설계된 인과적, 블랙박스형, 토큰 단위 파이프라인에 의존한다:

• 인과적 특징 감사(Causal Feature Audit): 저자들은 선행 연구에서 유래한 33차원의 특징 스트림을 활용하되, "미래 누설(future-leaking)" 요소를 제거하기 위해 엄격한 인과적 감사를 수행한다. 전체 출력 길이에 의해 정규화된 특징(예: 위치, 문장 수)이나 불완전한 문장에서 계산된 특징(예: NLI 특징)은 폐기된다. 이를 통해 18개의 텍스트 기반 특징(신규성 윈도우, n-gram 중복, 엔티티 플래그)과 6개의 언어 모델 특징(로그 확률, 엔트로피)을 포함한 24개의 스트리밍 안전 특징이 남는다.
• 모델 아키텍처: 예측기는 인과적 특징 이력을 읽기 위해 순방향 전용 순환 신경망(은닉 폭 64의 2층 GRU)을 채택한다. 해저드 헤드는 여러 호라이즌($k \in \{1, 3, 5, 10\}$)에 대한 로짓을 출력하며, 이는 향후 $k$ 토큰 이내에 발생이 일어날 확률을 나타낸다.
• 학습: 모델은 위험 집합(충실한 토큰들만 해당)에 대해 마스킹된 멀티 호라이즌 이진 교차 엔트로피 손실을 사용하여 학습되며, 긴 호라이즌에서 발생하는 발생(onset)의 희소성을 고려하여 조정된 가중치를 적용한다.
• 평가: 성능은 AUROC 및 PR-AUC를 통해 측정된다. 결정적으로, 저자들은 풀링된(pooled) AUROC(문서 수준의 위험과 타이밍을 혼재시키는 방식)와 문서 내(within-document) AUROC(환각이 발생하는 것으로 알려진 문서만을 평가하여 타이밍 신호를 분리하는 방식)를 구분한다.

주요 결과

• 예측 가능성: 발생(onset)은 모든 호라이즌에서 예측 가능하다. RAGTruth 코퍼스에서 순환 예측기(recurrent forecaster)는 $k=3$ 호라이즌(향후 3토큰 이내의 발생 예측)에서 0.777 ± 0.002의 AUROC를 달성했다. 이는 포인트와이즈 로지스틱 해저드 베이스라인보다 12포인트 높은 수치로, 특징 궤적을 읽는 것의 가치를 입증한다.
• 신호의 원천: 조기 경고 신호는 언어 모델의 놀람도(surprisal)가 아니라 **텍스트 신규성 드리프트(text-novelty drift)**로 식별되었다. 18개의 텍스트 특징만을 사용한 모델은 전체 인과적 특징 세트의 성능과 일치하는 반면, 언어 모델 특징만을 사용한 모델은 뒤처졌다. 이 신호는 모델이 환각이 시작되기 전, 소스 컨텍스트로부터 서서히 벗어나는 것을 반영하며, 국소적인 불확실성 급증과는 무관하다.
• 음의 지연(Negative Delay): 동일한 허용 오차 예산($\alpha=10^{-3}$)을 가진 동반 변화점 탐지기와 비교했을 때, 예측기는 음의 지연을 달ach한다. 예측기는 발생 전 중앙값 11 토큰 전에 경고를 보내는 반면, 탐지기는 발생 후 중앙값 15 토큰 후에 작동한다. 이는 탐지기에게는 구조적으로 금지된 '음의 지연'을 실현한 것이다.
• 널 모델(Null Models): 이 신호는 단순히 과거 발생의 자기상관(과거 발생 이력과 시계만을 사용한 매치드 용량 널 모델은 0.65 AUROC를 기록하여, 콘텐츠 기반 예측기의 성능보다 현저히 낮았다)이나 자기 흥분(Hawkes process를 추가해도 공변량 모델보다 나을 것이 없었음)이 아니다.
• 도메인 특이성: 예측 능력은 도메인 특이적이다. 모델은 RAGTruth(장문형 RAG)에서 PsiloQA(단문형 QA)로 제로샷 전이 시 성능이 무작위 수준 이하로 역전되어 실패한다. 그러나 PsiloQA에서 인도메인 재학습을 거치면 높은 성능(0.74–0.79 AUROC)을 회복하는 반면, 탐지 신호는 부분적으로 전이된다.

의의 및 주장
본 논문은 환각 발생(onset)을 예측하는 것이 탐지와는 구별되는 별개의 직교적인 과업이라고 주장한다. 프롬프트 수준의 예측기가 어떤 생성이 위험한지를 식별할 수 있고, 탐지기가 환각이 시작되었음을 식별할 수 있다면, 본 예측기는 생성 과정 중 언제 그리고 어디서 위험이 발생(onset)으로 이어지는지를 식별한다.

저자들은 예측을 구동하는 메커니즘이 급격한 상태 변화가 아니라 소스 대비 텍스트 신규성의 점진적인 드리프트라는 점을 강조한다. 결과적으로, 예측기가 제공하는 리드 타임(lead time)은 오류가 생성되기 전(예: 구간 재생성, 디코딩 제약, 또는 모델 스티어링)에 개입해야 하는 작업에 특히 유용하다. 단순 중단 정책(생성 중단)의 경우, 저자들은 발생 후 탐지기가 충실한 토큰을 미리 차단하지 않으므로 토큰 효율성 측면에서 더 나을 수 있다고 언급한다. 본 논문은 조기 경고가 존재하고 음의 지연에 도달할 수 있지만, 환각율을 실제로 낮추기 위해서는 라이브 디코더 접근 권한과 특정 개입 전략이 필요하며, 이는 본 오프라인 연구의 범위를 벗어난다는 점을 결론으로 제시한다.