기술 요약: HALT (로그 확률를 시계열로 활용한 환각 평가)

1. 문제 정의

대규모 언어 모델(LLM)은 빈번하게 환각(hallucination)—검증 가능한 사실과 다르거나 근거 없는 정보를 출력하는 현상—을 생성합니다. 이는 LLM을 안전이 중요한 도메인에 배포하는 데 있어 큰 장벽이 됩니다. 기존의 탐지 방법들은 다음과 같은 뚜렷한 한계점을 가집니다:

• 화이트박스(White-box) 접근법은 내부 모델 상태(숨겨진 활성화 값, 어텐션 맵 등)에 대한 접근을 요구하며, 이는 폐쇄형 소스인 독점 API의 경우 불가능합니다.
• 블랙박스 텍스트 기반 접근법은 외부 검색, 추가적인 API 호출, 또는 일관성을 판단하기 위한 보조 LLM에 의존하는 경우가 많습니다. 이는 지연 시간, 비용을 발생시키며, "판단자" 모델 자체가 환각을 일으키거나 도메인 편향을 도입할 위험을 수반합니다.
• 불확실성 기반 접근법은 종종 집계 통계(예: 평균 신뢰도, 전체 엔트로피)에 의존하는데, 이는 모델의 캘리브레이션 오류의 시간적 역동성을 포착하는 데 실패할 수 있습니다.

저자들은 원시 토큰 확률(raw token probabilities) 자체만으로는 캘리브레이션 편향 때문에 진실성을 나타내는 신뢰할 수 있는 지표가 되지 못하지만, 이러한 확률의 *시간적 진화(temporal evolution)*는 불확실성의 안정적인 신호를 포함하고 있다고 주장합니다. 핵심 연구 질문은 다음과 같습니다: 생성된 텍스트를 분석하거나 외부 참조를 확인하지 않고, 오직 토큰 로그 확률의 시퀀스만을 모델링함으로써 환각을 탐지할 수 있는가?

2. 방법론

2.1. 핵심 패러다임: 시계열로서의 로그 확률

HALT는 상위-$k$ 토큰 로그 확률의 시퀀스를 시계열 분류 문제로 취급합니다. 이 방법은 확률을 요약 통계량으로 축소하는 대신, 각 디코딩 단계에서의 모델 신뢰도의 순차적 시퀀스를 보존합니다.

입력 표현:
길이가 $T$인 응답에 대해, 모델은 각 타임스텝 $t$에서 상위-20개의 로그 확률($\ell_t \in \mathbb{R}^{20}$)을 추출합니다. 이는 다섯 가지의 엔지니어링된 특징과 결합되어 풍부한 특징 벡터 $\tilde{\ell}_t$를 형성합니다:

1. 평균 로그 확률 (Average Log-Probability): 분포의 날카로움(sharpness)에 대한 대리 지표.
2. 순위 프록시 (Rank Proxy): 선택된 토큰이 상위-20 내에서 갖는 유계된 순위로, 비-탐욕적(non-greedy) 또는 이례적인 선택을 포착함.
3. 전체 엔트로피 ($H_{overall}$): 선택된 토큰 및 대안들에 대한 불확실성.
4. 대안 전용 엔트로피 ($H_{alts}$): 경쟁하는 후보들 사이의 불일치.
5. 결정 엔트로피의 시간적 변화 ($\Delta H_{dec}$): 선택된 토큰과 최선순위 대안 사이의 급격한 확신 변화를 포착.

최종 입력은 시계열 $\tilde{\ell}_{1:T} \in \mathbb{R}^{T \times 25}$입니다.

2.2. 아키텍처

본 모델은 5백만 개의 파라미터를 가진 경량 **양방향 GRU (Bidirectional Gated Recurrent Unit)**를 채택합니다.

• 인코더 (Encoder): 다층 양방향 GRU가 시퀀스를 처리하여 순방향 및 역방향 모두에서 시간적 패턴을 포착합니다.
• 풀링 (Pooling): Top-$q$ 풀링 메커니즘($q=0.15$)을 통해 은닉 상태(hidden states)를 집계합니다. 이는 가장 두드러진 타임스텝(가장 큰 은닉 상태 노름을 가진 시점)을 평균화하여, 모든 토큰에 걸쳐 신호를 희석하기보다 급격한 신뢰도 변화가 일어나는 순간에 집중합니다.
• 출력: 선형 레이어가 이진 분류(환각 여부)를 위한 단일 로짓을 생성하며, 이는 이진 교차 엔트로피 손실(binary cross-entropy loss)로 학습됩니다.

2.3. 주요 가설

저자들은 연구에서 검증된 네 가지 가설을 제안합니다:

1. 모델 특정적 편향 (Model-Specific Bias): 각 LLM은 상위-$k$ 확률을 규정하는 결정론적인 캘리브레이션 편향 함수를 가집니다.
2. 학습 가능성 (Learnability): GRU는 이 편향 유도 역동성을 근사할 수 있으며, 특정 시간적 패턴을 환각과 연관 지을 수 있습니다.
3. 비전이성 (Non-Transferability): 한 모델의 로그 확률로 학습된 탐지기는 서로 다른 캘리브레이션 편향 때문에 다른 모델 아키텍처로 신뢰성 있게 전이되지 않습니다.
4. 태스크 일반화 (Task Generalization): 단일 모델 내에서, 한 태스크 패밀리에 대해 학습된 탐지기는 밑바탕이 되는 캘리비레이션 편향이 일관되기 때문에 다른 태스크로 일반화됩니다.

3. 벤치마크: HUB (Hallucination detection Unified Benchmark)

방법론을 평가하기 위해 저자들은 10가지 LLM 능력 범위를 포괄하는 종합 벤치마크인 HUB를 도입합니다:

• 추론 중심: 알고리즘, 상식, 수학, 기호 추론(Symbolic Reasoning), 코드 생성.
• 범용: 채팅, 데이터-텍스트 변환(Data-to-Text), 질의응답(QA), 요약, 세상 지식.

HUB는 기존 데이터셋(FAVA, RAGTruth, HaluEval)을 확장하며, 논리적 환각(잘못된 추론 단계를 거쳐 틀린 답을 내거나 운 좋게 맞는 답을 내는 경우)을 포함하기 위해 CriticBench를 통합했습니다. 이 데이터셋은 훈련, 검증, 테스트 세트로 나뉘며, 엄격한 OOD(Out-of-Distribution) 추론 태스크 일반화 테스트를 위해 훈련은 Chat, Data-to-Text, QA에 국한됩니다.

4. 결과

4.1. HUB에서의 성능

HALT는 기존 베이스라인들을 유의미하게 능가합니다:

• 효율성: HALT는 Lettuce 탐지기(파인튜닝된 ModernBERT-base 인코더)보다 30배 작으며, 60배 빠른 속도를 달성합니다.
• 정확도: HALT는 10개 클러스터 중 7개에서 최고의 Macro-F1 점수를 기록했습니다.
  • HALT-L (LLaMA 3.1-8B로 학습됨)은 전체 Macro-F1 67.01을 달성하여, Lettuce(64.00)와 집계 통계 베이스라인(예: $H_{overall}$ 32.86)을 능가했습니다.
  • 특히 시퀀스 수준의 캘리브레이션 단서가 텍스트 수준의 휴리스틱보다 더 예측력이 높은 추론 작업(알고리즘, 상식, 기호 추론)에서 뛰어난 성능을 보였습니다.

4.2. 전이성 및 일반화

• 태스크 간 전이: HALT는 동일한 모델 내에서 서로 다른 태스크 패밀리 간에 강력한 일반화 능력을 보여주며, 이는 캘리브레이션 편향이 태스크에 무관하다는 가설을 뒷받침합니다.
• 모델 간 전이: 예측대로, LLaMA 로그 확률로 학습된 모델을 Qwen 로그 확률에 적용했을 때 성능이 크게 하락하였으며, 이는 캘리브레이션 역동성이 모델 특정적이며 아키텍처 간에 직접적으로 전이되지 않음을 확인시켜 줍니다.
• 강건성: HALT는 특정하게 튜닝되지 않았음에도 불구하고 외부 벤치마크(FAVA, RAGTruth)에서 경쟁력 있는 성능을 유지합니다.

5. 의의 및 주장

본 논문은 다음과 같은 기여와 의의를 주장합니다:

• 새로운 블랙박스 패러다임: HALT는 표면 형태의 텍스트 분석, 외부 검증자, 또는 내부 모델 접근 없이 오직 토큰 로그 확률에만 의존하는 새로운 탐지 방법을 제시합니다. 이는 독점 API에 유일하게 적용 가능한 방식입니다.
• 정적 지표를 넘어선 시간적 역동성: 본 연구는 로그 확률를 시계열로 취급하는 것이 집계 통계가 놓치는 불확실성 패턴(예: 급격한 엔트로피 스파이크, 순위 역전)을 포착할 수 있음을 입증합니다.
• 통합 프레�레임워크: 논리적 추론 실패를 환각의 정의에 통합함으로써, HUB는 단순한 사실 검증을 넘어 의미론적 불충실성(semantic unfaithfulness)에 대한 더 넓은 관점을 제공합니다.
• 실용적 효율성: 이 방법은 대규모 인코더에 대한 매우 효율적인 대안을 제공하며, 생성 과정 중에 이미 사용 가능한 로그 확률 스트림만을 필요로 하므로 무시할 만한 수준의 오버헤드로 실시간 환각 탐지를 가능하게 합니다.

저자들은 HALT가 단일 모델에 종속되지는 않지만, 모델 내에서 태스크 간에 일반화되는 전이 가능한 불확실성 역동성을 학습함으로써, 가중치나 외부 데이터에 접근하지 않고도 모델의 불확실성을 분석하는 새로운 모달리티를 구축했다고 결론짓습니다.