기술 요약: PARALLAX

문제 진술

대형 언어 모델 (LLM) 은 유창하고 권위적이지만 사실과 다른 출력인 환각 (hallucinations) 을 자주 생성합니다. 의학, 법률, 과학과 같은 고위험 분야에서 이러한 오류는 직접적인 피해를 초래합니다. 내부 모델 상태 (잠재 표현) 를 사용하여 효과적인 환각 탐지기를 개발했다고 주장하는 연구 문헌이 늘어나고 있지만, 이 분야는 통제된 교차 방법 비교가 부족합니다. 저자들은 기존 연구에서 두 가지 중요한 교란 요인을 확인했습니다:

1. 벤치마크 구성 인공물: HaluEval, MedHallu, TruthfulQA 와 같은 인기 있는 말뭉치는 종종 "교사 강제 (teacher-forced)" 방식으로 구성되는데, 이는 정답과 환각 답변 모두 입력 프롬프트에 직접 포함되는 방식입니다. 이는 레이블과 표면적 텍스트 차이 간의 상관관계를 생성하여 모델 불확실성과는 무관한 결과를 낳습니다.
2. 평가 범위: 대부분의 연구는 단일 벤치마크와 모델에서 방법을 평가하므로, 특정 데이터셋 - 모델 조합에 대한 과적합과 진정한 기계적 신호를 구분하는 것이 불가능합니다.

이 논문은 환각 탐지 분야에서 보고된 많은 진전이 이러한 인공물에 의해 만들어진 착시라고 주장하며, 방법론들이 실제로는 모델의 내부 상태가 아닌 프롬프트의 어휘적 표현 패턴을 탐지하고 있다고 지적합니다.

방법론

인공물 제어: TXTEMB

벤치마크 인공물의 영향을 정량화하기 위해 저자들은 TXTEMB를 도입했습니다. 이는 텍스트 유사성을 기반으로 한 단순한 (naive) 기준선입니다. TXTEMB 는 환각 답변 텍스트와 기준 답변 텍스트 간의 TF-IDF 코사인 유사도를 계산합니다. 핵심적으로, 이 방법은 모델 내부에 접근할 필요가 없습니다.

• 논리: 교사 강제 말뭉치에서 내부 상태 기반 방법이 TXTEMB 와 유사한 성능을 보인다면, 그 신호는 모델 불확실성이 아닌 표면적 텍스트 차이에 의해 주도될 가능성이 높습니다.
• 임계값: 동일한 말뭉치에서 TXTEMB 의 AUROC 와 0.05 이내의 AUROC 를 보이는 방법은 잠재적으로 인공물에 오염된 것으로 간주됩니다.

실험 설정

저자들은 대규모 통제 평가를 수행했습니다.

• 22 개 탐지 방법: 6 개의 새로운 접근법 (A–F) 과 16 개의 기존 기준선 (예: SAPLMA, INSIDE, MIND, HalluShift, SelfCheckGPT) 을 포함합니다.
• 12 개 모델: Llama, Qwen, DeepSeek-R1, Mistral, Gemma, Phi 등 6 가지 아키텍처 계열에 걸쳐 있으며, 파라미터 수는 38 억에서 720 억까지 다양합니다.
• 6 개 말뭉치: 두 가지 regimes 로 구분됩니다.
  • 교사 강제 (TF): HaluEval, MedHallu, TruthfulQA, Legal (답변이 프롬프트에 포함됨).
  • 실시간 생성 (LG): RAGTruth, HaluBench (모델이 자유롭게 생성; 레이블은 사후 적용됨).

제안된 방법: DRIFT

저자들은 은닉층 간의 전이를 분석하여 환각을 탐지하도록 설계된 지도식 프로브인 DRIFT(Detection via Inter-layer Representational Transitions) 를 소개합니다.

• 아키텍처: 상위 레이어의 네 가지 분수 깊이 (전체 깊이의 60%, 70%, 80%, 85%) 에서 은닉 상태를 추출합니다.
• 특징 구성: 각 쌍의 탭된 레이어 $(l_a, l_b)$에 대해, 이 방법은 다음을 포함하는 특징 블록 $\phi_{ab}$를 계산합니다:
  1. 차이 벡터: $h(l_b) - h(l_a)$
  2. 코사인 유사도: $\cos(h(l_a), h(l_b))$
  3. 유클리드 노름: $\|h(l_b) - h(l_a)\|_2$
• 분류: 이러한 특징들은 고차원 벡터 (700 억 모델의 경우 약 49,000 차원) 로 연결되어 L2 정규화 로지스틱 회귀 프로브에 입력됩니다.
• 이중 유용성: 프로브의 가중치 벡터는 환각 대비 방향 (contrastive direction) 으로 작용하여 별도의 조향 벡터 계산 없이 "탐지 후 조향 (detect-then-steer)" 기능을 가능하게 합니다.

주요 결과

1. 인공물 효과

교사 강제 말뭉치에서 많은 방법들은 높은 AUROC 점수 (0.85–1.00) 를 보고합니다. 그러나 TXTEMB 는 동일한 데이터셋에서 표면적 텍스트만을 사용하여 거의 완벽한 점수 (예: HaluEval 에서 0.98) 를 달성합니다.

• 발견: 인공물이 제거되면 (즉, 실시간 생성 말뭉치에서), 교사 강제 인공물에 의존하던 방법들은 우연 수준에 가까운 성능으로 붕괴됩니다.
• 예시: DRIFT 는 교사 강제 HaluEval 에서 0.96 점이지만, 동일한 프롬프트 구조에서 생성된 실시간 응답으로 재평가될 때 0.62 로 떨어집니다.

2. 실시간 생성 벤치마크에서의 성능

인공물이 없는 RAGTruth와 HaluBench말뭉치에서:

• 한계: 대부분의 기존 기준선 (MIND, HaloScope, ACT, SEPs, HalluShift) 과 비지도 방법은 RAGTruth 에서 우연 수준 (AUROC 0.43–0.57) 에 근접한 성능을 보입니다.
• 최고 성능자: SAPLMA(2023 년 단일 레이어 프로브) 와 DRIFT만이 실시간 생성 데이터에서 일관되게 우연 수준을 초과합니다.
  • HaluBench에서 두 방법 모두 12 가지 아키텍처에 걸쳐 AUROC $\approx 0.91$을 달성합니다.
  • RAGTruth에서는 모든 방법 (SAPLMA 와 DRIFT 포함) 이 0.43 에서 0.57 사이로 떨어지며, 이는 활성화 기반 탐지를 위한 어렵고 해결되지 않은 벤치마크임을 입증합니다.
• SAPLMA 대 DRIFT: TruthfulQA 에서 SAPLMA 가 DRIFT 를 약간 앞섭니다 (0.75 대 0.73). 하지만 HaluBench 에서는 통계적으로 구별할 수 없습니다. DRIFT 의 레이어 간 차분은 단순한 상위 레이어 연결 (DRIFT-concat) 보다 일관되게 우월하지 않아, 주요 신호는 상위 레이어 표현 자체에 있음을 시사합니다.

3. 교차 아키텍처 및 규모

• 일반화: DRIFT 와 SAPLMA 는 다양한 아키텍처 (Llama, Qwen, Mistral 등) 에서 높은 성능을 유지하는 반면, 다른 방법들은 일반화에 실패합니다.
• 규모: TruthfulQA 에서 탐지 성능은 모델 크기에 따라 증가하지만, HaluBench 에서는 모델 크기 (38 억에서 720 억) 간에 일관된 성능을 보입니다.
• 비용: DRIFT-logp(토큰 로그 확률을 사용하는 변형) 는 10ms 미만의 지연 시간을 제공합니다. SAPLMA 와 DRIFT 는 추가 추론 패스가 필요 없는 (은닉 상태 추출만 필요) 높은 정확도를 제공하며, 10 배의 추가 추론이 필요한 SelfCheckGPT-NLI 와 같은 다중 샘플 방법보다 성능이 우수합니다.

중요성과 주장

이 논문은 환각 탐지 분야에서 보고된 진전이 벤치마크 구성 인공물에 의해 상당히 과장되었다고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 대부분의 기존 탐지기는 비효율적입니다: 통제된 조건 (실시간 생성) 하에서 대부분의 기존 기준선은 무작위 추운보다 나을 바가 없습니다.
2. 교사 강제는 중요한 교란 요인입니다: 프롬프트에 정답을 포함시키는 것은 표면적 텍스트 기준선이 완벽한 점수를 달성하게 하여, 내부 상태 기반 방법들이 불확실성 신호가 아닌 어휘적 단축법을 학습하도록 오도합니다.
3. SAPLMA 와 DRIFT 는 예외입니다: 상위 레이어 은닉 상태에 대한 이 두 가지 지도식 프로브만이 실시간 생성 환경에서 환각을 신뢰성 있게 탐지하는 유일한 방법이며, 비록 더 어려운 RAGTruth 말뭉치에서는 여전히 어려움을 겪습니다.
4. 미래 방향: 신뢰할 수 있는 진전을 위해서는 벤치마크 인공물과 진정한 내부 상태 신호를 분리하는 평가 프로토콜이 필요합니다. 저자들은 RAGTruth 를 향후 연구를 위한 구체적이고 해결되지 않은 벤치마크로 위치시킵니다.

이 논문은 환각 탐지가 아직 해결되지 않았지만, 앞으로의 길은 특정 인공물에 오염된 데이터셋을 최적화하는 것이 아니라, 엄격한 인공물 제어와 regimes 전반에 걸쳐 일반화되는 방법에 초점을 맞추는 데 있다고 결론지었습니다.