Hallucination Detection via Activations of Open-Weight Proxy Analyzers

기술 요약: 오픈 가중치 프록시 분석기의 활성화에 의한 환각 탐지

문제 제기
검색 증강 생성 (RAG) 파이프라인은 기업용 애플리케이션에 필수적이지만, 도메인 특화 작업에서 5% 에서 20% 에 이르는 환각 발생률로 고통받고 있습니다. 기존 탐지 방법은 상당한 한계에 직면해 있습니다: 사후 검증 및 불확실성 기반 접근법은 여러 모델 통과를 요구하여 계산 비용이 많이 들고, 화이트박스 기계적 방법은 높은 정확도를 제공하지만 생성기의 내부 상태에 대한 직접적인 접근이 필요합니다. 이는 GPT-4 와 같은 폐쇄형 API 모델, 멀티 백엔드 시스템, 또는 탐지를 위해 거대한 생성기를 다시 실행하는 것이 비용 면에서 불가능한 시나리오를 배제합니다. 핵심적인 과제는 생성기의 가중치나 내부 활성화에 접근하지 않고도 환각을 탐지하는 것입니다.

방법론
저자들은 생성기에서 탐지기를 분리하는 프록시 분석기 프레임워크를 제안합니다. 소스 문서 ($S$), 질문 ($Q$), 그리고 후보 답변 ($A$) 이 주어지면, 시스템은 이 텍스트를 작고 로컬에 호스팅된 오픈 가중치 "분석기" 모델에 입력합니다. 탐지기는 $A$가 어떤 모델에 의해 생성되었는지와 관계없이, 분석기의 내부 활성화에 전적으로 의존하여 $A$가 환각인지 여부를 판단합니다.

이 프레임워크는 단일 순전파 (forward pass) 동안 트랜스포머 메커니즘에 기반한 18 가지 특성을 추출합니다:

1. 활성화 신호 (S1–S4):
   • S1 (잔차 노름): 잔차 스트림 노름의 성장을 추적합니다. 충실한 답변은 꾸준한 성장을 보이지만, 환각은 일찍 정체됩니다.
   • S2 (헤드별 소스 어텐션): 가장 중요한 특성 (특성 중요도의 약 50%) 으로, 헤드와 레이어별 소스 문서에 대한 어텐션을 측정합니다.
   • S3 (어텐션 엔트로피): 충실한 읽기는 어텐션을 분산시키지만, 환각은 기억된 토큰으로 붕괴됩니다.
   • S4 (MLP 노름): 매개변수 기억의 발화 강도를 추적하며, 이는 "매개변수 지식 점수"와 유사합니다.
2. 로그잇 및 상호작용 신호 (S5–S7): 로그잇-렌즈 궤적, 조건부 퍼플렉시티, 그리고 소스 읽기보다 매개변수 기억이 우세함을 반영하는 상호작용 항을 포함합니다.
3. 외부 및 어휘 신호 (S8–S10): Vectara HHEM 점수, 답변 - 소스 길이 비율, 그리고 자카드 토큰 중첩을 포함합니다.
4. 윈도우 및 기울기 신호 (S11–S15): 고정된 레이어 윈도우에 걸쳐 S1 과 S2 를 집계하고, 잔차 노름 및 근거 비율의 기울기를 분석합니다.
5. 토큰 수준 근거 통계 (S16–S18): 각 토큰별 최소 근거 점수, 분산, 그리고 근거 궤적의 기울기를 포착하는 새로운 통계입니다.

분포 외 (OOD) 조건에서 원시 평균 어텐션 신호보다 우수한 성능을 보이는, 충실한 답변과 환각 답변을 가장 잘 구분하는 특정 어텐션 헤드를 식별하기 위한 새로운 어텐션 헤드 중요도 (AHI) 점수가 도입되었습니다.

이 시스템은 5 개 데이터셋 (HaluEval, RAGTruth, MedHallu, MiniCheck-Synthetic, ANLI) 의 72,135 개 샘플로 훈련된 스태킹 앙상블 (로지스틱 회귀, 랜덤 포레스트, HistGradientBoosting, XGBoost) 을 사용합니다. 특정 충실도 실패 패턴을 포착하기 위해 RagtStacking이라는 전용 분류기는 오직 RAGTruth 데이터만으로 훈련됩니다.

주요 기여

1. 특성 프레임워크: 오픈 가중치 모델의 단일 순전파에서 유도된, 3 개의 새로운 토큰 수준 근거 통계를 포함한 18 가지 기계적으로 근거된 특성의 도입.
2. 어텐션 헤드 중요도 (AHI): 분포 외 (OOD) 전이 하에서 원시 어텐션 평균보다 우수한 안정성을 보여주며, 근거에 중요한 특정 어텐션 헤드를 식별하는 지도식 지표.
3. 규모 대 아키텍처 연구: 4 개 계열 (Qwen2.5, Gemma-2, Pythia, LLaMA-3) 의 7 개 모델 (0.5B 에서 9B 파라미터) 에 대한 포괄적인 평가로, 모델 계열과 아키텍처 설계가 종종 파라미터 수보다 더 중요함을 규명.
4. 성능 벤치마킹: 생성기 접근 없이 최첨단 화이트박스 방법 (ReDeEP) 을 능가할 수 있는 프록시 분석기의 입증.
5. 작업 - 깊이 상관관계: 작업 유형에 따라 환각 탐지 신호가 서로 다른 레이어 깊이에서 정점에 도달한다는 발견 (예: 질문 답변은 주장 검증보다 더 깊은 곳에서 정점).

결과

• 주요 벤치마크 (RAGTruth): 모든 7 개 분석기 아키텍처에서, 시스템은 ReDeEP 의 토큰 수준 AUC(0.73) 를 7.4 에서 10.3 퍼센트 포인트만큼 일관되게 능가했습니다.
  • Qwen2.5-7B는 RagtStacking 을 사용하여 0.717의 F1 과 0.834의 AUC 를 달성하여, ReDeEP 의 토큰 수준 F1(0.713) 을 상회했습니다.
  • Gemma-2-9B는 0.836의 가장 높은 AUC 를 달성했습니다.
  • Qwen2.5-0.5B는 0.706의 F1 을 달성하여, 10 억 미만 파라미터 모델이 유효함을 입증했습니다.
• 모델 크기 수렴: 18 배의 파라미터 수 차이에도 불구하고, 7 개 모델 전체에 걸친 AUC 편차는 불과 2.3 퍼센트 포인트(0.814 에서 0.837) 였습니다.
• "LLaMA 이상현상": 스케일링 법칙과 반대로, LLaMA-3-3B 가 RAGTruth 에서 LLaMA-3-8B 를 능가했습니다 (AUC 0.822 대 0.819; F1 0.698 대 0.687). 8B 모델은 OOD 데이터에서만 회복되었는데, 이는 동일한 계열 내에서는 더 큰 크기가 더 나은 탐지를 보장하지 않음을 시사합니다.
• OOD 성능: LLM-AggreFact 에서 모든 모델은 균형 정확도 기준 2.8 퍼센트 포인트 이내에 군집했습니다. 베이스라인과의 성능 차이는 훈련 데이터의 소스 문서 길이 불일치 (훈련 시 1,200 자 대 AggreFact 의 약 3,000 자) 로 귀결되었으며, 근본적인 신호 실패는 아니었습니다. 18 개 신호 중 6 개는 길이 변화에 걸쳐 안정적으로 유지되었습니다.
• 생성기 무관성: 시스템은 GPT-4, GPT-3.5, Mistral-7B, Llama-2 변형 등 다양한 생성기에서 일관된 성능을 발휘하여, 생성기 특유의 아티팩트가 아닌 소스 문서 환각 패턴을 탐지함을 확인했습니다.

의의 및 주장
이 논문은 아키텍처 설계가 원시 파라미터 수보다 탐지 품질의 더 강력한 동인이라고 주장합니다. 결과는 "클수록 항상 좋다"는 직관을 도전하며, 0.5B Qwen 모델이 그 크기보다 10 배 큰 모델을 따라잡거나 능가할 수 있고, 3B LLaMA 가 8B 동료를 능가할 수 있음을 보여줍니다.

저자들은 그들의 접근 방식이 RAG 시스템을 위한 보편적인 가드를 제공한다고 단언합니다. 탐지기를 생성기에서 분리함으로써, 시스템은 단일 구현으로 폐쇄형 API 를 포함한 다양한 백엔드에 배포될 수 있습니다. 연구 결과는 환각이 답변과 소스 간의 불일치라는 속성임을 시사하며, 이는 텍스트를 읽는 어떤 트랜스포머의 내부 상태를 통해 탐지 가능하므로, 특정 생성기는 탐지 과정과 무관하다고 결론냅니다. 논문은 현재 훈련 데이터 제약 (소스 길이) 으로 인해 OOD 격차가 존재하지만, 핵심 신호의 안정성은 이 접근법이 보다 광범위한 배포를 위해 근본적으로 타당함을 나타낸다고 결론짓습니다.