Automatic Layer Selection for Hallucination Detection

기술 요약: 환각 감지를 위한 자동 계층 선택

문제 제기
대규모 언어 모델 (LLM) 은 유창하지만 사실적으로 부정확한 출력, 즉 환각을 자주 생성합니다. 기본 모델을 수정하거나 미세 조정하지 않고 이러한 환각을 감지하는 것은 중요한 실용적 과제입니다. 최근 연구에 따르면, 환각과 관련된 신호는 최종 출력 계층보다 LLM 의 중간 은닉 계층에서 더 강하게 인코딩되는 것으로 나타났습니다. 그러나 최상의 감지 성능을 제공하는 특정 중간 계층을 식별하는 것은 여전히 충분히 탐구되지 않은 문제입니다. 기존 접근 방식들은 임의적으로 고정된 중간 계층 (예: 중간 계층) 을 선택하거나 모든 계층을 포괄적으로 평가하는데, 이는 계산적으로 불가능에 가깝습니다. 또한, 다양한 모델 아키텍처, 규모, 작업에 걸쳐 최적의 계층을 선택할 수 있는 원칙적이고 자동화된 방법의 부재가 있습니다.

또한, 표현을 추출하기 위한 토큰 위치의 선택은 감지 성능에 상당한 영향을 미칩니다. 생성된 마지막 토큰을 사용하는 일반적인 휴리스틱은 퇴화된 반복, 일관성 없는 연속, 의미적 이탈과 같은 "시퀀스 끝 노이즈"에 취약하여 표현의 품질을 저하시킵니다.

방법론
저자들은 사전 학습된 LLM 을 고정된 상태로 유지하고, 선택된 계층에서 추출된 표현으로 훈련된 경량 다층 퍼셉트론 (MLP) 분류기를 사용하여 환각을 감지하는 은닉 상태 프로빙 (probing) 프레임워크 내에서 이 문제를 조사합니다.

1. 기존 기준의 평가: 이 논문은 중간 계층이 왜 유용한 정보인지에 대한 네 가지 가설을 기반으로 몇 가지 기존 계층 선택 기준을 체계적으로 평가합니다.

   • 정보 이론적: 임베딩의 랭크를 측정하는 RankMe.
   • 기반-기반: 표현이 학습을 얼마나 잘 촉진하는지 측정하는 검증 손실 (Validation Loss), 상대적 기울기 노름 (RGN), 신호 대 잡음비 (SNR).
   • 기하학적: 문장 임베딩의 평탄화를 정량화하는 곡률 (Curvature).
   • 고유 차원 (ID): 임베딩 구조를 표현하는 데 필요한 최소 특징을 측정.
   • 결과: 다양한 LLM(예: LLaMA-3.1, Mistral-7B) 과 작업 (QA, 요약) 에 대한 실증적 평가는 이러한 기준 중 어느 것도 일관되게 고성능 계층을 식별하지 못함을 보여줍니다.

2. 제안된 계층 선택: FEPoID:
   고유 차원 (ID) 이 중간 계층에서 그리고 다시 출력 근처에서 피크를 보이는 다중 모달 패턴을 자주 나타낸다는 관찰을 바탕으로, 저자들은 **고유 차원의 첫 번째 유효 피크 (FEPoID)**를 제안합니다.

   • 가설: 첫 번째 ID 피크는 환각 감지와 관련된 추상적 의미 정보를 포착하는 반면, 출력 계층 근처의 두 번째 (종종 더 높은) 피크는 이 작업에 덜 유용한 표면적 또는 어휘적 복잡성을 포착합니다.
   • 메커니즘: FEPoID 는 ID 곡선의 첫 번째 국소 최대값을 식별합니다. 안정성을 보장하기 위해 제한된 미리보기 윈도우 내에서 더 높은 ID 값을 가진 가짜 초기 피크를 필터링하기 위해 전방 지평 매개변수 $w$를 사용합니다. 이 방법은 훈련이 불필요하며 계산 오버헤드는 무시할 수준입니다.

3. 제안된 토큰 위치 전략: 첫 번째 문장 자르기 (FST):
   시퀀스 끝 노이즈를 해결하기 위해 저자들은 전체 시퀀스의 마지막 토큰이 아닌 생성된 첫 번째 문장의 마지막 토큰에서 표현을 추출할 것을 제안합니다.

   • 메커니즘: 간단한 규칙 기반 스캐너가 첫 번째 문장의 끝을 식별합니다. 이 전략은 "정확한 답변" 토큰 선택과 달리 정답이나 보조 모델의 필요성을 없애면서, 반복이나 이탈과 같은 후속 단계 생성 행동에서 오는 노이즈를 완화합니다.

주요 기여

1. 체계적 평가: 이 논문은 자동 환각 감지를 위한 계층 선택의 맥락에서 하류 성능 (예: 선택적 미세 조정) 과 상관관계가 있는 것으로 이전에 입증된 기준들에 대한 최초의 포괄적 평가를 제공하며, 이러한 기준들이 이 특정 작업에는 부적절함을 발견합니다.
2. FEPoID 기준: 다양한 데이터셋과 사전 학습 모델에 걸쳐 거의 최적의 중간 계층을 자동으로 선택하는 간단하고 효율적이며 훈련이 불필요한 기준을 도입합니다.
3. 토큰 위치 통찰: 생성된 첫 번째 문장의 마지막 토큰에서 표현을 추출하는 것이 표준 마지막 토큰 휴리스틱보다 일관되게 우월함을 입증합니다. 논문은 첫 번째 문장 자르기 (FST) 를 적용하면 고려된 모든 환각 감지 베이스라인에서 성능이 향상됨을 보여주며, 생성 노이즈를 줄이는 것이 방법과 무관한 이점을 제공함을 시사합니다.

결과

• 계층 선택 성능: 질문 답변 (CoQA, SQuAD, HotpotQA, TriviaQA, PsiLoQA) 및 요약 (HaluEval, CNN/DM) 벤치마크 전반에 걸쳐 FEPoID 는 최적 또는 준최적인 계층을 일관되게 식별합니다. AUROC 측면에서 기존 베이스라인 (불확실성 기반 방법, EigenScore, LID 및 기타 계층 선택 기준 포함) 보다 우수한 성능을 보입니다.
• 강건성: FEPoID 는 다양한 모델 규모 (1B~8B), 아키텍처, 튜닝 전략 (베이스 대 인스트럭션 튜닝) 에서 강건성을 입증합니다.
• 효율성: FEPoID(ID 계산과 동일) 는 기울기 기반 또는 기하학적 기준보다 훨씬 적은 계산 시간을 요구합니다.
• FST 의 영향: FST 를 적용하면 모든 방법에 대해 일관된 AUROC 향상을 가져옵니다. 예를 들어, 노이즈가 많은 연속 생성을 경향하는 LLaMA-Instruct 와 같은 모델의 성능을 크게 향상시킵니다.
• 표현 품질: Fisher 분리도와 실루엣 점수를 사용한 분석은 공간의 고유 차원성이 유사함에도 불구하고 FST 가 더 깨끗하고 차별화된 클래스 구조를 가진 표현을 생성함을 보여줍니다.

의의
이 논문은 환각 감지를 위한 견고한 표현 추출을 위한 실용적이고 감독이 불필요한 솔루션을 제공한다고 주장합니다. 계층 선택을 위한 FEPoID 와 토큰 위치 선택을 위한 FST 를 결합함으로써, 이 접근 방식은 모델 미세 조정이나 포괄적인 계층별 검증을 불필요하게 합니다. 저자들은 이러한 발견이 일반적인 표현 수준 분석과 실용적인 계층 선택 전략 사이의 격차를 부각시키며, 고유 차원의 역동성이 작업 관련 표현을 식별하는 데 핵심 요소임을 시사한다고 주장합니다. 향후 연구는 이러한 발견을 추상적 정보 처리가 필요한 다른 작업으로 확장하고, ID 역동성과 작업 관련 표현 간의 이론적 관계를 조사하는 것으로 제안됩니다.