Detecting LLM Hallucinations via Embedding Cluster Geometry: A Three-Type Taxonomy with Measurable Signatures

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 유창하고 자신감 있게 생성되지만 사실과 다른 텍스트 (할루시네이션) 를 생성하는 문제가 있습니다. 기존의 할루시네이션 탐지 방법은 주로 **출력 단계 (Output-level)**에서 작동합니다 (예: 자기 일관성 확인, 검색 증강, 로그it 보정 등).

• 한계: 이러한 방법들은 모델이 생성한 결과물을 분석할 뿐, 그 결과를 만들어낸 모델 내부의 기하학적 구조 (Geometric Structure) 자체를 분석하지는 못합니다.
• 핵심 질문: "모델이 할루시네이션을 하고 있는가?"가 아니라, "어떤 유형의 기하학적 실패가 할루시네이션을 유발했는가?"를 규명하고, 이러한 실패 유형들이 임베딩 공간에서 어떻게 다른 측정 가능한 서명 (Signature) 을 남기는지 연구합니다.

2. 방법론 (Methodology)

2.1 데이터 및 모델

• 대상 모델: 인코더 (BERT, RoBERTa, ELECTRA, DeBERTa, ALBERT, MiniLM, DistilBERT) 와 디코더 (GPT-2) 아키텍처를 포함하는 총 11 개의 트랜스포머 모델.
• 임베딩 분석: 모델의 어휘 (Whole-word tokens) 를 필터링하여 $k=40$개의 클러스터로 $k$-means 클러스터링을 수행했습니다.

2.2 3 가지 할루시네이션 분류 체계 (Taxonomy)

저자는 생성된 토큰의 임베딩과 주변 클러스터 구조 간의 기하학적 관계에 따라 3 가지 유형으로 분류합니다.

1. 유형 1: Center-Drift (중심 이탈)
   • 메커니즘: 맥락이 약하거나 모호할 때, 모델이 특정 클러스터 영역으로 이동하지 못하고 임베딩 공간의 중심 (고빈도, 일반적 토큰 영역) 으로 붕괴됩니다.
   • 서명: 낮은 클러스터 소속도 (Membership), 낮은 임베딩 노름 (Norm).
   • 결과: 그럴듯하지만 모호한 "확신 있는 일반성" 오류.
2. 유형 2: Wrong-Well Convergence (잘못된 우물 수렴)
   • 메커니즘: 맥락 신호가 강해 특정 클러스터 영역으로 이동하지만, 잘못된 지역 (맥락에 부적절하지만 국소적으로 일관된 영역) 에 고정됩니다.
   • 서명: 높은 국소 클러스터 소속도, 생성 시퀀스 내 클러스터 간 급격한 궤적 불연속 (Trajectory discontinuity).
   • 결과: 상세하고 구체적이며 설득력 있는 "허위 사실 (Confabulation)" 오류.
3. 유형 3: Coverage Gap (커버리지 공백)
   • 메커니즘: 훈련 데이터에 존재하지 않는 의미적 조합이 요구되어, 임베딩 공간에 클러스터 구조가 없는 희소 영역에 떨어집니다.
   • 서명: 모든 클러스터에 대한 약한 소속도, 국소 유사성의 높은 분산.
   • 결과: 불규칙하거나 nonsensical 한 출력.

2.3 측정 가능한 기하학적 통계량 (Geometric Statistics)

이 분류의 타당성을 검증하기 위해 3 가지 새로운 통계량을 도입했습니다.

• $\alpha$ (Polarity Coupling, 극성 결합): 클러스터 내 반의어 쌍 (Antonym pairs) 이 공유하는 극성 축 (Polarity axis) 의 강도.
• $\beta$ (Cluster Cohesion, 클러스터 응집력): 클러스터 내 토큰이 자신의 중심 (Centroid) 에 더 가깝고 다른 클러스터 중심보다 멀리 떨어져 있는 정도.
• $\lambda_r$ (Radial Information Gradient, 방사형 정보 기울기): 임베딩 노름 (Norm) 과 정보량 (Self-information) 간의 비선형 관계를 나타내는 2 차 계수.

3. 주요 결과 (Results)

3.1 기하학적 특성의 보편성

11 개 모델 전체에서 다음과 같은 결과가 관찰되었습니다.

• 극성 구조 ($\alpha$): 모든 모델 (11/11) 에서 $\alpha > 0.5$로, 반의어가 같은 클러스터에 존재하는 현상이 보편적입니다.
• 클러스터 응집력 ($\beta$): 모든 모델 (11/11) 에서 $\beta > 0$으로 유의미한 클러스터 구조가 존재합니다.
• 방사형 정보 기울기 ($\lambda_r$): 11 개 모델 중 9 개에서 통계적으로 유의미 ($p < 0.05$) 했습니다.
  • 대부분의 모델 (7 개) 에서 $\lambda_r$은 음수 (오목형) 로, 노름이 커질수록 정보량이 증가하지만 그 증가율이 감소함을 나타냅니다.
  • DeBERTa 와 RoBERTa-large 는 양수 (볼록형) 를 보였습니다.

3.2 아키텍처별 특이점 (Anomalies)

$\lambda_r$이 유의미하지 않았던 2 개 모델 (ALBERT, MiniLM) 은 아키텍처적 이유로 설명 가능합니다.

• ALBERT: 인자화된 임베딩 (Factorized embeddings) 으로 인해 128 차원 공간이 거의 포화 상태 (Utilization 82%) 입니다. 노름의 분산이 매우 작아 방사형 구조가 압축되었습니다.
• MiniLM: 과도한 증류 (Distillation) 로 인해 **등방성 (Isotropy)**이 극대화되었습니다. 평균 쌍대 코사인 유사도가 0.012 로 거의 0 에 가까우며, 방사형 구조가 무너지고 오히려 역전 ($\lambda_r > 0$) 되었습니다.

3.3 인코더 vs 디코더

• GPT-2 (디코더) 도 BERT 와 유사한 음의 $\lambda_r$을 보였으나, 그 크기는 BERT 보다 약 10 배 작았습니다. 이는 디코더의 다음 토큰 예측 목표가 정보를 각도 차원에 더 균일하게 분배하기 때문입니다.

4. 기여 및 의의 (Contributions & Significance)

1. 새로운 분류 체계: 할루시네이션을 "출력의 사실성"이 아닌 "임베딩 공간의 기하학적 실패 모드"로 정의하고, 3 가지 유형 (Center-drift, Wrong-well, Coverage gap) 으로 체계화했습니다.
2. 검증 가능한 진단 도구: $\alpha, \beta, \lambda_r$이라는 3 가지 통계량을 제안하여, 모델의 아키텍처에 따라 할루시네이션 취약성이 어떻게 달라지는지 예측할 수 있는 도구를 마련했습니다.
3. 아키텍처 의존성 발견:
   • **압축된 임베딩 공간 (ALBERT 등)**은 방사형 신호가 약해 유형 1 (Center-drift) 할루시네이션에 취약할 것임을 예측합니다.
   • **증류된 등방성 모델 (MiniLM 등)**은 각도 구조는 유지하지만 방사형 구조가 손상되어 유형 1 탐지 능력이 저하될 것임을 예측합니다.
4. 계층적 탐지 아키텍처 제안:
   • Tier 1: 소속도 및 노름 기반 (유형 1 탐지)
   • Tier 2: 궤적 불연속성 분석 (유형 2 탐지)
   • Tier 3: 밀도 분석 (유형 3 탐지)
   • 각 모델에 맞는 백분위수 기반의 임계값 보정이 필요함을 강조했습니다.

5. 결론 및 한계

이 연구는 LLM 할루시네이션이 단순한 사실 오류가 아니라, 모델의 임베딩 공간 구조적 결함에서 비롯된 기하학적 현상임을 규명했습니다. 특히, 모델의 아키텍처적 선택 (인자화, 증류 등) 이 특정 유형의 할루시네이션에 대한 취약성을 결정한다는 점을 밝혔습니다.

한계점:

• 현재 분석은 정적 (Static) 임베딩에 기반하며, 컨텍스트가 포함된 숨겨진 상태 (Contextual hidden states) 에 대한 분석은 포함되지 않았습니다.
• 15 억 파라미터 이하의 11 개 모델만 분석되었으며, 더 큰 모델로 확장 필요.
• 탐지 아키텍처가 제안되었으나 HaluEval 등 기존 벤치마크에 대한 실제 성능 평가는 이루어지지 않았습니다.

이 프레임워크는 LLM 의 신뢰성을 높이기 위해, 모델이 "어떻게" 오류를 범하는지 기하학적으로 이해하고 이를 실시간으로 탐지하는 새로운 패러다임을 제시합니다.