기술 요약: 추론이 어디서 무너지는가? 숨겨진 상태 운송 기하학을 통한 단계별 환각 감지

1. 문제 정의

대규모 언어 모델 (LLM) 은 다단계 추론 작업 중 자주 환각을 일으켜, 유창하지만 잘못된 중간 단계를 생성하고 이를 최종 출력으로 전파합니다. 기존 감지 방법들은 세 가지 주요 한계를 겪습니다:

1. 추적 수준 집계: 대부분의 감지기 (예: 시맨틱 엔트로피, 자기 일관성, SelfCheckGPT) 는 전체 출력에 단일 신뢰도 점수를 부여하여, 첫 번째 오류를 국소화하지 못합니다.
2. 추론 오버헤드: 자기 일관성과 같은 방법은 여러 번의 순전파와 샘플링을 필요로 하므로 계산 비용이 많이 듭니다.
3. 정적 대 동적: 현재 탐지 기술은 종종 전개되는 추론 궤적의 역동성이 아닌 정적 사실 진술을 분석합니다.

본 논문은 신뢰할 수 있는 배포를 위한 전제 조건으로, 단일 순전파 내에서 추론이 무너지는 정확한 순간 (첫 번째 오류 국소화) 을 감지하는 것이 필수적이라고 주장합니다. 핵심 과제는 외부 검증자, 샘플링, 또는 추론 시 레이블에 의존하지 않고 추론 체인이 일관된 경로에서 벗어나는 지점을 식별하는 것입니다.

2. 방법론: GeoReason

저자들은 GeoReason을 제안합니다. 이는 단일 순전파에서의 숨겨진 표현 (hidden representation) 시퀀스를 표현 공간 내의 궤적으로 간주하는 프레임워크입니다. 환각은 시맨틱 오류가 아니라, 국소적으로 일관된 전이의 안정적 매니폴드 (manifold) 로부터의 운송 비용 (transport cost) 국소적 이탈로 프레임됩니다.

시스템은 두 가지 구성 요소로 이루어집니다: **레이블 조건부 교사 (Label-Conditioned Teacher)**와 배포 가능한 학생 (Deployable Student).

2.1. 교사 (진단적 상한선)

교사는 숨겨진 상태에 기하학적 신호의 존재를 정량화하는 데 사용되는 배포 불가능한 모델입니다. 작동 방식은 다음과 같습니다:

• 추적 정규화: 레이블이 지정된 추적에 대해, 교사는 "올바른 접두사"(첫 번째 오류 이전 단계) 를 중심으로 로컬 좌표계를 계산합니다. 그런 다음 숨겨진 상태를 이러한 올바른 단계들의 평균과 분산에 대해 정규화합니다.
• 대조적 PCA(cPCA) 렌즈: 교사는 대조적 PCA 를 사용하여 투영 행렬 $U$를 학습합니다. 이 렌즈는 올바른 추론에 내재된 고분산 방향을 억제하면서 올바른 전이 ($P_0$) 와 첫 번째 오류 전이 ($P_1$) 분포 간의 분리를 최대화하도록 최적화됩니다.
  • 목적 함수는 운송 분리를 최대화합니다: $\Gamma(U) = \text{Tr}(U^\top M U)$, 여기서 $M = (\mu_1 - \mu_0)(\mu_1 - \mu_0)^\top + C_1 - \alpha C_0$입니다.
• 기하학적 특징 추출: 투영된 공간에서 교사는 각 단계에 대한 특징 블록을 추출합니다. 여기에는 다음이 포함됩니다:
  • 위치: 올바른 매니폴드로부터의 거리.
  • 운동: 속도 ($\|\Delta z_t\|$) 와 가속도 ($\|\Delta^2 z_t\|$).
  • 방향적 지속성: 연속된 전이 벡터 간의 코사인 유사도.
• 점수 매기기: 경량 MLP 가 이러한 기하학적 특징을 단계별 환각 확률로 매핑합니다.

2.2. 학생 (배포 가능한 감지기)

학생은 추론 시 레이블, 샘플링, 또는 외부 검증자 없이 작동하도록 설계된 배포 가능한 BiLSTM 모델입니다.

• 아키텍처: 원시 숨겨진 상태를 입력으로 받아 단계별 확률을 출력합니다.
• 증류 (Distillation) 를 통한 학습: 학생은 다음 혼합물을 사용하여 교사의 불안정성 신호를 재현하도록 학습됩니다:
  1. 지도 학습 손실: 단계 레이블에 대한 표준 이진 교차 엔트로피.
  2. 지식 증류: 학생과 교사의 확률 분포 (소프트 타겟) 간의 Kullback-Leibler (KL) 발산.
  3. 특징 증류: 보조 헤드가 학생이 교사의 기하학적 특징 표현과 일치하도록 강제합니다.
• 추론: 학생은 단일 순전파를 수행합니다. 예측된 첫 번째 오류는 확률이 임계값 $\theta$를 초과하는 첫 번째 단계입니다.

3. 이론적 기여

본 논문은 세 가지 주요 이론적 보장을 제공합니다:

1. cPCA 의 최적성 (정리 3.1): 제곱 2-워터스테인 거리 목적 함수 하에서 첫 번째 오류 상태와 올바른 상태 간의 운송 분리를 최대화하는 데 대조적 PCA 가 최적의 투영임을 증명합니다.
2. 국소화 한계 (정리 3.2): 첫 번째 오류가 이전 올바른 전이보다 양의 "운송 마진"을 생성한다면 단일 패스 첫 번째 오류 국소화가 보장됨을 확립합니다. 오류가 영원히 비정상일 필요는 없습니다. 감지는 단지 첫 번째 잘못된 단계가 감지 가능한 이탈을 생성하기만 하면 됩니다.
3. 증류 조건 (명제 3.3): 교사와 학생 간의 일치를 마진 보존 조건으로 축소합니다. 학생이 분포 변화 하에서 교사의 결정 마진을 보존한다면 첫 번째 오류 인덱스는 동일합니다.

4. 실험 결과

이 방법은 ProcessBench, PRM800K, HaluEval, TruthfulQA에서 평가되었습니다.

4.1. 도메인 내 성능

• 단계별 감지: 두 모델 모두 엔트로피 기반, 탐지 기반, 어텐션 기반 베이스라인을 능가했습니다. 교사는 네 개 데이터셋 중 세 개에서 가장 높은 AUROC 를 달성했습니다 (예: TruthfulQA 에서 96.0). 학생은 PRM800K 에서 최고의 성능을 달성했습니다 (99.8 AUROC).
• 첫 번째 오류 국소화: 교사와 학생은 추론이 무너진 정확한 단계를 pinpoint 하는 데 베이스라인을 크게 능가했습니다. 예를 들어, 학생은 TruthfulQA 에서 96.8% 의 정확도를 달성했습니다.

4.2. 일반화 및 배포 장애물

• 교차 모델 전이: 교사는 서로 다른 모델 계열 (Qwen, Llama, Mistral) 에서 안정적인 성능을 보여주어, 특정 모델과 관계없이 숨겨진 공간에 기하학적 신호가 존재함을 확인시켰습니다.
• 학생 붕괴: 학생은 학습된 동일한 모델에서 테스트될 때는 잘 수행되었지만, 다른 모델 계열이나 데이터셋에서 평가될 때는 거의 무작위 성능 (AUROC 약 33–58%) 으로 붕괴되었습니다.
• 분석: 논문은 이 격차를 학생이 분포 변화 하에서 운송 마진을 보존하지 못했기 때문이라고 귀결합니다. 교사는 오류의 기하학에 내재된 기계적 불안정성 신호를 포착하는 반면, 학생은 모델 특유의 인코딩 기이함을 흡수하는 표현 신호를 학습하여, 근본적인 분포가 이동할 때 일반화하지 못합니다.

5. 중요성과 주장

본 논문은 단계별 환각 감지를 정적 시맨틱 검증이 아닌 궤적 역학의 문제로 재정의한다고 주장합니다.

• 기하학적 프레임: 환각을 일관된 추론의 안정적 매니폴드와 구별되는 숨겨진 상태 운송 비용 내의 "국소적 이탈"로 보는 새로운 관점을 제시합니다.
• 진단 대 배포 가능: 신호의 존재 (교사) 와 레이블 없이 이를 복원하는 능력 (학생) 을 분리함으로써, 저자들은 배포의 핵심 장애물을 식별합니다: 분포 변화 하에서 대조적 운송 마진을 보존하는 것.
• 이론적 엄밀성: 이 작업은 이러한 맥락에서 대조적 PCA 를 사용하는 최초의 이론적 정당성을 제공하며, 단일 패스 국소화가 수학적으로 보장되는 조건을 확립합니다.

저자들은 첫 번째 오류 감지를 위한 기하학적 신호가 강력하고 전이 가능하지만 (교사에 의해 입증됨), 현재 증류 방법은 신뢰할 수 있는 결정 경계를 위한 필수 마진을 보존하지 못하기 때문에 교차 도메인 배포에는 불충분하다고 결론지었습니다.