기술 요약: 확률적 회로를 통한 이상치로서의 환각

문제 제기

대형 언어 모델 (LLM) 은 사실과 다른 내용을 유창하게 생성하는 환각 현상에 시달립니다. 기존 탐지 방법 (불확실성 모니터링) 과 수정 방법 (표현 공학) 은 각각 유망한 성과를 보이지만, 이들을 결합하면 탐지 - 수정 비대칭성이라는 근본적인 한계가 드러납니다. 현재 수정 기법들은 종종 모든 토큰에 무분별하게 조향 벡터 (steering vectors) 를 적용합니다. 이러한 잠재 상태의 연속적 편집은 모델의 사전 학습된 매니폴드에서 활성화 값을 이탈시켜 유창성을 저해하고, 원래는 정확한 생성물을 손상시킵니다. 본 논문은 게이트가 없는 수정이 사실적 생성물의 26% 에서 90% 사이를 손상시킬 수 있다고 주장하며, 사실적 생성물의 무결성을 보존하기 위해 탐지와 수정을 분리하는 프레임워크가 필요함을 역설합니다.

방법론

저자들은 PCNET을 통한 계산 가능한 이상치 탐지와 PC-LDCD를 통한 게이트형, 매니폴드 보존 수정을 위한 2 단계 프레임워크를 제안합니다.

1. PCNET: 계산 가능한 잠재 이상치 탐지

PCNET 은 LLM 의 잔류 스트림 (residual stream) 의 저차원 투영을 대상으로 밀도 추정기로 훈련된 확률적 회로 (Probabilistic Circuit, PC) 입니다.

• 아키텍처: LLM 의 최종 은닉 상태 ($h \in \mathbb{R}^{D_{LLM}}$) 는 멀티 레이어 퍼셉트론 (MLP) 병목 구조를 통해 컴팩트한 잠재 공간 ($z \in \mathbb{R}^{D_{PC}}$) 으로 투영됩니다. PCNET 은 이 공간에 대한 결합 확률 분포 $P(z)$를 모델링합니다.
• 구조: 이 회로는 입력, 합, 곱 노드로 구성된 방향성 비순환 그래프 (DAG) 입니다. 표준 PC 와 달리, 입력 노드는 LLM 표현의 복잡하고 두꺼운 꼬리 (heavy-tailed) 를 가진 기하학적 구조를 포착하기 위해 가우시안, 라플라스, 스튜던트 t 분포의 이질적 혼합을 활용합니다.
• 훈련: PCNET 과 투영 병목 구조는 사실적 상태에 대한 생성적 항 (부정 로그 가능도) 과 환각 상태를 저밀도 영역으로 밀어내는 대비적 마진 항으로 구성된 복합 목적 함수를 사용하여 공동 최적화됩니다. 기본 LLM 은 고정 (frozen) 된 상태로 유지됩니다.
• 추론: PCNET 은 샘플링이나 외부 검증기 없이 단일 순전파 (forward pass) 로 잠재 상태의 정확한 부정 로그 가능도 (NLL) 를 계산합니다. 높은 NLL 은 기하학적 이상치를 나타내며, 이는 "사실적 매니폴드"에서의 이탈을 신호합니다.

2. PC-LDCD: 매니폴드 보존 수정

PC-LDCD(확률적 회로 잠재 밀도 대비 디코딩) 는 PCNET 을 동적 게이트로 활용하여 필요할 때만 개입합니다.

• 동적 게이팅: 각 디코딩 단계에서 현재 상태의 NLL 이 계산됩니다. NLL 이 보정된 임계값 $\tau$를 초과하면 개입이 트리거됩니다. 상태가 사실적 (낮은 NLL) 으로 간주되면 표준 디코딩이 변경 없이 진행되어 기본 모델의 행동을 보존합니다.
• 이산적 룩어헤드 (Lookahead): 이상치가 탐지되면 시스템은 표준 디코딩을 일시 중단합니다. 이산 토큰 공간에서 $k$개 후보에 대한 룩어헤드 검색을 수행합니다. 최적의 토큰은 페널티가 부과된 로그 확률을 최대화하여 선택됩니다:
  $$\text{Score}_{LDCD}(c_i) = \log P_{LM}(c_i | x_{<t}) - \beta_t \cdot \text{SNLL}(f_\phi(h(c_i)_{t+1}))$$
  여기서 $\beta_t$는 이상치 점수에 기반한 동적 강도 매개변수이며, $\text{SNLL}$은 가상의 미래 상태에 대한 NLL 입니다. 이 접근법은 생성적 확신을 학습된 매니폴드의 정확한 로그 밀도와 대비하여, 궤적이 환각 영역으로 깊어지는 것을 방지하기 위한 경우에만 개입합니다.

주요 기여

1. 탐지 - 수정 비대칭성의 실증적 조사: 본 논문은 게이트가 없는 표현 공학이 사실적 생성물을 손상시킨다는 것을 체계적으로 입증하여, 게이트형 개입의 수학적 필요성을 확립합니다.
2. 계산 가능한 잠재 이상치 탐지 (PCNET): 저자들은 PCNET 을 도입하여, 대비적으로 훈련된 잠재 매니폴드에서의 정확한 밀도 추정이 샘플링이나 가중치 수정 없이 다양한 모델과 벤치마크에서 최첨단 AUROC 로 환각을 식별함을 입증했습니다.
3. 매니폴드 보존 수정 (PC-LDCD): 제안된 밀도 게이트 디코딩 전략은 평가된 방법 중 가장 낮은 손상률과 가장 높은 보존률을 달성하여, 환각을 수정하는 동시에 올바른 생성물은 손상되지 않게 합니다.

실험 결과

본 프레임워크는 1B 에서 8B 파라미터에 이르는 네 가지 LLM 과 네 가지 벤치마크 (CoQA, SQuAD v2.0, TriviaQA, TruthfulQA) 에서 평가되었습니다.

• 탐지 성능: PCNET 은 CoQA, SQuAD v2.0, TriviaQA 에서 거의 완벽한 환각 탐지를 달성했으며, AUROC 점수가 최대 99% 에 달했습니다. 이는 토큰-NLL, 시맨틱 엔트로피 프로브 (SEP), HaloScope 와 같은 베이스라인을, 특히 지식 집약적 및 적대적 벤치마크에서 크게 능가했습니다.
• 수정 효과성:
  • 보존: PC-LDCD 는 사실적 생성물의 평균 손상률을 **53.7%**로 낮추고 **79.3%**의 보존률을 달성하여 게이트가 없는 베이스라인을 크게 능가했습니다.
  • 진실성: TruthfulQA 에서 PC-LDCD 는 네 가지 모델 중 세 가지에서 가장 높은 True+Info, MC2, MC3 점수를 기록했습니다. 특히 여러 진실된 완성에 대한 보정된 불확실성을 측정하는 MC2 와 MC3 를 유의미하게 개선하여, 단순히 단일 답변의 확신을 이동시키는 것이 아니라 더 견고한 진실성 분포를 생성함을 시사합니다.
  • 표준 QA: 표준 QA 벤치마크에서 PC-LDCD 는 경쟁력을 유지하며 최상위 베이스라인과 맞먹거나 근접한 성과를 보였습니다 (예: Mistral-7B 에서 SQuAD EM 0.87 달성).
• 효율성: 이 방법은 외부 검색이나 가중치 업데이트가 필요하지 않습니다. 제거 분석 (ablation studies) 에 따르면, 100 개의 훈련 샘플과 128 차원의 투영 차원으로도 근사 최적의 탐지 성능을 달성할 수 있음이 확인되었습니다.

의의 및 주장

본 논문은 환각을 사실적 매니폴드 위의 기하학적 이상치로 규정하고, 확률적 회로를 이용한 정확한 밀도 추정을 활용함으로써 탐지와 수정 간의 긴장을 해소할 수 있다고 주장합니다. 주요 의의는 게이팅 메커니즘에 있습니다: 잠재 기하학이 이탈할 때만 수정을 이산 토큰 공간으로만 라우팅함으로써, 무분별한 연속적 편집으로 인한 "시맨틱 붕괴"를 피합니다.

저자들은 이 작업을 고위험 분야에서의 신뢰할 수 있는 LLM 배포를 향한 한 걸음으로 위치시키며, 토큰 확률의 과도한 확신이나 다중 패스 샘플링의 계산 오버헤드에 의존하지 않는 원칙적인 단일 패스 불확실성 신호를 제시합니다. 그들은 레이블이 지정된 상태의 작은 보정 세트가 필요하다는 점과 현재 평가 범위가 최대 8B 파라미터 모델로 제한되어 더 큰 모델에서의 기하학적 분리 여부는 미해결 과제로 남아있다는 한계를 인정합니다.