기술 요약: FLaG – 환각 탐지를 위한 미세 조정된 잠재 그룹화 (Fine-Grained Latent Grouping)

1. 문제 정의

대규모 언어 모델(LLM)은 유창하지만 사실과 다른 출력인 환각(hallucination)을 빈번하게 생성한다. 본 연구에서 다루는 핵심 과제는 환각이 단일하고 동질적인 실패 모드에서 기인하는 것이 아니라는 점이다. 대신, 환각은 표현 수준의 신호, 토큰 수준의 확률 궤적, 그리고 생성 역학에서 나타나는 다양한 메커니즘을 통해 이질적인 패턴으로 발현된다.

기존의 탐지 방법들은 흔ert히 단일한 전역 불확실성 점수나 통합된 증거 뷰를 기반으로 학습된 단일 분류기에 의존한다. 저자들은 이러한 접근 방식이 환각에 대한 동질적인 개념을 암묵적으로 가정하며, 이로 인해 데이터셋 변화나 다양한 생성 체제(generation regimes)에 직면했을 때 성능이 취약해진다고 주장한다. 본 논문은 환각을 단순한 분류 문제가 아니라, 잠재적 메커니즘 불확실성 하에서의 증거 집계 문제로 취급해야 신뢰할 수 있는 탐지가 가능하다고 상정한다. 목표는 결정 임계값 및 평가 지표에 불변하면서도 이질적인 증거 소스들을 집계하는 신뢰도 점수를 학습하는 것이다.

2. 방법론: FLaG 프레임워크

제안된 FLaG(Fine-Grained Latent Grouping) 프레임워크는 기본 LLM의 수정 없이 작동하는 경량화된 고정 모델 헤드(frozen-model head)이다. 이는 세 가지 주요 단계를 통해 작동한다.

2.1 다중 뷰 증거 표현 (Multi-View Evidence Representation)

FLaG는 프롬프트 $q$와 생성된 출력 $a$에 대해 두 가지 구별된 소스로부터 상호 보완적인 증거를 추출한다.

1. 잠재 기하학 신호 ($\psi(x)$): 연결된 시퀀스 $q \oplus a$가 고정된 LLM에 다시 입력된다. 프레임워크는 프롬프트의 평균 풀링된 은닉 상태($\bar{h}_q$), 출력의 평균 풀링된 은닉 상태($\bar{h}_a$), 잔차 드리프트($\bar{h}_a - \bar{h}_q$), 그리고 마지막 토큰의 은닉 상태($h_{end}$)를 계산한다. 이는 의미적 드리프트(semantic drift)와 절대적 좌표 정보를 포착한다.
2. 확률 궤적 신호 ($\phi(x)$): 토큰 수준의 로그 확률로부터 평균, 최솟값, 표준 편차, 예측 엔트로피, 로짓 마진(logit margin), 그리고 저확률 이상치를 카운트하는 꼬리 빈도 함수(tail-frequency functional)를 포함하는 일련의 궤적 함수들을 추출한다.

이 두 가지 증거 유형은 공유된 잠재 공간으로 투영된 후 MLP를 통해 융합되어 통합된 표현 $r(x)$를 형성한다.

2.2 그룹 인식 증거 추론 (Group-Aware Evidential Reasoning)

$r(x)$를 직접 점수로 매핑하는 대신, FLaG는 각각 특정 환각 메커니즘을 나타내는 $K$개의 잠재 증거 그룹을 도입한다.

• 프로토타입 기반 할당: 각 그룹 $g$는 학습 가능한 프로토타입 벡터 $c_g$에 의해 정의된다. 에너지 기반 라우팅 메커니즘은 증거 $r(x)$와 프로토타입 $c_g$ 사이의 호환성 $\alpha_g(x)$를 계산한다.
• 소프트 라우팅 (Soft Routing): 라우팅 분포 $\pi_g(x)$는 온도 파라미터 $\tau$를 가진 볼츠만 형태(Boltzmann form)를 사용하여 계산되며, 이를 통해 인스턴스가 여러 그룹에 부드럽게 연관될 수 있도록 한다. 이 분포는 특정 잠재 메커니즘에 속하는 인스턴스의 근사 사후 확률 역할을 한다.
• 그룹 조건부 점수화: 각 그룹 $g$에는 연관된 선형 점수 함수 $s_g(x) = w_g^T r(x) + b_g$가 존재한다. 서로 다른 그룹은 서로 다른 실패 모드를 반영하도록 증거의 서로 다른 차원을 강조하도록 학습된다.

2.3 로그-마진 증거 집계 (Log-Marginal Evidence Aggregation)

최종 진실성 점수 $s(x)$는 로그-마진 집계 규칙을 통해 그룹 조건부 신호를 집계하여 얻어진다.
$$s(x) = \log \sum_{g=1}^{K} \pi_g(x) e^{s_g(x)}$$
이 공식은 단일한 설명에 고착되지 않고 경쟁하는 잠재 메커니즘들을 효과적으로 주변화(marginalize)한다. 최종 이진 예측은 $s(x)$를 임계 처리함으로써 이루어진다 (예: $G(x) = \mathbb{I}[s(x) \geq 0]$).

2.4 학습 목적 함수 (Learning Objective)

프레임워크는 지도 학습, 약지도 학습 및 준지도 학습을 지원한다.

• 지도 학습 목적 함수: 마진 기반 랭킹 손실(margin-based ranking loss)은 레이블이 지정된 쌍 내에서 진실된 인스턴스가 환각된 인스턴스보다 높은 점수를 받도록 유도한다.
• 준지도 학습 목적 함수: 레이블이 없는 데이터에 대해, 모델은 각 그룹에 대해 신뢰도가 높은 인스턴스를 식별하고 해당 그룹 내에서 일관된 상대적 순서를 강제한다. 이는 명시적인 의사 레이블(pseudo-labels) 없이도 잠재 그룹 구조를 정교화한다.

3. 이론적 분석

본 논문은 FLaG를 최적 가설 검정(optimal hypothesis testing)과 연결하는 이론적 정당성을 제공한다.

• 베이즈 최적 통계량 (Bayes-Optimal Statistic): 데이터가 그룹 조건부 분포의 혼합(mixture)으로부터 생성되는 혼합-메커니즘 모델 하에서, 저자들은 진실성을 탐지하기 위한 베이즈 최적 로그 우도비(LLR)가 반드시 메커니즘 조건부 증거에 대한 로그-마진 형태를 취함을 증명한다.
• 근사 (Approximation): FLaG는 이 최적 통계량에 대한 다루기 쉽고 학습 가능한 근사치임이 입증되었다. 라우팅 분포 $\pi_g(x)$는 다루기 어려운 사후 확률을 근사하며, 그룹 점수 $s_g(x)$는 그룹별 로그 우도비를 근사한다.
• 오차 범위 (Error Bound): 저자들은 잠재 그룹의 수 $K$가 증가함에 따라 베이즈 최적 통계량에 대한 근사 오차가 다항식적으로($O(K^{-1/d})$) 감소함을 보여줌으로써 제어 가능한 오차 범위를 제공한다.

4. 실험 결과

실험은 두 가지 LLM 백본(LLaMA-3-8B-Instruct 및 Qwen2.5-7B-Instruct)을 사용하여 네 가지 벤치마크(TruthfulQA, TriviaQA, CoQA, TyDiQA-GP)에서 수행되었다.

• 성능: FLaG는 17개의 베이스라인(Semantic Entropy와 같은 훈련 프리 방법 및 SAPLMA, HaloScope과 같은 훈련 기반 프로브 포함)을 능가하는 SOTA 성능을 달 achieves. 완전 지도 학습 하에서, FLaG는 두 백본 모두에서 최상의 베이스라인 대비 AUROC를 각각 3.03% 및 3.60% 개선했다.
• 준지도 학습 견고성: 레이블이 있는 데이터가 20%만 있는 경우에도 FLaG는 대부분의 완전 지도 경쟁 모델들을 능가하며 제한된 감독 환경에서의 효과성을 입증했다.
• 전이 가능성 (Transferability): 모델은 강력한 교차 데이터셋 및 교차 모델 전이성을 보였다. 한 데이터셋이나 모델 백본에서 학습된 탐지기는 보지 못한 타겟에 적용되었을 때도 높은 AUROC 점수를 유지했으며, 이는 학습된 신호가 데이터셋 특유의 아티팩트가 아닌 본질적인 생성 실패를 포착하고 있음을 시사한다.
• 견고성: 성능은 다양한 인스턴스 복잡도(길이)와 샘플링 온도에서도 안정적으로 유지되었으며, 이는 노이즈와 다양한 생성 체제에 대한 회복력을 나타낸다.
• 해석 가능성: 잠재 그룹 분석 결과, 명시적인 카테고리 감독 없이도 환각을 의미론적으로 일관된 범주(예: 사실 조작, 논리적 모순, 엔티티 불일치)로 자연스럽게 분할함을 확인했다.

5. 주요 기여

1. 정식화: 본 논문은 환각 탐지를 이질적인 잠재 실패 모드를 고려하는 메커니즘 인식 증거 집계 문제로 재정의하여, 표현 수준과 토큰 수준의 신호를 통합하였다.
2. 프레임워크 (FLaG): 잠재 그룹으로의 소프트 라우팅을 활용하고 임계값에 민감하지 않은 랭킹을 달성하기 위해 원리적인 로그-마진 집계를 사용하는 경량화된 고정 모델 탐지 헤드를 제안한다.
3. 이론 및 학습: 제어 가능한 오차 범위를 갖는 베이즈 최적 로그-마진 통계량과의 이론적 연결을 제공하며, 준지도 학습 환경으로 자연스럽게 확장되는 랭킹 기반 목적 함수를 도입한다.

6. 의의 및 한계점

의의: FLaG의 우수한 성능은 환각 메커니즘의 이질성을 명시적으로 모델링하는 데서 온다는 것이 본 연구의 핵심이다. 증거를 단일 분류기로 붕괴시키는 대신 여러 잠재적 설명에 대해 주변화함으로써, 프레임워크는 데이터셋, 모델 및 감독 수준 전반에 걸쳐 견고성을 달성한다.

한한계점:

• 블랙박스 제약: FLaG는 내부 생성 텔레메트리(은닉 상태 및 토큰 수준 통계)에 의존한다. 따라서 최종 텍스트 출력만을 관찰할 수 있는 엄격한 블랙박스 설정에는 적용할 수 없다.
• 이론적 범위: 베이즈 최적 집계에 대한 이론적 연결은 혼합-메커니즘 관점 하에서 확립되었다. 저자들은 더 강력한 분포 변화나 증거 뷰 간의 더 구조화된 의존성이 있는 설정으로 이 분석을 확장하는 것이 향리 과제로 남아있다고 언급했다.