기술 요약: 커널 토큰 모순 (Kernel Token Contradiction, KTC)

문제 정의

대규모 언어 모델(LLM)은 종종 그럴듯해 보이지만 사실이 아닌 콘텐츠를 생성하는데, 이를 환각(hallucination)이라고 합니다. 불확incity 정량화(Uncertainty Quantification, UQ)는 모델의 신뢰도를 추정하여 이를 완화하고자 하지만, 기존의 클레임 수준 UQ(claim-level UQ) 방식은 세 가지 결정적인 한계에 직면해 있습니다:

1. 불충분한 정밀도: 최고 성능을 보이는 방법들도 저재현율(low-recall) 영역(예: 재현율 < 20%)에서 높은 정밀도를 달로 달성하지 못하는 경우가 많습니다. 이는 오탐(false positive)의 비용이 큰 프로덕션 시스템에서 매우 중요합니다.
2. 계산 비효效率성: 최신 기법들은 모순을 탐지하기 위해 자연어 추론(NLI) 모델(예: cross-encoder)에 의존합니다. 이러한 모델은 상당한 GPU 자원을 필요로 하며, LLM 생성 시간 자체를 초과할 수 있어 실시간 모니터링을 불가능하게 만듭니다.
3. 언어 편향: NLI 모델은 일반적으로 영어 코퍼스에 기반하여 학습되므로, 다른 언어에서는 성능이 저하됩니다.

방법론: 커널 토크 모순 (KTC)

KTC는 예측 불확실성(LLM의 분포로부터 추출)과 의미적 불확실성(토큰 간의 모순으로부터 추출)을 통합하여 클레임 수준의 불확실성을 계산하도록 설계된 경량화된 화이트박스(white-box) 접근 방식입니다. 이 방법은 네 가지 명확한 단계로 작동합니다:

1. 비모순 그래프 구축 (단계 A)

무거운 NLI 모델 대신, KTC는 후보 토큰들이 서로 모순되는지를 결정하기 위해 **위키피디아 이웃 통계(Wikipedia neighbor statistics)**에 기반한 휴리스틱을 사용합니다.

• 과정: 다음 토큰 예측(NTP) 단계에서의 후보 토큰 집합에 대해, 위키피디아 코퍼스 내에서 해당 토큰들의 이웃 토큰 빈도를 계산합니다.
• 논리: 모순되는 토큰들(예: 가격에서의 "699"와 "499")은 유사한 이웃 집합을 공유하는 경향이 있어 낮은 비모순 점수를 나타냅니다. 모순되지 않는 토큰들(예: "an"과 "the") 또는 관련 없는 토큰들은 서로 다른 이웃 집합을 가지며, 높은 점수를 산출합니다.
• 출력: 에지 가중치가 토큰 쌍 간의 비모순 정도를 나타내는 무방향, 가중치 그래프입니다.

2. 의미적 커널 구성 (단계 B)

비모순 그래프는 열 커널(Heat Kernel) 방식을 사용하여 양의 준정부호(Positive Semi-Definite, PSD) 의미적 커널($K$)로 변환됩니다.

• 그래프 라플라시안($L$)이 인접 행렬으로부터 계산됩니다.
• 열 커널은 $K(\tau) = \exp(-\tau \cdot L)$로 유도되며, 여기서 $\tau$는 확산 매개변수입니다.
• 이 커널은 의미적 불확실성을 포착합니다: 연결성이 높은 그래프(낮은 불확실성)는 하나의 지배적인 고윳값을 가진 커널을 생성하는 반면, 희소한 그래프(높은 불확실성)는 여러 개의 큰 고윳값을 생성합니다.

3. 조건부 분포 통합 (단계 C)

알레아토리 불확실성(aleatoric uncertainty, 무작위성)과 에피스테믹 불확실성(epistemic uncertainty, 지식의 결여)을 구분하기 위해, KTC는 의미적 커널을 LLM의 예측 커널($\Pi$)로 스케일링합니다.

• $\Pi$는 후보 토큰들의 조건부 확률을 포함하는 대각 행렬입니다.
• 결합 커널($M$)은 $M = \Pi^{1/2} K \Pi^{1/2}$로 계산됩니다.
• 의미: 이 스케일링은 게이팅 메커니즘 역할을 합니다. 높은 불확실성은 예측 분포가 불확실하고(높은 엔트로피) 동시에 의미 공간에 모순이 존재할 때(높은 의미적 엔트로피)만 등록됩니다. 모델이 예측에 확신이 있거나(낮은 예측 엔트로피) 토큰들이 의미적으로 일관적이면(낮은 의미적 엔트로피) 결과적인 점수는 낮게 유지됩니다.

4. 폰 노이만 엔트로피 계산 (단계 D)

최종 불확실성 점수는 정규화된 결합 커널 $M$의 **폰 노이만 엔트로피(Von Neumann Entropy, VNE)**입니다:
$$\text{KTC} = -\sum_{i=1}^{\delta} \lambda_i(M) \log \lambda_i(M)$$
여기서 $\lambda_i(M)$은 $M$의 고윳값입니다. 이 지표는 시스템의 양자적 불확실성을 정량화하며, 예측 및 의미적 불확실성을 효과적으로 통합합니다.

주요 기여

1. NLI-Free 휴리스틱: 무거운 NLI 모델을 대체하여 토큰 모순을 탐지하기 위한 위키피디아 기반의 이웃 빈도 휴리스틱을 도입했습니다. 이 설정은 위키피디아 페이지를 토큰화하는 과정(몇 분의 CPU 시간)만 필요하며 GPU 학습이 필요하지 않습니다.
2. KLE의 토큰 수준 적응: 생성 수준에서의 커널 언어 엔트로피(KLE) 원리를 토큰 수준으로 적응시켜, 미세한 클레임 수준 UQ를 가능하게 했습니다.
3. 예측 스케일링: 에피스테믹 불확실성을 토큰 수준에서 격리하는 데 핵심적인, 예측 분포에 의해 의미적 불확실성을 스케일링하는 새로운 방법을 제시했습니다.
4. 포괄적 평가: MUCH 및 Mu-Shroom 벤치마크에서 16개의 LLM(Llama 3, Mistral, Gemma 3 등 포함)과 4개의 유럽 언어(영어, 프랑스어, 독일어, 스페인어)에 걸쳐 종합적인 평가를 수행했습니다.

실험 결과

• 효율성: KTC는 LLM 추론 시간 대비 5.6%의 오버헤드만으로 최상위 성능을 달성합니다. 반면, GPU 가속 NLI 기반 방식(CCP, SAR)은 46%의 오버헤드(8.2배 더 높은 비율)를 발생시키며, CPU 전용 NLI 방식은 최대 369%의 오버헤드(65배 더 높은 비율)를 발생시킵니다. KTC는 전적으로 CPU에서 실행되며 오버헤드가 미미합니다.
• 고정밀 성능: 고정밀 영역(재현율 ≤ 20%)에서 KTC는 PR-AUC 0.78을 달성하여, 기존의 최첨단 방식인 CCP(0.69)를 유의미하게 앞질렀습니다.
• 전반적인 성능: 전체 ROC-AUC 측면에서는 CCP가 약간 더 높지만, KTC는 훨씬 우수한 계산 효율성을 제공하면서도 미미한 성능 차이로 2위를 기록했습니다.
• 일반화: KTC는 테스트된 모든 4개 언어에서 경쟁력 있는 성능을 유지하는 반면, (주로 영어로 학습된) NLI 기반 베이스라인들은 비영어권 맥락에서 더 큰 변동성과 낮은 성능을 보였습니다.

의의 및 주장

본 논문은 K-T-C가 저자의 지식 범위 내에서, 실시간 모니터링이 가능한 최초의 클레임 수준 UQ 방법이라고 주장합니다. GPU 가속 및 영어 중심의 NLI 모델에 대한 의존성을 제거함으로써, KTC는 높은 정확도와 계산적 타당성 사이의 균형을 맞춘 원칙적이고 경량화된 솔루션을 제공합니다. 저자들은 답변 전체를 거부하는 비용이 너무 큰 프로덕션 환경에서 환각을 완화하는 데 가장 적합한 '고정밀 영역'에서 KTC가 특히 효과적임을 강조합니다.

이 연구는 LLM의 신뢰성 모니터링을 확장 가능하게 만드는 단계로 제시되며, 현재는 화이트박스 접근(토큰 확률)이 필요하지만, CPU 전용 효율성 덕분에 기존의 많은 프로덕션 파이프라인에 즉시 배포 가능하다는 점을 언급하고 있습니다.