기술 요약: 동적 시스템 예측을 통한 LLM 환각의 저비용 블랙박스 탐지

문제 정의

대형 언어 모델 (LLM) 은 유창하지만 사실과 다른 내용을 자주 생성하는데, 이를 환각 (hallucination) 이라고 합니다. 이러한 문제는 의료, 법률, 금융과 같은 고위험 분야에서 LLM 을 배포하는 데 있어 중요한 장애물이 됩니다. 유한한 학습 데이터와 개방형 생성 간의 트레이드오프로 인해 환각은 이론적으로 피할 수 없으나, 현재 탐지 방법들은 다음과 같은 중대한 한계에 직면해 있습니다:

• 화이트박스/그레이박스 방법: 상용 폐쇄형 소스 모델을 API 를 통해 접근할 때 사용할 수 없는 내부 모델 상태 (은닉 상태, 어텐션 맵) 나 토큰 수준의 확률에 대한 접근이 필요합니다.
• 기존 블랙박스 방법: 일반적으로 계산 비용이 많이 드는 샘플링 기반 일관성 검사 (예: SelfCheckGPT) 나 외부 지식 검색에 의존합니다. 이러한 접근 방식은 높은 API 비용, 지연 시간, 그리고 리소스 오버헤드를 초래하여 실시간 단일 샘플 애플리케이션에는 비실용적입니다.

외부 근거나 여러 번의 샘플링 패스를 요구하지 않고 생성된 텍스트만으로 작동하는 자체 완결형 저비용 탐지 프레임워크에 대한 시급한 필요성이 있습니다.

방법론

저자들은 LLM 을 **블랙박스 동적 시스템 (DS)**으로 간주합니다. 토큰을 독립적인 단위로 분석하는 대신, 이 방법은 토큰 임베딩의 시간적 진화를 모델의 잠재 상태 공간 역학의 관측 가능한 실현으로 모델링합니다.

핵심 프레임워크

1. 동적 시스템 공식화:
   LLM 출력은 이산 시간 비선형 시스템으로 모델링됩니다:
   $$x_{k+1} = F(x_k), \quad y_k = H(x_k)$$
   여기서 $x_k$는 내부 상태를, $y_k$는 관측 가능한 토큰 임베딩을 나타냅니다. 저자들은 이러한 관측량의 역학을 선형화하여 과거 관측을 기반으로 미래 상태를 예측할 수 있도록 쿠퍼만 (Koopman) 연산자 이론을 활용합니다.

2. 1 단계: 데이터 기반 동적 시스템 추론 (오프라인 피팅):

   • 이 방법은 사실적 응답과 환각 응답을 모두 포함하는 소량의 레이블이 지정된 데이터를 활용합니다.
   • 토큰 임베딩은 확장 동적 모드 분해 (Extended DMD) 를 사용하여 고차원 공간으로 "리프트 (lift)"됩니다.
   • 두 가지 구별되는 선형 동적 모델이 추론됩니다:
     • $A_c$: 사실적 (정확한) 응답에 대한 전이 연산자.
     • $A_h$: 환각 응답에 대한 전이 연산자.
   • 가설은 사실적 응답과 환각 응답이 임베딩 공간 내에서 서로 다른 매니폴드 ($M_c$와 $M_h$) 상에서 진화하여 서로 다른 쿠퍼만 연산자 추정을 초래한다는 것입니다.

3. 2 단계: 차분 잔차 점수를 통한 분류 (추론):

   • 새로운 LLM 응답에 대해, 이 방법은 두 모델 ($A_c$ 및 $A_h$) 을 사용하여 토큰 임베딩 궤적에 대한 예측 오차 (잔차) 를 계산합니다.
   • 응답 수준에서 **차분 잔차 점수 ($\Delta E$)**가 계산됩니다:
     $$\Delta E = \sqrt{\sum \epsilon_{h,j}^2} - \sqrt{\sum \epsilon_{c,j}^2}$$
     여기서 $\epsilon$은 예측 오차를 나타냅니다.
   • 논리: 응답이 환각인 경우, 환각에 적합된 모델 ($A_h$) 이 사실적 모델 ($A_c$) 보다 궤적을 더 정확하게 예측해야 하므로 $\Delta E$는 음수가 됩니다. 반대로, 사실적 텍스트는 양수 $\Delta E$를 생성합니다.
   • 결정 임계값 $\eta$가 $\Delta E$에 적용되어 출력을 사실적 (0) 또는 환각 (1) 로 분류합니다.

4. 선인식 보정:
   다양한 사용자 요구 사항 (예: 사소한 오류에 대해 엄격함 vs 관대함) 을 수용하기 위해 저자들은 보정 메커니즘을 도입했습니다. 소량의 사용자 주석 달기 증례를 사용하여 임계값 $\eta$를 특정 민감도 선호도에 맞게 최적화함으로써, 탐지기가 개별 사용 사례에 적응할 수 있도록 합니다.

주요 기여

1. 새로운 동적 관점: 이 논문은 사실적 응답과 환각 응답이 상태 공간에서 서로 다른 매니폴드에서 진화하는 블랙박스 동적 시스템으로 LLM 출력을 간주한 최초의 연구입니다.
2. 계산 효율적인 단일 패스 탐지: 검색 기반 또는 다중 샘플 방법과 달리, 이 접근 방식은 토큰 확률, 외부 지식 베이스, 또는 여러 번의 순전파 없이 단일 샘플 패스로 환각을 식별합니다.
3. 최첨단 성능: 이 방법은 세 가지 다양한 벤치마크 (WikiBio, HaluEval, FELM) 에서 리소스 집약적인 베이스라인과 비교하여 경쟁력 있거나 우수한 성능을 달성합니다.
4. 사용자 중심 보정: 사용자 정의 엄격도 수준에 기반하여 분류 임계값을 조정하는 메커니즘을 도입하여 개인화된 탐지를 가능하게 합니다.

실험 결과

이 방법은 WikiBio(전기), HaluEval(요약), FELM(수학, 과학, 논리 추론) 세 가지 데이터셋에서 평가되었습니다.

• 성능:
  • HaluEval 요약 작업에서 Llama-3 임베딩 모델을 사용한 이 방법은 99.3% 정확도를 달성하여 제로샷 탐지기 및 기타 블랙박스 베이스라인을 크게 앞섰습니다.
  • WikiBio에서 이 방법은 (Llama-3 사용) 비사실적 문장을 탐지하는 데 AUC-PR 85.3을 달성하여 SelfCheckGPT(81.96) 를 능가했습니다.
  • FELM에서 Llama-3 변형은 68.4의 균형 잡힌 정확도를 달성하여 GPT-4 및 기타 강력한 베이스라인과 맞먹거나 능가했습니다.
• 시퀀스 길이: 성능은 더 긴 토큰 시퀀스와 함께 향상되는데, 이는 더 긴 궤적이 더 풍부한 의미 정보를 제공하기 때문입니다. 작은 임베딩 모델은 증가된 시퀀스 길이로부터 가장 큰 혜택을 받지만, Llama-3 와 같은 큰 모델은 짧은 시퀀스에서도 높은 성능을 유지합니다.
• 교차 임베딩 일반화: 이 연구는 놀라운 전이성을 관찰했습니다. 예를 들어 Qwen3 과 같은 하나의 임베딩 공간에 적합된 동적 모델이 Llama-3 와 같이 다른 공간에 임베딩된 응답을 평가하는 데 부분적으로 일반화될 수 있음을 발견했는데, 이는 서로 다른 임베딩 매니폴드 전반에 걸쳐 사실성의 보편적인 동적 서명이 있음을 시사합니다.
• 효율성: 이 접근 방식은 외부 검색이나 여러 번의 샘플링에 따른 지연 시간과 비용을 피하여 실시간 애플리케이션에 적합한 저오버헤드 솔루션을 제공합니다.

중요성과 주장

저자들은 이 작업이 기존 환각 탐지 방법에 대한 저비용, 확장 가능한 대안을 제공한다고 주장합니다. 동적 시스템의 렌즈를 통해 문제를 재정의함으로써, 그들은 토큰 임베딩의 시간적 진화가 본질적으로 사실적 내용과 환각 내용 사이의 구분을 인코딩한다는 것을 입증합니다.

이 논문은 그들의 방법이 다음과 같음을 강조합니다:

• 모델 내부에 대한 접근이 필요하지 않음 (진정한 블랙박스).
• 외부 지식 검색이 필요하지 않음.
• 여러 번의 샘플링 패스가 필요하지 않음.
• 감소된 리소스 오버헤드로 최첨단 결과를 달성함.

저자들은 한계를 인정하며, 이 방법이 환각을 탐지하지만 외부 사실적 수정을 제공하거나 (프롬프트 수정 등을 통한) 환각을 완화하는 전략을 제공하지는 않는다고 지적합니다. 그러나 그들은 이 작업을 중요한 분야에서 LLM 의 신뢰할 수 있는 배포에 필요한 자체 완결형 자율 탐지 프레임워크를 향한 기초적인 단계로 위치시킵니다.