기술 요약: 대규모 언어 확산 모델의 불확실성 정량화

문제 제기

대규모 언어 확산 모델 (LLDMs) 은 준-자기회귀 디코딩과 병렬 토큰 생성을 통해 더 빠른 추론을 제공함으로써 자기회귀형 대규모 언어 모델 (LLMs) 에 대한 경쟁력 있는 대안으로 부상했습니다. 그러나 자기회귀형 모델과 마찬가지로 LLDM 은 환각 (hallucinations) 에 취약하므로, 안전한 배포를 위해 신뢰할 수 있는 불확실성 정량화 (UQ) 가 필요합니다.

기존의 UQ 방법들은 확산 패러다임과 근본적으로 부합하지 않습니다:

1. 분해 불일치: 표준 화이트박스 방법은 좌에서 우로의 자기회귀 분해 ($p(y_l | y_{<l}, x)$) 에 의존하는데, 이는 LLDM 에서 기본적으로 제공되지 않습니다.
2. 효율성 불일치: 블랙박스 방법은 일관성을 추정하기 위해 반복 샘플링에 의존합니다 (예: Semantic Entropy, CoCoA). LLDM 은 효율성을 위해 설계되었으므로, 반복 샘플링으로 인해 추론 비용이 배가되면 그 주요 이점이 무효화됩니다.

현재 LLDM 의 고유한 반복적 탈노이즈 과정을 활용하면서도 prohibitive 한 계산 오버헤드를 초래하지 않는 체계적인 UQ 프레임워크는 존재하지 않습니다.

방법론

저자들은 반복 샘플링의 필요성을 피하고 반복적 탈노이즈 궤적에서 직접 불확실성 신호를 도출하는 확산 인지형 (diffusion-aware) UQ 방법군인 D-CoCoA를 제안합니다. 이 접근법은 확산 특이적 신호의 세 가지 특정 범주를 통합합니다:

1. 확산 특이적 불확실성 신호

이 논문은 생성 과정에서 도출된 제로-샷 (zero-shot) 신호들을 소개합니다:

• 마스크드 확산 가능도 (Masked Diffusion Likelihood): 저자들은 마스크드 확산 목적 함수를 기반으로 음수 로그 가능도를 근사하기 위해 몬테카를로 추정기 (MCNLL) 를 활용하여, 원칙적인 가능도 대리 변수로 작용합니다.
• 궤적 통계량: 신호에는 탈노이즈 복잡도의 대리 변수인 함수 평가 횟수 (NFE), 리마스크링 행동 (토큰이 재마스크되는 빈도), 그리고 궤적 중에서의 토큰 예측 불안정성 (토큰 플립 빈도) 이 포함됩니다.
• 궤적 의미적 불안정성 (AD): 중간 탈노이즈 상태 ($\tilde{y}_t$) 와 최종 출력 ($y$) 간의 의미적 비유사성을 측정하는 새로운 신호입니다. 이는 수렴 전의 의미적 드리프트를 포착합니다.

2. 이론적 근거

이 논문은 불확실성 점수로서 궤적 비유사성을 사용하는 것에 대한 이론적 정당성을 제공합니다. **정리 1 (Theorem 1)**은 기대 궤적 비유사성 ($u_{AD}$) 이 마스크드 확산 학습 목적 함수 (손실) 의 하한임을 증명합니다. 결과적으로, 높은 $u_{AD}$ 값은 높은 기대 예측 오류를 나타내므로, 환각 위험의 대리 변수로 사용되도록 동기부여가 됩니다.

3. D-CoCoA 프레임워크

최첨단인 CoCoA 방법 (정보 기반 점수와 일관성 기반 점수를 결합) 을 기반으로 하여, 저자들은 이를 LLDM 에 맞게 적응시켰습니다:

• 정보 구성 요소: 확산 인지형 가능도 추정치 (예: MCNLL 또는 CommitNLL) 로 대체되었습니다.
• 일관성 구성 요소: 단일 탈노이즈 궤적의 중간 상태를 활용하여 여러 샘플링된 생성 대신 궤적 기반 의미적 비유사성 (AD) 으로 대체되었습니다.

두 가지 구체적인 구성이 제안되었습니다:

• D-CoCoA-L (Local): 토큰 커밋 시의 신뢰도인 CommitNLL과 블록 단위 궤적 비유사성을 결합합니다.
• D-CoCoA-G (Global): 정규화된 MCNLL과 전체 궤적 비유사성 및 NFE 복잡도 페널티를 결합합니다.

주요 기여

1. 최초의 체계적 연구: 이 작업은 LLDM 에 특화된 UQ 에 대한 최초의 포괄적인 조사를 제시합니다.
2. 새로운 신호: 궤적 의미적 불안정성, 리마스크링 역학, 그리고 탈노이즈 복잡성을 포함한 확산 특이적 불확실성 신호의 도입.
3. 이론적 증명: 기대 궤적 비유사성이 마스크드 확산 학습 목적 함수의 하한임을 형식적으로 증명.
4. D-CoCoA 방법: 비용이 많이 드는 샘플링을 단일 패스 궤적 분석으로 대체하여 확산 설정에 CoCoA 를 적응시키는 통합적이고 효율적인 UQ 방법.
5. 실증적 검증: LLaDA-1.5 와 Dream 두 가지 모델에 걸쳐 여덟 개의 데이터셋에서 수행된 대규모 연구를 통해 제안된 접근법의 유효성을 입증.

실험 결과

평가 질문 응답 (MMLU, TriviaQA, CoQA, GSM8k), 요약 (SamSum, XSum), 그리고 기계 번역 (WMT14, WMT19) 을 아우르는 여덟 개의 데이터셋에서 수행되었습니다. 성능은 예측 거부 비율 (PRR) 과 계산 오버헤드를 사용하여 측정되었습니다.

• 성능 대 효율성: D-CoCoA 방법은 우수한 성능 - 효율성 트레이드오프를 달성합니다. 가장 강력한 샘플링 기반 베이스라인 (예: CoCoA-MCNLL, KLE) 의 성능에 근접하면서도 100 배까지 낮은 계산 오버헤드를 incur 합니다.
• 베이스라인 비교:
  • 표준 자기회귀 UQ 방법 (예: MSP, Perplexity, SAR) 은 분해 불일치로 인해 LLDM 에 적용될 때 무작위보다 성능이 나쁘거나 겨우 더 나은 결과를 보였습니다.
  • 순수한 확산 특이적 신호 (예: NFE, Remask) 는 유용한 정보를 제공했으나 단독으로는 고품질 UQ 에 일반적으로 불충분했습니다.
  • 하이브리드 D-CoCoA 접근법은 표준 베이스라인과 독립적인 확산 신호 모두를 크게 능가했습니다.
• 애블레이션 연구: 결과들은 전체 생성 궤적과 MCNLL 가능도를 사용하는 것이 가장 일관된 성능을 제공함을 확인시켰습니다. 복잡도 페널티로서 NFE 를 포함하는 것은 글로벌 변형 (D-CoCoA-G) 을 더욱 개선했습니다.

중요성과 주장

이 논문은 LLDM 이 자기회귀형 UQ 방법이 요구하는 비용이 많이 드는 샘플링 절차 없이도 빠른 추론과 신뢰할 수 있는 환각 탐지를 동시에 제공할 수 있다고 주장합니다.

반복적 탈노이즈 과정의 고유한 특성, 특히 중간 상태의 궤적과 마스킹 역학을 활용함으로써, 저자들은 거의 추가적인 계산 비용 없이 효과적인 불확실성 추정이 가능함을 입증했습니다. 이 작업은 확산 기반 언어 모델의 배포에서 중요한 격차를 해소하여, 신뢰성이 최우선인 안전-중요 (safety-critical) 응용 분야에서의 사용을 가능하게 합니다. 저자들은 그들의 접근 방식이 작업별 레이블이나 반복 샘플링을 요구하지 않으므로, 등장하는 확산 언어 모델 클래스를 위한 실용적인 비지도 솔루션이라고 강조합니다.