기술 요약: TUBE: 이산 확산 언어 모델을 위한 증거에 대한 접선 상한

문제 정의

로그 가능도 (Log-likelihood) 는 생성 모델의 분포 적합도를 평가하는 표준 지표입니다. 자기회귀 모델 (ARMs) 은 고정된 분해로 인해 정확한 로그 가능도 계산을 허용하는 반면, 이산 확산 모델 (특히 마스킹 확산 모델, MDMs) 과 임의 순서 자기회귀 모델 (AO-ARMs) 은 일반적으로 그렇지 않습니다. 이러한 모델들은 생성 순서 (또는 마스크 제거 궤적) 의 잠재 공간에 대한 평균을 통해 데이터 분포를 정의하므로, 주변 가능도 (marginal likelihood) 는 계산이 불가능합니다.

따라서 이러한 모델들의 평가는 증거 하한 (ELBO) 에 의존합니다. 그러나 ELBO 는 하한만 제공하므로, 이 하한과 실제 로그 가능도 사이의 간격 크기가 불명확합니다. 이러한 모호성은 ARMs 과 확산 기반 모델 간의 엄격한 비교를 방해합니다. 관찰된 성능 차이가 모델 아키텍처 때문인지, 아니면 단순히 ELBO 근사의 느슨함 때문인지 불분명하기 때문입니다. 기존 상한 추정기 (예: CUBO, TVO, IS-VG-B) 는 유한 샘플 몬테카를로 추정에 적용될 때 편향을 겪는 경우가 많아, 실제로 진정한 상한을 보장하지 못합니다.

방법론: 증거에 대한 접선 상한 (TUBE)

저자들은 이산 확산 및 임의 순서 자기회귀 모델에 대한 편향 없는 몬테카를로 추정기를 허용하는 로그 가능도에 대한 변분 상한인 **증거에 대한 접선 상한 (TUBE)**을 제안합니다.

이론적 기반

이 방법은 로그 함수의 오목성에 의존합니다. 점 $b$에서의 접선 근사를 사용하면 모든 $a, b > 0$에 대해 부등식 $\log a \leq \log b + \frac{a-b}{b}$가 성립합니다.
진짜 가능도 $p(x)$를 $a$로, 계산 가능한 대리 함수 $\psi(x)$를 $b$로 간주하면, 저자들은 다음과 같은 상한을 유도합니다:
$$\log p(x) \leq \text{TUBE}_\psi(x) := \log \psi(x) + \frac{p(x) - \psi(x)}{\psi(x)}$$
등호는 $\psi(x) = p(x)$일 때만 성립합니다.

편향 없는 추정

TUBE 의 중요한 기여는 가능도 항 $p(x)$에 대한 선형성입니다. $p(x) = \mathbb{E}_\pi[p(x|\pi)]$인 잠재 변수 모델의 경우, $p(x)$ 항이 TUBE 공식에서 선형적으로 나타납니다. 이를 통해 편향 없는 몬테카를로 추정기를 구성할 수 있습니다:
$$\widehat{\text{TUBE}}_{\psi, K}(x) = \log \psi(x) + \frac{\hat{p}_{\text{model}, K}(x) - \psi(x)}{\psi(x)}$$
여기서 $\hat{p}_{\text{model}, K}(x)$는 $p(x|\pi)$의 $K$개 샘플에 대한 표준 몬테카를로 평균입니다. 몬테카를로 평균에 비선형 함수 (예: $\log$) 를 적용하여 젠센의 부등식 편향을 유발하는 다른 상한 (예: CUBO) 과는 달리, TUBE 의 아핀 (affine) 구조는 기대값에서 상한의 방향을 보존합니다.

대리 함수 구성 ($\psi$)

상한의 엄밀함은 대리 함수 $\psi(x)$가 실제 $p(x)$에 얼마나 근접하는지에 달려 있습니다. 본 논문은 두 가지 전략을 제안합니다:

1. 정확한 가능도 대리 함수: 동일한 데이터로 훈련된 (또는 확산 모델의 합성 데이터로 미세 조정된) ARM 을 $\psi$로 사용합니다.
2. 자기 대리 함수 (Self-Surrogate): 여러 무작위 순서 $\pi$에 걸쳐 조건부 가능도 $p(x|\pi)$를 평균냅니다. 이는 모델 최적점에서 조건부 가능도가 전체 주변 가능도와 근접하다는 사실을 활용합니다.

양측 국소화

표준 ELBO(하한) 와 TUBE(상한) 를 결합함으로써, 이 방법은 실제 로그 가능도에 대한 양측 국소화를 제공합니다:
$$\text{ELBO}(x) \leq \log p(x) \leq \text{TUBE}_\psi(x)$$

주요 기여

1. 방법론적 혁신: 이산 확산 및 임의 순서 자기회귀 모델에 대한 편향 없고 상한을 보존하는 몬테카를로 추정기를 허용하는 최초의 변분 상한인 TUBE 도입.
2. 실증 분석: 사전 훈련된 블록 AO-ARM 과 블록 MDM 에 TUBE 를 적용하여 ARM 기준 모델에 대한 가능도를 엄격하게 평가.
3. 평가 모호성 해결: ELBO 간격의 불확실성을 넘어 실제 로그 가능도를 국소화할 수 있는 능력.

실험 결과

저자들은 OpenWebText (OWT) 와 LM1B 데이터셋에서 블록 크기 $L' \in \{4, 8, 16\}$을 가진 블록 모델 (BMs) 에 대해 이 방법을 평가했습니다.

• 엄밀함: TUBE 는 경쟁 추정기 (CUBO, TVO, IS-VG-B) 와 비교하여 퍼플렉시티 (PPL) 에 대해 일관되게 가장 엄격한 상한을 제공했습니다. 특히 CUBO 와 기타 편향 추정기는 때때로 예상된 상한 관계를 위반 (예: ELBO 보다 낮은 값 생성) 하는 반면, TUBE 는 상한을 유지했습니다.
• 가능도 간격: 실험은 명확한 실증적 가능도 간격을 드러냈습니다. 모든 블록 크기와 생성 체계 (변동 함수 평가 횟수, NFE) 에서 AO-ARM 과 MDM 의 실제 로그 가능도는 표준 ARM 기준 모델보다 엄격하게 낮음이 확인되었습니다.
  • 예를 들어, 블록 크기 $L'=4$인 OWT 에서 정확한 ARM 기준 모델은 17.54 의 PPL 을 달성한 반면, AO-ARM/MDM 모델은 더 높은 (더 나쁜) PPL 을 달성했습니다. NFE 가 증가함에 따라 간격은 좁아졌지만 양수 (positive) 로 남았습니다.
• 대리 함수 성능: 여러 순서에 걸쳐 평균을 내는 "자기 대리 함수"($\psi_M$) 가 TUBE 추정치와 실제 가능도 사이의 간격을 좁히는 데 가장 효과적인 구성으로 밝혀졌으며, 외부 ARM 대리 함수보다 우수한 성능을 보였습니다.

중요성과 주장

본 논문은 TUBE 가 이산 확산 모델링의 근본적인 평가 병목 현상을 해결한다고 주장합니다. 신뢰할 수 있는 상한을 제공함으로써, MDM 과 AO-ARM 의 무작위 순서 및 병렬 생성의 유연성에도 불구하고, 테스트된 모델과 데이터셋에 대해 ARMs 이 여전히 가능도 측면에서 우세함을 입증합니다.

저자들은 이 발견이 ELBO 만을 사용하는 평가에 내재된 불확실성을 제거하는 양측 국소화에서 도출되었기 때문에 강력하다고 강조합니다. 이 연구는 확산 모델이 추론 속도와 생성 품질 측면에서 이점을 제공하지만, 현재 로그 가능도로 측정된 분포 적합도 측면에서는 ARMs 에 뒤처지고 있음을 시사합니다. 논문은 신뢰할 수 있는 양측 추정이 편향된 상한의 모호성 없이 강화 학습을 위한 정책 비율 추정 및 과학적 생성 모델링과 같은 더 엄격한 하위 응용을 가능하게 한다고 결론지었습니다.