기술 요약: 연속 확산 모델은 형식 문법을 준수할 수 있다

문제 제기

확산 언어 모델은 양방향 문맥 또는 전역 수정이 필요한 작업 (예: 인필링, 장기 계획) 에 유리한 전역적 비인과적 생성 과정을 가능하게 함으로써, 자기회귀 모델에 대한 매력적인 대안을 제공한다. 그러나 중요한 한계가 여전히 존재한다: 이러한 모델의 연속 잠재 역학은 JSON 스키마나 특정 정규식 (regex) 과 같이 이산적 문법 제약을 부과하기 어렵게 만든다.

자기회귀 모델에서 문법적 유효성은 일반적으로 다음 토큰 선택을 필터링하여 최종 출력이 잘 형성되도록 보장하는 제약 디코딩을 통해 강제된다. 이 메커니즘은 명시적인 이산 접두사를 유지하는 데 의존한다. 반면, 연속 확산 모델은 각 시간 단계에서 전체 시퀀스의 연속 잠재 표현을 기반으로 작동하며 명시적인 이산 접두사가 없다. 따라서 제약 디코딩의 핵심 원리인 접두사의 완결 불가능성을 초래하는 다음 토큰 선택을 마스킹하는 작업은 직접적으로 적용되지 않는다. 기존 확산 모델의 적응 방식은 종종 특수한 이산 변형을 대상으로 하거나 분류기 가이드에 의존하는데, 이는 각 특정 제약에 대해 보조 모델을 학습해야 하므로 방대한 정규식 공간에 대해 자원 집약적이고 비실용적인 접근법이다.

방법론: DIFFINITY

저자들은 정규식으로 표현된 형식 문법 제약을 만족하도록 연속 확산 언어 모델을 유도하기 위한 학습 없는 가이드 방법인 DIFFINITY를 소개한다. 이 접근법은 분류기 가이드의 원리를 반영하지만, 훈련된 보조 분류기의 필요성을 분석적으로 계산된 점수로 대체한다.

핵심 메커니즘

이 방법은 확산 과정의 탈노이즈 단계를 수정함으로써 작동한다. 기본 모델이 예측한 분포에서 샘플링하는 대신, 문법적 유효성의 확률에서 유도된 기울기 항을 사용하여 샘플링 궤적을 이동시킨다.

1. 분석적 점수 계산:
   이 방법은 주어진 정규 언어 $L$에 의해 수용되는 유효한 문자열로 디코딩될 잠재 상태 $x_t$의 확률에 대한 분석적 추정을 구축한다.

   • 디코더 $Dec(x_t)$는 각 토큰 위치에서 어휘에 대한 유니그램 분포를 방출하는 것으로 간주된다.
   • 정규 언어 $L$은 결정적 유한 오토마타 (DFA) 로 표현된다.
   • 문자 단위 정규식 정의와 토큰 단위 모델 어휘 간의 불일치를 처리하기 위해, 저자들은 어휘 정렬 오토마타 구성을 도입한다. 이는 DFA 를 모델의 토크나이저와 정렬하여 문자열의 모든 유효한 토큰화를 고려하도록 보장한다.
   • 동적 프로그래밍을 사용하여, 이 방법은 현재 유니그램 분포에 기반한 가중치 전이 행렬 ($M_1, \dots, M_l$) 을 계산한다. 초기 상태 분포를 이러한 행렬을 통해 전파하고 수용 상태에 도달할 확률을 합산함으로써 기대 확률 $E_{s \sim Dec(x_t)}[s \in L]$을 계산한다.

2. 가이드 샘플링:
   탈노이즈 단계는 다음과 같이 수정된다:
   $$x_{t-1} = \mu_\theta(x_t, t) + \gamma \sigma_t^2 \nabla_{x_t} \log E_{s \sim Dec(x_t)}[s \in L] + \sigma_t \epsilon$$
   여기서 $\mu_\theta(x_t, t)$는 기본 모델의 예측이며, 기울기 항 $\nabla_{x_t} \log E_{s \sim Dec(x_t)}[s \in L]$은 조종력으로 작용한다. 이 기울기는 문법적으로 유효한 문자열로 디코딩되는 연속 공간의 영역을 향해 잠재 궤적을 밀어낸다. 하이퍼파라미터 $\gamma$는 이 제약의 강도를 제어한다.

3. 이론적 정당성:
   저자들은 이 접근법이 문법적 유효성에 조건부인 확산 샘플러를 근사화함을 보여준다. 학습된 대리 모델이 아닌 정확한 분석적 기대값을 사용함으로써, 이 방법은 별도의 분류기 학습의 불안정성이나 비용 없이 조건부 분포 $Pr(x_0 | L)$를 목표로 한다.

주요 기여

1. 학습 없는 가이드: 이 논문은 보조 분류기를 학습하지 않고도 연속 확산 모델을 이산 정규식 제약을 만족하도록 유도하는 방법을 제안한다. 가이드 점수는 제약 자체에서 분석적으로 계산된다.
2. 이론적 프레임워크: 저자들은 결과 샘플러가 문법적 유효성에 조건부인 기본 모델을 목표로 함을 보여주는 형식적 정당성을 제공하며, 이 접근법을 표준 점수 기반 조건부 생성 이론과 연결한다.
3. 구현 및 평가: 이 방법은 PLAID 확산 모델 위에 DIFFINITY로 구현되었다. JSON 스키마 및 자연어 패턴을 포함하는 180 개의 정규식 제약에 대해 평가되었다.

결과

평가에서는 DIFFINITY 를 자기회귀 제약 디코딩 (Guidance 라이브러리를 사용한 GPT-2 변형) 과 제약 디코딩이 적용된 이산 확산 모델 (LLaDA + DINGO) 과 비교한다.

• 제약 충족: DIFFINITY 는 벤치마크 전반에 걸쳐 **68% 에서 96%**까지의 높은 제약 충족률을 달성한다.
  • JSON 스키마 벤치마크에서 **68.4%**의 충족률 (약 77% 인 GPT-2 Large 와 비교되나 패딩 제약이 다름) 과 **91.4%**의 Pass@10 을 달성한다.
  • 자연어 벤치마크에서 평균 충족률 **92.9%**를 달성하여 GPT-2 Large(20.5%) 를 크게 능가하고 LLaDA+DINGO(약 100%) 와 유사한 수준을 보인다.
• 품질 및 퍼플렉시티:
  • 종종 낮은 확률 영역에 머무르는 "무한 반복 함정"으로 고통받으며 모델 분포를 왜곡하는 자기회귀 제약 디코딩과 달리, DIFFINITY 는 높은 텍스트 품질을 유지한다.
  • DIFFINITY 는 제약 없는 샘플링에 비해 퍼플렉시티 비용이 작다. 자연어 벤치마크에서 DIFFINITY 의 퍼플렉시티 (60.0) 는 제약 없는 기본 모델 (61.6) 과 유사한 반면, 제약이 적용된 자기회귀 모델은 종종 더 높은 퍼플렉시티나 낮은 유창성을 보인다.
  • 유창성 측면에서 DIFFINITY(35.8) 는 GPT-2 Small 및 Medium 을 능가하며 GPT-2 Large 와 비교 가능하다.
• 분류기 가이드와의 비교: 표준 분류기 가이드 (노이즈 잠재에 훈련됨) 는 성능이 저조하여 JSON 벤치마크에서 0% 의 충족률과 자연어 작업에서 매우 낮은 충족률을 보였으며, 이는 보조 분류기를 통한 이산 제약 학습의 어려움을 강조한다.
• 계산 오버헤드: DIFFINITY 는 주로 정렬된 오토마타 전이에 대한 밀집 합계 계산으로 인해 무조건부 생성보다 약 2~3 배의 지연 시간을 초래한다. 메모리 사용량은 정렬된 오토마타의 전이 및 상태 수에 비례하여 증가한다.

중요성 및 주장

이 논문은 훈련이 필요 없거나 자기회귀 모델의 제약 디코딩과 종종 관련된 분포 왜곡 없이도 연속 확산 모델을 효과적으로 유도하여 형식 문법을 준수하게 할 수 있다고 주장한다.

• 견고성: DIFFINITY 는 특히 유한 토큰 예산 하에서 자기회귀 모델이 유효한 시퀀스를 완료하지 못할 수 있는 상황에서 자기회귀 제약 디코딩보다 더 신뢰할 수 있음이 입증되었다.
• 분포 보존: 이 방법은 기본 모델의 근본적인 확률 분포를 보존하면서 제약을 성공적으로 강제하여, 다른 제약 생성 방법에서 출력 품질을 저하시키는 "임의적" 휴리스틱을 피한다.
• 일반화 가능성: 현재는 정규 제약으로 제한되지만, 이 프레임워크는 연속 확산 모델을 유도하기 위한 원칙적이고 학습 없는 메커니즘을 제공하며, 분류기의 자원 집약적 훈련이나 이산 확산 제약 디코딩의 구조적 한계에 대한 실효성 있는 대안을 제공한다.

저자들은 현재 계산 오버헤드가 만만치 않음에도 불구하고, 높은 충실도로 문법적으로 유효한 구조화된 출력을 생성할 수 있는 능력은 확산 모델에서의 구조적 생성에 대한 유망한 방향을 시사한다고 결론지었다. 향후 연구는 지연 시간을 줄이기 위해 메모리 효율적인 데이터 구조 및 커널 최적화에 초점을 맞출 것으로 제안된다.