기술 요약: 이산 확산에서 주파수보다 먼저 학습되는 지지집합

문제 제기

이산 확산 언어 모델 (DLM) 은 자동회귀 모델에 대한 경쟁력 있는 대안으로 등장하여, 병렬 추론과 생성 제어 가능성 측면에서 잠재적 이점을 제공합니다. 그러나 이러한 모델의 내부 학습 역학은 여전히 잘 이해되지 않고 있습니다. 구체적으로, 이산 확산의 탈잡음 목표가 데이터 분포의 학습을 어떻게 조직화하는지는 명확하지 않습니다. 표준 학습 목표는 전체 데이터 분포 $p_{data}$를 대상으로 하지만, 본 논문은 역방향 탈잡음 과정에서 회복되는 정보의 구조적 위계를 조사합니다. 핵심 질문은 DLM 이 데이터의 지지집합 (허용 가능한 시퀀스의 집합, 예: 문법적으로 유효한 문장) 과 그 지지집합 내의 주파수 (유효 시퀀스의 상대적 확률) 를 동시에 학습하는지, 아니면 어느 것이 먼저 학습되는지 여부입니다.

방법론

저자들은 확산 과정의 최종 탈잡음 단계에 해당하는 정확한 역방향 커널의 **작은 잡음 전개 (small-noise expansion)**에 기반한 이론적 분석을 수행합니다. 이 영역이 선택된 이유는 역방향 커널이 표준 학습 목표가 추구하는 집단 대상 (population object) 이기 때문입니다.

이론적 프레임워크

1. 작은 잡음 전개: 저자들은 잡음 수준 $\sigma \to 0$의 극한에서 단일 토큰 편집에 대한 역방향 전이 확률을 분석합니다. 역방향 편집 확률이 두 가지 명확한 구성 요소로 분해됨을 유도합니다:

   • 데이터 지지집합 $D = \text{supp}(p_{data})$까지의 해밍 거리 변화에 의해 결정되는 스케일 구성 요소 (주요 차수).
   • 지지집합 내 데이터의 상대적 주파수에 의해 결정되는 계수 구성 요소 (세부 차수).

2. 오염 메커니즘: 분석은 DLM 에서 사용되는 두 가지 주요 오염 메커니즘을 구분합니다:

   • 균일 확산 (Uniform Diffusion): 편집은 문자열을 지지집합 쪽으로 이동시키거나, 거리를 유지하거나, 멀어지게 할 수 있습니다. 전개는 $\sigma^{-1}$(지지집합 개선), $1$(지지집합 유지),$\sigma$(지지집합 악화) 의 삼분법적 스케일을 드러냅니다.
   • 흡수형 (마스크) 확산 (Absorbing Diffusion): 편집은 마스크된 토큰을 깨끗한 토큰으로만 대체합니다. 마스크 토큰은 지지집합에 포함되지 않으므로, 이동은 지지집합까지의 거리를 증가시킬 수 없습니다. 전개는 더 날카로운 분리를 보여줍니다: 오직 지지집합 개선 이동만이 주요 차수 ($\sigma^{-1}$) 에서 생존하며, 개선되지 않는 이동은 작은 잡음 극한에서 소멸합니다.

3. 대략적 정확도 함의: 저자들은 (부록 2.1) 지지집합 개선 방향을 회복하는 데는 대략적인 곱셈적 정확도(올바른 크기 순서를 유지하는 것, $O(\sigma^{-1})$) 만 필요함을 증명합니다. 반면, 세밀한 주파수를 회복하려면 고정된 차수 내의 계수를 정확하게 추정해야 합니다. 이는 모델이 확률 추정치가 총변동 거리 (Total Variation) 나 KL 발산과 같은 가법적 지표에서 실제 분포와 크게 다르더라도 유효한 시퀀스를 올바르게 식별할 수 있음을 의미합니다.

실험적 검증

이론적 예측은 합성 데이터와 실제 데이터를 모두 사용하여 테스트됩니다:

• 합성 실험: 진정한 지지집합과 주파수가 알려진 정규 언어 (제어된 바이그램과 유사한 모델) 가 사용됩니다. 프로브는 유효 토큰과 무효 토큰을 구분하는 모델의 능력 (지지집합 국소화) 과 주파수에 따라 유효 토큰을 순위 매기는 능력 (주파수 순위 매기기) 을 측정합니다.
• 실제 데이터 실험: 마스크형 DLM 이 FineWeb 데이터셋으로 학습됩니다. 진정한 언어적 지지집합은 알 수 없으므로, 저자들은 홀드아웃 데이터를 사용하여 "경험적 후보"(특정 컨텍스트에서 관찰된 토큰) 대 "비후보"를 식별하는 간접 프로브를 구성합니다.
  • 지지집합 프로브: 경험적 후보를 비후보보다 높게 순위 매기는 정확도를 측정합니다.
  • 주파수 프로브: 후보들 간의 순위 매기기 정확도 (top-1 회복 및 쌍별 순위 매기기) 를 측정합니다.

주요 결과

1. 지지집합이 주파수보다 먼저 학습됨:

   • 합성 및 실제 데이터 실험 모두에서 지지집합 국소화 프로브는 주파수 순위 매기기 프로브보다 훈련 초기에 훨씬 일찍 정점 성능에 도달합니다.
   • FineWeb 에서 지지집합 프로브는 약 1 억 1,600 만 토큰에서 정점 이득의 90% 에 도달한 반면, top-1 주파수 및 쌍별 순위 매기기 프로브는 각각 2 억 3,400 만 토큰과 2 억 4,700 만 토큰에서 동일한 마일스톤에 도달했습니다. 이는 모델이 상대적 확률을 정제하기 전에 유효 시퀀스를 식별하는 방법을 학습하는 약 1 억 1,800 만~1 억 3,100 만 토큰의 시간적 간격이 있음을 나타냅니다.

2. 메커니즘 의존적 분리:

   • 흡수형 확산: 역방향 역학은 낮은 잡음에서 지지집합으로의 거의 완벽한 투영자로 작용합니다. 비투영 이동은 주요 차수에서 자연스럽게 억제됩니다. 결과적으로, 추론 시 개입 (임계값 설정) 은 지지집합 회복에 거의 추가적인 이점을 제공하지 않으며, 모델이 이미 무효 이동을 효과적으로 억제하기 때문입니다.
   • 균일 확산: 역방향 커널은 더 낮은 스케일의 비투영 구성 요소를 유지합니다. 지배적인 $\sigma^{-1}$ 스케일을 분리하기 위해 이론에 기반한 임계값 설정 절차를 적용하면, 실제 지지집합에 도달하는 생성 시퀀스의 비율이 크게 향상됩니다. 이는 균일 확산이 유효성에 관한 "잡음"을 유지하여 명시적으로 필터링해야 하는 반면, 흡수형 확산은 이를 본질적으로 억제함을 확인시켜 줍니다.

3. 일반화 대 암기:

   • 관찰된 지지집합 - 주파수 분리는 훈련 및 검증 손실 간의 격차가 여전히 작은 훈련 초기 단계에서 발생하며, 이는 암기의 산물이 아니라 일반화 현상임을 시사합니다.

중요성과 주장

본 논문은 연속적 스코어 매칭에서의 최근 관찰에 대한 이산적 유사체를 제공한다고 주장합니다. 즉, 기하학적 정보 (다양체 구조) 가 전체 밀도보다 먼저 회복된다는 것입니다. 그러나 잠재적 다양체를 가정하는 연속적 설정과 달리, 이 작업은 임의의 지지집합을 가진 해밍 그래프에서 작동합니다.

주요 중요성은 지지집합 - 주파수 선행 가설에 있습니다: DLM 은 먼저 허용 가능한 시퀀스가 어디 있는지 (지지집합 구조) 학습한 후, 그들 사이의 상대적 확률을 정제합니다. 이는 다음과 같은 함의를 가집니다:

• 학습 역학: 모델이 고품질 분포 보정을 달성하기 전에 문법적 또는 구조적으로 유효한 텍스트를 생성할 수 있는 이유를 설명합니다.
• 추론 전략: 명확한 스케일 분리는 추론 시 개입 (예: 임계값 설정) 이 유효성을 강제하기 위해 균일 확산에 특히 효과적일 수 있음을 시사하며, 반면 흡수형 확산은 구조적으로 지지집합 투영자에 더 가깝습니다.
• 훈련 이론: 이는 훈련 초기 단계에서 "크기 순서"가 정밀한 계수 보정보다 더 근본적인 학습 목표임을 시사합니다.

저자들은 자신의 분석이 작은 잡음 영역에서의 정확한 역방향 과정에 초점을 맞추고 있으며, 훈련된 모델이 이러한 항들을 회복하는 정도가 구체적인 아키텍처 및 최적화 선택에 달려 있음을 겸손하게 지적합니다. 그들은 한 오염 메커니즘을 다른 것보다 지지한다고 주장하지는 않지만, 각각의 고유한 구조적 편향을 강조합니다.