Drifting Fields are not Conservative

1. 문제 정의 (Problem)

최근 등장한 드리프트 모델 (Drifting Models) 은 생성된 샘플을 데이터 분포 쪽으로 이동시키는 벡터 값 드리프트 필드 (Drift Field) 를 사용하여, 단일 순전파 (one-step inference) 로 고품질 샘플을 생성합니다. 기존 머신러닝의 훈련 방식이 스칼라 손실 함수 (Loss Function) 의 최적화를 기반으로 하는 것과 달리, 드리프트 모델은 '스톱 그레디언트 (stop-gradient)'를 사용하여 생성된 샘플의 이동 방향을 직접 학습합니다.

이 논문은 다음과 같은 근본적인 질문을 제기합니다:

• 드리프트 필드는 스칼라 손실 함수를 암묵적으로 최적화하는 것일까?
• 만약 그렇다면, 그 목적 함수 (Objective) 는 무엇이며, 드리프트 필드가 보존적 (Conservative) 인가?

핵심 문제:
일반적으로 드리프트 필드는 보존적이지 않습니다 (Non-conservative). 즉, 어떤 스칼라 포텐셜 함수 $L$의 기울기 ($\nabla L$) 로 표현할 수 없습니다. 이는 드리프트 필드가 스칼라 손실 함수를 최소화하는 과정으로 환원되지 않음을 의미하며, 수학적으로curl (회전) 이 0 이 아니라는 것을 뜻합니다. 기존 연구 (Deng et al., 2026) 는 이 비보존적 성질이 위치 의존적 정규화 (position-dependent normalization) 에 기인한다고 보았으나, 이것이 성능 향상에 필수적인지 여부는 불분명했습니다.

---

2. 방법론 (Methodology)

저자들은 드리프트 필드의 비보존적 성질의 원인을 규명하고, 이를 해결하기 위한 새로운 정규화 기법을 제안합니다.

가. 비보존성의 원인 규명

• 드리프트 필드는 데이터 샘플을 끌어당기는 항 ($V^+_p$) 과 생성된 샘플을 밀어내는 항 ($V^-_q$) 으로 구성됩니다.
• 이 필드는 커널 함수 $k$를 사용하여 정의되며, 분모에 위치 의존적 정규화 인자 $Z(x)$ (즉, 커널 밀도 추정, KDE) 가 포함됩니다.
• 저자들은 정규화 인자 $Z(x)$가 필드의 크기를 위치에 따라 다르게 조절함으로써 전단 (shear) 을 유발하고, 이로 인해 필드가 보존적이지 않게 된다고 증명합니다.
• 예외: 가우시안 커널 (Gaussian Kernel) 의 경우, 정규화가 필드의 방향을 바꾸지 않아 보존성을 유지합니다. 이 경우 드리프트 필드는 스칼라 포텐셜 (log-KDE) 의 기울기와 정확히 일치합니다.

나. 샤프 커널 (Sharp Kernel) 및 샤프 정규화 제안

모든 방사형 커널 (Radial Kernel) 에 대해 보존성을 복원하기 위해 **샤프 커널 (Sharp Kernel, $k^\#$)**을 도입합니다.

• 정의: $\nabla_x k^\#(x, y) = k(x, y)(y - x)$를 만족하는 커널입니다.
• 샤프 정규화: 기존 드리프트 필드의 분모를 $Z(x)$ 대신 $Z^\#(x) = \mathbb{E}[k^\#(x, y)]$로 대체합니다.
• 결과: 이 새로운 정규화를 적용하면 드리프트 필드는 스칼라 포텐셜의 기울기로 다시 표현 가능해집니다.
  • 새로운 포텐셜: $L_{log-KDE} = \mathbb{E}[\log \frac{q_{KDE}[k^\#]}{p_{KDE}[k^\#]}]$
  • 이는 Log-KDE 손실 함수로, 명확한 스칼라 목적 함수를 제공합니다.

다. 이론적 분석

• 가우시안 커널: $k^\# \propto k$이므로, 기존 드리프트 필드와 샤프 정규화 필드가 일치합니다.
• 라플라시안 및 기타 커널: $k^\# \neq k$이므로, 기존 필드와 샤프 필드는 다릅니다. 특히 샤프 필드는 데이터에서 멀리 떨어진 영역 (tails) 에서 필드의 크기가 무한히 증가하는 것을 방지하고 일정하게 유지하거나 천천히 감소하는 특성을 보입니다.

---

3. 주요 기여 (Key Contributions)

1. 드리프트 필드의 비보존성 증명: 위치 의존적 정규화가 드리프트 필드를 비보존적으로 만든다는 것을 수학적으로 증명했습니다. 이는 스칼라 손실 함수로 표현할 수 없음을 의미합니다.
2. 보존성 복원을 위한 샤프 정규화 제안: 샤프 커널을 이용한 새로운 정규화 기법을 제안하여, 어떤 방사형 커널이든 보존적인 드리프트 필드를 유도하고 명확한 스칼라 손실 함수 (Log-KDE Loss) 를 도출했습니다.
3. 실용적 통찰: 비보존적 성분이 생성 품질에 필수적이지 않음을 실험을 통해 입증했습니다. 즉, 복잡한 스톱 그레디언트와 비보존적 필드 없이도, 단순한 스칼라 손실 함수로 동등하거나 더 나은 성능을 달성할 수 있습니다.
4. 구현의 단순화: 명시적인 수송 필드 (Transport Field) $V$를 구성할 필요 없이, 자동 미분 (Automatic Differentiation) 을 지원하는 표준 손실 함수로 모델을 훈련할 수 있게 되었습니다.

---

4. 실험 결과 (Results)

저자들은 MNIST 와 Fashion-MNIST 데이터셋에서 트랜스포머 기반 생성 모델 (DiT) 을 훈련하여 제안된 방법론을 검증했습니다.

• 성능 비교:

  • 샤프 정규화 (Log-KDE Loss) vs 기존 드리프트 필드: 샤프 정규화를 사용한 모델 (예: Laplace#) 은 기존 드리프트 필드 (Drifting-Laplace) 와 유사하거나 더 나은 성능을 보였습니다.
  • Naive 구현의 우위: 기존 논문의 알고리즘이 실제로는 수식 (3) 과 다르게 구현되어 있었음을 발견했습니다. 이를 바로잡은 'Naive' 구현체 (정규화 인자 제거 또는 수정) 는 기존 알고리즘보다 훨씬 우수한 성능 (낮은 FID) 을 보였습니다.
  • 커널 비교: 가우시안 커널이 라플라시안 커널보다 전반적으로 더 좋은 성능을 보였으나, 라플라시안 커널에서도 샤프 정규화가 유효했습니다.

• 핵심 발견:

  • 비보존적 필드 (기존 드리프트 필드의 특징) 를 사용한다고 해서 생성 품질이 향상되지 않았습니다.
  • 오히려 **보존적인 스칼라 손실 함수 (Log-KDE Loss)**를 사용하는 것이 구현이 간단하고 성능도 경쟁력이 있었습니다.
  • 특히 라플라시안 커널의 경우, 기존 드리프트 필드는 데이터에서 멀어질수록 필드 크기가 무한히 커지는 문제가 있었으나, 샤프 정규화는 이를 완화하여 안정적인 훈련을 가능하게 했습니다.

---

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 드리프트 모델의 이론적 기반을 재정립하고 실용성을 높였습니다.

1. 이론적 명확성: 드리프트 모델이 단순히 "스칼라 손실 함수를 최적화하는 것"이 아니라는 오해를 불식시키고, 언제 그리고 어떻게 스칼라 손실 함수로 환원될 수 있는지를 명확히 했습니다.
2. 실용적 효율성: 복잡한 비보존적 벡터 필드를 직접 학습하고 적용할 필요 없이, **단순한 스칼라 손실 함수 (Log-KDE Loss)**를 사용하여 동등한 성능을 얻을 수 있음을 보였습니다. 이는 생성 모델의 훈련을 더 안정적이고 이해하기 쉽게 만듭니다.
3. 미래 전망: 제안된 Log-KDE 손실 함수는 대규모 데이터셋 (ImageNet 등) 으로 확장 가능하며, 비선형 링크 함수를 도입하여 꼬리 행동 (tail behavior) 을 제어하는 등의 이론적 확장이 가능함을 시사합니다.

결론적으로, 저자들은 **"드리프트 필드의 비보존적 성질은 생성 품질에 필수적이지 않으며, 보존적인 스칼라 손실 함수를 사용하는 것이 개념적으로 더 단순하고 실용적으로 더 유리하다"**고 주장합니다.