기술 요약: 온폴리시 디퓨전 증류에서의 Classifier-Free Guidance 재고찰

문제 정의

온폴리시 증류(On-Policy Distillation, OPD)는 학생 모델이 생성한 궤적을 따라 교사 모델의 국소 속도(local velocity) 예측을 일치시키도록 디퓨전 모델을 적응시키는 기법이다. 현대적인 디퓨전 시스템은 생성 품질을 높이기 위해 Classifier-Free Guidance(CFG)를 보편적으로 사용하지만, CFG와 OPD 사이의 상호작용은 여전히 제대로 이해되지 않고 있다.

표준 CFG는 두 개의 별도 브랜치, 즉 타겟 프롬프트에 조건화된 양의 브랜치($v_+$)와 널(null) 또는 부정 프로프에 조건화된 음의 브랜치($v_-$)로부터 가이드된 속도 예측($v_{cfg}$)을 구성한다. 가이드된 속도는 $v_{cfg} = \gamma v_+ + (1-\gamma)v_-$로 정의되며, 여기서 $\gamma$는 가이던스 스케일이다.

기존의 OPD 방법들은 일반적으로 이 구성된 예측값에 대해 속도 매칭을 확장하여 $\|v_{cfg}^T - v_{cfg}^S\|_2^2$를 최소화한다. 저자들은 이 접근 방식에서 결정적인 결함인 **브랜치 수준의 미식별성(branch-level under-identification)**을 지적한다. 손실 함수가 두 브랜치의 선형 결합만을 제약하기 때문에, 양의 브랜치 오차($e_+$)와 음의 브랜치 오차($e_-$)가 서로를 상쇄할 수 있다. 구체적으로, $\gamma e_+ + (1-\gamma)e_- = 0$이라는 조건은 0이 아닌 무수히 많은 오차 쌍을 허용한다.

이러한 모호함은 **음의 브랜치 비대칭성(Negative Branch Asymmetry, NBA)**이라 불리는 실패 모드로 이어진다. 교사가 음의 브랜치에서 (참조 이미지나 조밀한 제어 신호와 같이) 학생이 갖지 못한 "특권 정보(privileged information)"를 보유하고 있는 시나리오에서, 단순한 구성 목적 함수는 적대적인 역학을 유도한다. 즉, 학습 과정에서 양의 브랜치 오차는 줄이는 동시에 음의 브랜치 오차는 증가시킨다. 이러한 보상 작용은 학습 가이던스 스케일에서는 낮은 손실을 나타낼 수 있지만, 서로 다른 추론 가이던스 스케일로 평가할 때 학생 모델이 크게 이탈하게 만드는데, 이는 학습된 오차 보상이 더 이상 유효하지 않기 때문이다.

방법론

브랜치 모호성을 해결하고 오차 보상을 방지하기 위해, 저자들은 브랜치 인지형 OPD 목적 함수인 **양의 방향 매칭(Positive–Direction Matching, PDM)**을 제안한다.

1. 양의 방향 매칭 (PDM)

구성된 가이드 속도를 매칭하는 대신, PDM은 다음을 별도로 제약한다:

1. 양의 예측(The Positive Prediction): 양의 브랜치 속도($v_+$)를 직접 매칭한다.
2. CFG 조건부 방향(The CFG Conditional Direction): 차이 벡터 $d = v_+ - v_-$를 매칭한다.

손실 함수는 다음과 같이 정식화된다:
$$\mathcal{L}_{PDM} = \|e_+\|_2^2 + \lambda \|d_T - d_S\|_2^2 = \|e_+\|_2^2 + \lambda \|e_+ - e_-\|_2^2$$
여기서 $\lambda > 0$은 방향 매칭의 강도를 조절한다. PDM에서 손실이 0이 된다는 것은 $e_+$와 $e_-$가 모두 0이 됨을 의미하며, 오차가 서로 상쇄될 수 있는 자유도를 제거한다.

2. 독립 브랜치 매칭 (Independent Branch Matching, IBM)

PDM의 특정 설계로부터 브랜치 수준 감독의 이점을 격리하기 위한 베이스라인으로서, 저자들은 확장된 단순 목적 함수에서 유도된 가중치를 사용하여 양의 브랜치와 음의 브랜치를 직접 매칭하는 IBM을 도입한다.
$$\mathcal{L}_{IBM} = \gamma^2 \|e_+\|_2^2 + (\gamma - 1)^2 \|e_-\|_2^2$$
IBM은 PDM과 달리 조건부 방향을 명시적으로 강제하지 않지만, 단순 구성 손실에 존재하는 브랜치 간 상호작용 항을 제거한다.

3. 비디오를 위한 효율적인 감독

Dense-to-sparse 비디오 제어 애플리케이션을 위해, 저자들은 학생의 디노이징 궤적 전체가 아니라 처음 $K$개의 상태만을 감독하는 방법을 제안한다. 이는 성능을 유지하면서 교사 모델 평가의 계산 비용을 줄여준다.

주요 기여

1. 브랜치 모호성 식별: 본 논문은 CFG로 구성된 OPD가 브랜치 수준에서 미식별 상태임을 입증한다. 또한 이러한 모호함이 공유된 부정 조건(교사와 학생이 동일한 널 조건을 공유하는 경우) 하에서는 무해하지만, 특권 부정 조건(privileged negative conditioning) 하에서는 해로워진다는 것을 밝혀냈다.
2. 음의 브랜치 비대칭성 (NBA): 저자들은 NBA를 단순 매칭이 양의 브랜치 오차를 줄이는 대신 음의 브랜치 오차를 증가시켜, 추론 가이던스 스케일에 대한 과도한 민감도를 초래하는 실패 모드로 정의한다.
3. 양의 방향 매칭 (PDM): 양의 예측과 CFG 조건부 방향을 별도로 감독하는 새로운 브랜치 인지형 목적 함수를 제안한다. 이는 브랜치 간 오차 보상을 방지하고 식별 가능한 감독을 복구한다.
4. 실증적 검증: 이미지 및 비디오 도메인 전반에 걸친 정량적 증거를 통해, 브랜치 인지형 감독이 특히 교사가 학생이 접근할 수 없는 정보에 접근할 수 있는 설정에서 견고성과 지식 전이를 개선함을 보여준다.

실험 결과

이미지 도메인 진단

저자들은 브랜치 오차 역학을 진단하기 위해 두 가지 통제된 실험을 수행했다:

• 텍스트 렌더링 증류 (공유 조건): 교사와 학생이 동일한 부정 조건을 공유한다. 여기서 단순 매칭과 PDM 모두 양의 브와 음의 브랜치 오차를 동시에 감소시킨다. 학생 모델은 교사의 고유한 CFG 민감도를 추적하며, 이는 모호함이 이 체제에서는 무해함을 확인시켜 준다.
• 참조 조건부 증류 (특권 조건): 교사는 음의 브랜치에 참조 이미지를 받지만, 학생은 이를 받지 못한다.
  • 단순 매칭: $e_+$를 줄이는 대신 $e_-$를 증가시키는 적대적 역학을 보인다.
  • PDM: $e_+$를 성공적으로 줄이면서 $e_-$의 증가를 방지한다.
  • 가이던스 민감도: $\gamma=2$에서 학습된 단순 학생 모델은 $\gamma=1$로 테스트할 때 스타일 왜곡 및 변형을 보이는 등 크게 저하되는 반면, PDM 학생 모델은 안정적이며 다양한 스케일에서도 교사의 동작을 밀접하게 따른다.

Dense-to-Sparse 비디오 제어

본 방법론은 교사가 조밀한 프레임별 제어(포즈, 깊이, 스크리블)를 관찰하고 학생은 희소한 키프레임만을 받는 Wan-VACE 벤치마크에 적용되었다.

• 제어 충실도 (Control Fidelity): 학습 가이던스 스케일($\gamma=5$)에서 PDM은 MPJPE, PCK, FVD와 같은 지표에서 단순 OPD, SFT, 그리고 off-policy 증류보다 우수한 성능을 보였다.
• 가이던스 스케일 일반화: 학습 시와 다른 추론 스케일(예: $\gamma=1$ 또는 $\gamma=3$)에서 테스트했을 때, 단순 OPD의 성능은 급격히 저하되었다. 반면, PDM과 IBM은 안정성을 유지하여 브랜치 인지형 감독이 구성된 매칭으로 인한 과도한 민감도를 완화함을 입증했다.
• 효율성: 궤적의 처음 $K=8$개 상태만을 감독하는 것이 제어 충실도와 학습 비용 사이의 최적의 절충안이었으며, 전체 궤적 감독과 유사한 결과를 내면서도 계산량을 크게 줄였다.

의의 및 주장

본 논문은 CFG로 구성된 예측을 매칭하는 기존의 관행이 교사와 학생이 음의 브랜치에서 비대칭적인 정보 접근 권한을 가질 때 근본적으로 결함이 있음을 주장한다. 저자들은 음의 브랜치 비대칭성이 가이던스 스케일 변화에 대한 과도한 민감도로 나타나는 별개의 실패 모드라고 설명한다.

이 연구의 의의는 다음과 같다:

1. 이론적 사각지대 교정: "가이드된 출력을 매칭하는 것"이 브랜치가 대칭적으로 제약되지 않을 때는 불충분하다는 점을 식별했다.
2. 강건한 지식 전이: 브랜치 수준의 제약(PDM을 통해)을 강제함으로써, 학생 모델은 교사의 조건부 로직을 더 충실하게 표현하도록 학습되어 다양한 추론 조건에서도 견고한 성능을 보인다.
3. 실용적 적용 가능성: 제안된 방법은 교사가 희소한 입력으로부터 근사해야 할 조밀한 컨텍스트(밀집 프레임)를 보유하는 복잡한 생성 작업(비디오 제어 등)에 직접 적용 가능하다.

저자들은 PDM이 경험적으로 IBM보다 우수하지만, PDM이 다른 브랜치 인지형 공식(IBM 등)에 비해 갖는 구체적인 이점에 대한 이론적 이유는 향후 연구 과제로 남겨두는 겸허한 태도를 보였다. 핵심적인 기여는 실패 모드를 식별하고, 양의 브랜치와 조건부 방향의 감독을 분리하는 것이 이를 해결한다는 것을 입증한 데 있다.