기술 요약: DOLLAR (증류 및 잠재 보상 최적화)

문제 제기

확산 확률 모델은 텍스트-비디오 (T2V) 생성 분야에서 중요한 돌파구를 마련했으나, 계산 비효율성으로 인해 실용적 적용이 제한되고 있습니다. 표준 확산 모델은 고품질 비디오를 생성하기 위해 수백 번의 반복적 샘플링 단계가 필요하여 실시간 또는 준실시간 생성이 불가능합니다. 샘플링 단계 수를 줄이는 것 (소수 단계 생성) 은 효율성을 높이지만, 일반적으로 비디오 품질의 심각한 저하, 다양성 손실 (모드 붕괴), 또는 특정 사용자 선호도와의 정렬 실패라는 트레이드오프를 초래합니다. 또한 기존 증류 방법들은 비용이 많이 드는 재학습 없이도 교사 모델의 성능을 능가하거나 특정 하위 작업 요구사항에 적응하는 데 어려움을 겪습니다.

방법론

저자들은 고품질, 다양성, 소수 단계 비디오 생성을 달성하기 위해 증류와 잠재 보상 최적화를 결합한 DOLLAR 프레임워크를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 하이브리드 증류 전략 (VSD + CD)

기존 증류 방법의 한계를 해결하기 위해 DOLLAR 은 변분 스코어 증류 (VSD) 와 일관성 증류 (CD) 를 통합합니다:

• 변분 스코어 증류 (VSD): 클루백-라이블러 (KL) 발산을 최소화함으로써 학생 모델의 샘플 분포를 교사 모델의 분포에 정렬합니다. 품질 측면에서는 효과적이지만, VSD 만으로는 모드 붕괴 (다양성 감소) 를 초래할 수 있습니다.
• 일관성 증류 (CD): 확산 궤적 일 along 일관된 샘플 예측을 보장하여 다양성을 증진시킵니다. 그러나 CD 만으로는 샘플 충실도가 낮아지고 과도하게 부드러운 출력이 생성될 수 있습니다.
• 통합: 저자들은 VSD 의 높은 충실도와 CD 의 다양성을 활용하기 위해 이러한 손실 함수들을 결합합니다. 단일 단계 근사가 아닌 다단계 교사 제거 함수 ($Denoise_m$) 를 사용하는 일반화된 CD 접근법을 채택하여 생성 품질을 향상시킵니다. 학생 모델은 교사 모델에서 초기화되며, 켤레 속도 예측 목적 함수를 사용하여 학습됩니다.

2. 잠재 보상 모델 (LRM) 미세 조정

교사 모델의 능력을 넘어 성능을 더욱 향상시키고 특정 지표 (예: 미적 가치, 텍스트 정렬) 와 정렬하기 위해, 저자들은 잠재 보상 모델 (LRM) 을 도입합니다:

• 메커니즘: 메모리 집약적이고 미분 가능한 보상이 필요한 대규모 픽셀 공간 보상 모델과 디코더를 통해 역전파하는 대신, DOLLAR 은 잠재 공간에서 직접 컴팩트하고 미분 가능한 보상 모델을 학습합니다.
• 학습: LRM 은 생성된 잠재 샘플을 사용하여 사전 학습된 픽셀 공간 보상 모델 (예: HPSv2, PickScore) 의 점수를 근사하도록 학습됩니다.
• 최적화: 확산 학생 모델은 LRM 의 기울기를 사용하여 미세 조정됩니다. 이 접근법은 비미분 가능한 보상 지표를 지원하며, 디코더와 대규모 보상 모델을 우회함으로써 메모리 사용량을 크게 줄이고 효율적인 최적화를 가능하게 합니다.

3. 다목적 학습

최종 학습 목적 함수는 증류 손실과 보상 미세 조정 손실을 결합합니다:
$$\mathcal{L}(\theta) = \mathcal{L}_{VSD}(\theta) + \beta_{CD}\mathcal{L}_{CD}(\theta) + \beta_{FT}\mathcal{L}_{FT}(\theta; \phi)$$
여기서 $\mathcal{L}_{FT}$는 LRM 으로부터의 음의 기대 보상입니다. 이를 통해 모델은 분포 정합, 일관성, 그리고 특정 보상 지표를 동시에 최적화할 수 있습니다.

주요 기여

1. 효율적인 소수 단계 증류: VSD 와 CD 손실을 결합한 증류 방법의 도입으로, 4 단계 만에 고품질이며 다양한 10 초 비디오 (128 프레임) 생성을 가능하게 함.
2. 일반화된 일관성 증류: 다단계 교사 제거 함수를 활용하여 표준 CD 를 개선함으로써 증류 과정의 효과성을 향상시킴.
3. 잠재 보상 최적화: 컴팩트한 잠재 보상 모델을 사용하는 독창적이고 메모리 효율적인 미세 조정 접근법. 이 방법은 미분 가능한 보상 모델에 대한 요구 사항을 제거하고 대규모 픽셀 공간 모델 및 디코더를 통한 역전파 필요성을 없애므로, 대규모 비디오 모델에 대한 보상 기반 조정을 실현 가능하게 함.

실험 결과

이 방법은 VBench 벤치마크와 인간 평가를 사용하여 대규모 T2V 설정 (128 프레임, 12 FPS, 192x320 해상도) 에서 평가되었습니다.

• 기선 대비 성능: 증류된 4 단계 학생 모델은 (HPSv2 보상을 사용하여) VBench 총점 82.57을 기록하여 교사 모델 (80.25) 과 Gen-3(82.32), Kling(81.85), T2V-Turbo(81.01) 을 포함한 최첨단 기선들을 능가했습니다.
• 품질과 다양성: 학생 모델은 16 개 VBench 지표 중 9 개에서 교사 모델을 능가했습니다. CD 와 LRM 의 결합은 순수 VSD 증류에서 흔히 관찰되는 모드 붕괴를 성공적으로 완화하여 높은 샘플 다양성 (Vendi 점수로 측정) 을 유지했습니다.
• 효율성: 4 단계 학생 모델은 50 단계 교사 모델 대비 15.6 배 가속을 달성했습니다. 1 단계 구성은 최대 278.6 배 가속을 달성하여 준실시간 생성을 가능하게 했습니다.
• 인간 평가: 쌍대 비교에서 DOLLAR 모델 (4 단계) 은 일반 선호도 측면에서 교사 모델 (50 단계 DDIM) 보다 **51.1%**의 인간 평가자들에게 선호되었으며, 시각적 품질 점수도 현저히 높았습니다.
• 보상 조정: LRM 을 통한 미세 조정은 ReFL 또는 DRaFT 와 같은 직접 보상 기울기 방법과 관련된 prohibitive 한 메모리 비용 없이 특정 지표 (예: 텍스트 - 비디오 정렬, 조명) 를 성공적으로 개선했습니다.

의의 및 주장

이 논문은 DOLLAR 이 생성 효율성과 품질 간의 트레이드오프를 해결함으로써 비디오 생성 분야의 최첨단 기술을 크게 발전시켰다고 주장합니다. 증류와 잠재 보상 최적화를 결합함으로써 이 방법은 다음을 가능하게 합니다:

• 실시간 가능성: 확산 샘플링을 최대 278 배 가속화하여 실시간 비디오 생성 응용 분야의 길을 열었습니다.
• 교사 모델에 대한 우위: 증류된 학생 모델이 교사 모델의 성능을 능가할 수 있음을 입증하여, 학생 모델의 성능이 교사 모델에 의해 엄격하게 상한이 결정된다는 통념에 도전했습니다.
• 확장 가능한 미세 조정: 픽셀 공간 역전파의 계산적 부담 없이 비디오 생성 모델을 다양한 비미분 가능한 보상 지표에 정렬할 수 있는 실용적인 솔루션을 제공합니다.

저자들은 이 방법이 상당한 개선을 이루지만, 프롬프트 길이 편향 (모델이 길고 기술적인 프롬프트에서 더 잘 작동함) 과 특정 지표를 지나치게 추구할 경우 전체 시각적 품질이 저하될 수 있는 보상 과최적화 가능성과 같은 과제가 남아 있다고 지적합니다.