기술 요약: 이미지-비디오 모델의 모션 개선을 위한 참조 프레임 지배성 재조정

문제 제기

이미지-비디오 (I2V) 모델은 참조 이미지의 외관을 유지할 수 있는 능력을 갖추고 있지만, 종종"정적 모션 편향"으로 고통받습니다. 텍스트-비디오 (T2V) 모델과 비교할 때, I2V 모델은 텍스트 프롬프트가 명시적으로 역동적인 동작을 설명하더라도 과도하게 제한적이거나 약한 모션을 가진 비디오를 생성하는 경향이 있습니다. 이러한 문제를 완화하기 위한 기존 접근법들은 일반적으로 이미지 조건부 경로를 수정하는 것 (예: 노이즈 추가 또는 흐름 매칭 재설계) 이나 조건부 신호를 약화시키는 것을 포함합니다. 그러나 이러한 방법들은 종종 추가적인 학습을 요구하거나, 개선된 모션이 참조 이미지의 충실도 손실이라는 대가를 치르는 트레이드오프를 초래합니다.

방법론: DyMoS(동적 모션 슬라이더)

저자들은 추론 중 모델 가중치나 입력 이미지를 변경하지 않고, 자기-주의 (self-attention) 메커니즘에 직접 개입하여 정적 모션 편향을 해결하는 학습 불필요 및 모델 무관한 방법인 DyMoS를 제안합니다.

핵심 통찰: 참조 프레임 지배성

쌍을 이룬 T2V 및 I2V 생성물의 자기-주의 맵 분석을 통해, 저자들은 참조 프레임 지배성이라고 명명한 현상을 확인했습니다. I2V 모델에서 비참조 프레임의 쿼리 토큰들은 T2V 대응물들에 비해 참조 프레임 (첫 번째 프레임) 의 키 토큰들에 훨씬 더 많은 주의를 기울입니다. 이러한 과도한 주의는 시간 축을 따라 참조 정보를 전파하여 프레임 간 역동성을 억제하고 정적 출력을 초래합니다.

기술적 구현

DyMoS 는 초기 노이즈 제거 단계 동안 주의 로짓 (attention logits) 을 재조정함으로써 이러한 지배성을 완화합니다. 이 방법은 참조 프레임 키 토큰과 관련된 주의 로짓에 스칼라 편향 이동을 도입합니다.

조절은 다음과 같이 적용됩니다:

1. 로짓 조정: 참조 프레임 키 토큰 ($j \in I_{f0}$) 에 주의를 기울이는 비참조 쿼리 토큰 ($i \notin I_{f0}$) 의 경우, 소프트맥스 연산 전에 주의 로짓 $L[i, j]$에서 양의 스칼라 $\gamma$를 뺍니다:
   $$\tilde{L}[i, j] = L[i, j] - \gamma \cdot \phi(f(i)) \cdot \mathbb{1}[j \in I_{f0}] \cdot \mathbb{1}[i \notin I_{f0}]$$
   여기서 $\gamma$는 개입의 강도를 제어하며, $\phi(\cdot)$는 프레임별 스케줄 (기본값은 균일) 입니다.
2. 시간적 범위: 이 조절은 노이즈 제거 단계의 처음 $\lambda$ 비율 동안에만 적용됩니다. 이는 전역 모션이 결정되는 초기 단계를 대상으로 하되, 후기 단계에서는 표준 주의를 사용하여 외관과 시간적 일관성을 정제할 수 있도록 합니다.
3. 클래스리스 가이드 (CFG): 이 조절은 CFG 방정식의 텍스트 조건부 분기에만 적용되며, 널-텍스트 분기는 변경되지 않습니다. 이는 생성 과정의 구조적 무결성을 유지하면서 참조 프레임 지배성에서 벗어난 가이드 업데이트를 유도합니다.

주요 기여

• 메커니즘 식별: 이 논문은 I2V 모델에서 정적 모션의 주요 원인으로 자기-주의 내의"참조 프레임 지배성"을 식별하여 단순한 입력 조건부 문제와 구별합니다.
• 학습 불필요 개입: DyMoS 는 미세 조정, 재학습, 또는 입력 이미지 수정이 필요 없는 간단하고 모델 무관한 해결책을 제공합니다. 이는 추론 중 주의 로짓을 조정함으로써만 작동합니다.
• 연속적 제어: 이 방법은 엄격한 참조 이미지 보존 (정적) 에서부터 매우 역동적인 모션에 이르기까지의 스펙트럼을 사용자가 연속적으로 제어할 수 있게 하는 단일 스칼라 매개변수 ($\gamma$) 를 도입하여, I2V 와 T2V 모션 역동성 간의 간극을 효과적으로 연결합니다.
• 충실도 보존: 모션을 향상시키기 위해 시각적 품질이나 참조 일관성을 희생하는 이전 방법들과 달리, DyMoS 는 참조 이미지와 시각적 품질에 대한 높은 충실도를 유지하면서 모션 역동성을 향상시킵니다.

실험 결과

저자들은 Wan 2.2, Wan 2.1, HunyuanVideo-1.5, CogVideoX-5B를 포함한 여러 최첨단 I2V 백본에 걸쳐 DyMoS 를 검증했습니다.

• 모션 역동성: 모든 백본에서 DyMoS 는 바닐라 베이스라인과 최첨단 방법인 ALG 에 비해 일관되게 더 높은 동적 정도 (Dynamic Degree) 점수 (VBench 및 VideoScore 로 측정) 를 달성했습니다. 예를 들어, Wan 2.2 에서 동적 정도는 베이스라인의 51.7 에서 DyMoS 의 64.8 로 증가했는데, 이는 ALG 의 55.3 보다 현저한 개선입니다.
• 시각적 품질: 중요한 점은 DyMoS 가 베이스라인 및 ALG 와 비교 가능한 비디오 품질 점수를 유지하여, 향상된 모션이 시각적 충실도를 저하시키지 않는다는 것을 입증했습니다.
• 텍스트 정렬: 이 방법은 비교된 방법들 중 가장 높은 ViCLIP 점수를 달성하여, 참조 프레임 지배성을 줄이는 것이 모델이 텍스트 프롬프트의 모션 설명을 더 잘 따르도록 함을 시사합니다.
• 인간 선호도: 사용자 연구에서 DyMoS 는 모션 역동성, 참조 프레임 충실도, 텍스트 정렬, 전반적 선호도 등 모든 기준에서 베이스라인이나 ALG 보다 더 자주 최고의 비디오로 선정되었습니다.
• 효율성: 이 방법은 추가 순전파가 아닌 주의 로짓에 대한 경량 요소별 연산만 포함하므로 추론 시간 오버헤드가 무시할 수 있을 정도로 작습니다 (예: Wan 2.2 에서 1.2%).

중요성 및 주장

이 논문은 I2V 생성에서의 정적 모션 편향이 조건부 메커니즘 자체의 고유한 한계가 아니라, 참조 정보가 자기-주의를 통해 어떻게 라우팅되는지에 따른 결과라고 주장합니다. 주의 로짓 수준에서 개입함으로써 DyMoS 는 모델의 초점을 효과적으로 재조정하여, I2V 모델의 핵심 강점 (참조 충실도) 을 훼손하지 않으면서 역동적인 모션을 가능하게 합니다.

저자들은 DyMoS 를 단일 매개변수를 통해 모션 제어의"슬라이딩 스케일"을 제공하는 사용자와 개발자를 위한 실용적인 도구로 위치시킵니다. 그들은 이 방법이 효과적이지만, 과도하게 큰 조절 강도는 외관 일관성을 감소시킬 수 있으며, 향후 연구는 특정 프롬프트나 모션 유형에 기반한 조절 강도의 자동 적응을 탐구할 수 있음을 지적합니다. 이 작업은 재학습의 계산 비용을 들이지 않고도 생성 비디오 품질에 상당한 개선을 가져올 수 있는 자기-주의 메커니즘 내의 단순하고 표적화된 개입을 입증합니다.