기술 요약: MusicInfuser

문제 정의

현재 오픈소스 비디오 확산 모델들은 대부분 무음 비디오나 음성 중심의 비디오를 생성하며, 특정 음악 트랙과 운동을 동기화하는 능력이 부족합니다. 일부 연구에서 오디오 - 비디오 생성을 탐구하지만, 고품질의 음악 정렬 춤 데이터셋이 부족하기 때문에 춤이라는 특정 도메인을 위해 이러한 모델을 처음부터 훈련시키는 것은 어렵습니다. 기존 춤 생성 방법들은 종종 골격 운동이나 모션 캡처 데이터와 같은 중간 표현에 의존합니다. 이러한 접근 방식은 다음과 같은 한계를 겪습니다: 획득 비용이 높고, 떠다니거나 떨리는 아티팩트에 취약하며, 춤을 표현하기에 매개변수가 부족하여 척추 곡률, 축 회전, 손의 구부림, 머리카락 역학, 의상 운동과 같은 미묘한 뉘앙스를 포착하지 못합니다. furthermore, 지정된 음악 트랙과 적절히 동기화된 운동을 생성하면서도 스타일과 외관에 대한 제어를 유지하는 것은 여전히 어렵습니다.

방법론

MusicInfuser는 모션 캡처나 재구성이 필요 없이 사전 훈련된 텍스트 - 비디오 확산 모델을 음악 입력에 정렬하는 접근 방식을 제안합니다. 이 방법은 기존 비디오 확산 모델 (특히 Mochi) 을 적응시켜 지정된 음악 트랙과 동기화된 고품질 춤 비디오를 생성하면서도, 텍스트 프롬프트를 통해 스타일과 장면 제어를 수용하는 모델의 능력을 유지합니다.

핵심 아키텍처 및 적응

이 프레임워크는 사전 훈련된 모델의 확산 트랜스포머 (DiT) 블록에 제로 초기화된 음악 - 비디오 모듈을 주입합니다.

• 제로 초기화된 크로스 어텐션 (ZICA): 오디오에 모델을 조건부로 설정하기 위해 ZICA 블록이 사용됩니다. 출력 투영 행렬 ($W_O$) 이 0 으로 초기화되어, 훈련 시작 시 크로스 어텐션 블록이 항등 함수로 작용하도록 합니다. 이는 편향과 불안정화를 방지하며, $W_O$가 훈련 중에 학습됨에 따라 모델이 점진적으로 오디오 특징을 통합할 수 있게 합니다.
• 저랭크 어댑터 (LoRA): LoRA 는 도메인 및 운동 적응에 사용됩니다. 표준 이미지 모델과 달리, 저자는 복잡한 인간 운동에 필요한 시간적 의존성을 충분히 포착하기 위해 더 높은 랭크 구성 (예: 랭크 64) 을 사용합니다.

레이어 선택 전략

모든 레이어를 미세 조정하는 것은 계산 비용이 많이 들고 제한된 전문 데이터셋으로 인해 사전 훈련된 모델의 노이즈 제거 능력을 저하시킬 수 있음을 인식하여, 저자는 레이어별 적응성 기준을 제안합니다.

• 포괄적인 검색이나 직관적인 선택 (예: 고르게 분포된 레이어) 대신, 가이드 인스파이어드 구성적 영향 함수를 사용합니다.
• 이 지표는 레이어를 건너뛰지만 가이드 제공에 사용하는 가이드 샘플링을 수행하여 레이어의 긍정적 영향을 정량화합니다 (perturbed-attention 가이드와 유사).
• 제외되고 가이드 제공에 사용될 때 더 나은 성능을 보이는 레이어는 구조적 및 지각적 품질과 본질적으로 더 밀접하게 연결된 것으로 식별됩니다. 이러한 레이어가 적응을 위해 선택되어, 사전 훈련된 지식을 보존하면서 음악과 운동 간의 상관 관계를 확립합니다.

훈련 전략

• 베타 - 균일 스케줄링: 사전 훈련된 모델의 노이즈 제거 능력을 보존하기 위해, 훈련 노이즈 분포는 베타 분포 (낮은 노이즈 수준에 집중됨) 에서 균일 분포로 진화합니다. 이는 모델이 먼저 작업별 세부 요소 (춤 세부 사항) 를 학습한 후 운동의 기본 구조를 조정하도록 하여, 일반적인 물리 지식의 손실을 방지합니다.
• 데이터 활용: 모델은 제한된 AIST 데이터셋과 YouTube 의 "야생 (in-the-wild)"데이터의 혼합으로 훈련됩니다. 야생 데이터는 카메라 궤적, 조명, 환경의 다양성을 도입하여 특정 스튜디오 설정에 대한 과적합을 방지하는 정규화 역할을 합니다.
• 프롬프트 다양화: 텍스트 단서에 대한 의존도를 줄이고 더 강력한 음악 - 운동 연관성을 장려하기 위해, 훈련 중 상세한 캡션의 일부가 기본 프롬프트로 무작위 대체됩니다.

주요 기여

1. 비디오 확산 모델의 효율적 적응: 멀티모달 모델을 처음부터 훈련하거나 중간 운동 데이터를 사용하지 않고도 사전 훈련된 텍스트 - 비디오 모델을 음악 입력에 효율적으로 적응시키는 방법을 보여줍니다.
2. 레이어별 적응성 기준: 크로스 어텐션 적응을 위한 최적 레이어를 선택하기 위해 구성적 영향 함수에 기반한 새로운 지표를 도입하여, 풍부한 사전 지식을 보존하면서 훈련 비용을 크게 줄입니다.
3. 제로 초기화된 모듈: ZICA 와 고랭크 LoRA 를 제안하여 훈련을 안정화하고 사전 훈련된 노이즈 제거 매니폴드를 불안정화하지 않으면서 오디오 특징을 점진적으로 통합할 수 있게 합니다.
4. 훈련 효율성: 단일 NVIDIA A100 GPU 를 사용하여 하루 내 (약 20 시간, 4,000 스텝) 훈련을 달성합니다.
5. 평가 프레임워크: 비디오, 오디오, 언어 정렬을 공동으로 평가하며 인간 판단과 잘 상관관계를 보이는 Video-LLMs (VideoLLaMA 2 및 Qwen3-Omni) 을 사용한 자동 평가 프레임워크를 도입합니다.

실험 결과

• 성능: MusicInfuser 는 춤 품질 지표 (스타일 정렬, 비트 정렬, 운동 사실성, 안무 복잡성) 와 비디오 품질 지표 (이미징 품질, 전체 일관성) 에서 기저 모델 (MM-Diffusion 및 Mochi 포함) 보다 우수한 성능을 보입니다.
• 일반화: 이 방법은 훈련 분포에 존재하지 않는 미지의 음악 트랙 (합성 K-pop 트랙 포함), 더 긴 비디오 시퀀스 (훈련 길이의 여러 배인 최대 9 초), 그리고 비전통적인 주제 (예: 동물) 에도 일반화됩니다.
• 제어: 시스템은 음악 동기화를 유지하면서 춤 스타일, 설정, 의상, 댄서 수에 대한 텍스트 기반 제어를 지원합니다.
• 반응성: 모델은 음악 특징에 역동적으로 반응합니다. 오디오 입력을 가속하거나 감속하면 춤 템포와 역학에 해당하는 변화가 발생합니다.
• 애블레이션 연구: 제안된 레이어 선택 전략, 베타 - 균일 스케줄링, ZICA 초기화가 결정적임을 결과가 확인합니다. 단순한 특징 추가 (ControlNet 과 유사) 와 크로스 어텐션 레이어의 비제로 초기화는 열등한 성능을 초래합니다.

중요성 및 주장

이 논문은 MusicInfuser 가 중간 운동 데이터 없이 춤을 위한 음악과 비디오 생성 간의 간극을 성공적으로 메웠다고 주장합니다. 사전 훈련된 텍스트 - 비디오 모델에 이미 내재된 풍부한 안무 지식을 활용함으로써, 이 접근 방식은 음악 리듬에 자연스럽게 반응하는 새롭고 다양하며 고품질의 춤 운동을 생성합니다.

저자들은 이 방법이 골격 기반 접근 방식에 대한 유연한 대안을 제공하며, 골격 표현이 놓치는 시각적 뉘앙스 (머리카락, 의상, 신체 역학) 를 포착한다고 강조합니다. 그들은 이 프레임워크가 미지의 음악과 주제에 잘 일반화되어 일관성과 동기화 측면에서 기저 모델을 능가하며, 단일 GPU 에서 하루 만에 훈련할 수 있을 정도로 계산적으로 효율적이라고 주장합니다. 이 작업은 비디오 확산 모델을 "듣고 춤추게" 만들어 제어 가능하고 음악 주도적인 비디오 합성을 가능하게 하는 한 걸음으로 제시됩니다.