💻 computer science

Dialogue-Aware Video-to-Music Generation Using Public Domain Film Collections

비디오-음악 생성에서의 재현성 및 저작권 문제를 해결하기 위해, 본 논문은 퍼블릭 도메인 영화들로 구성된 재현 가능한 Open Screen Soundtrack Library 버전 2(OSSL-v2) 데이터셋을 소개하고, 화면상의 음성을 통해 비디오 교차 주의(cross-attention)를 조절함으로써 음악 생성을 향상시키는 대화 인지 모델을 제안한다.

원저자: Haven Kim, Zachary Novack, Julian McAuley, Hao-Wen Dong

게시일 2026-08-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haven Kim, Zachary Novack, Julian McAuley, Hao-Wen Dong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 영화를 보고 있다고 상상해 보세요. 폭풍 속을 달리는 주인공을 보고 있는데, 갑자기 천둥소리가 울려 퍼지며 극적인 오케스트라 선율이 고조됩니다. 그 음악은 단순한 배경 소음이 아닙니다. 그것은 장면을 하나로 묶어주는 정서적 접착제이며, 당신이 어떻게 느껴야 할지를 알려줍니다. 오랫동안 과학자들은 컴퓨터에게 영상의 분위기에 맞춰 자동으로 음악을 생성하는 '작곡가' 역할을 가르치기 위해 노력해 왔습니다. 이 분야를 비디오-투-뮤직(video-to-music) 생성이라고 부릅니다. 하지만 여기에는 거대한 문제가 있습니다. 컴퓨터에게 이 기술을 가르치려면 수천 개의 영화 사례와 그에 딱 맞는 사운드트랙이 필요합니다. 대부분의 연구자들은 인터넷상의 영상 링크 목록을 사용하여 이러한 사례들을 찾아왔습니다. 문제는 인터넷 링크가 모래성 같다는 점입니다. 파도가 밀려오면 영상은 삭제되거나 잠겨버립니다. 이는 컴퓨터가 학습하는 '교과서'가 계속 사라지게 만들어, 어떤 컴퓨터가 실제로 더 똑똑한지 확인하는 것을 불가능하게 만듭니다. 이를 해결하기 위해서는 사라지지 않는 영화 도서관이 필요하며, 컴퓨터에게 등장인물의 외형뿐만 아니라 그들이 무엇을 말하고 있는지도 가르칠 방법이 필요합니다.

여기 UC 샌디에이고와 미시간 대학교의 연구진이 구축한, 흔들림 없는 새로운 라이브러리인 OSSL-v2가 있습니다. 이것을 누구도 폐쇄할 수 없는 거대하고 독립적인 영화관이라고 생각해보세요. 연구진은 사라질 수 있는 인터넷 링크를 가리키는 대신, 누구나 사용할 수 있는 공공 저작물인 1,886편의 영화를 다운로드하여 34,343개의 작은 클립으로 잘게 나누었습니다. 이는 약 246.4시간의 영상과 음악을 모두 한곳에 안전하게 저장한 것입니다. 자체 호스팅 방식이기 때문에 사라지지 않으며, 모든 연구자에게 훈련을 위한 공정하고 동일한 데이터 세트를 제공합니다.

하지만 연구팀은 단순히 도서관을 구축한 것에 그치지 않았습니다. 그들은 컴퓨터가 결정적인 단서를 놓치고 있다는 사실을 깨달았습니다. 영화에서 음악은 종종 등장인물이 말을 시작하는 순간 변합니다. 누군가 소리를 지르면, 목소리가 들릴 수 있도록 음악이 작아지거나 멈출 수도 있습니다. 연구진은 이 새로운 라이브러리에서 대화의 크기와 음악의 크기 사이에 미세하지만 실제적인 연결 고리가 있다는 것을 발견했습니다. 이를 활용하기 위해 그들은 '대화 인지형(dialogue-aware)' 시스템을 발명했습니다. 컴퓨터가 지휘자라고 상상해 보세요. 이전의 지휘자는 오케스트라의 속도를 높이거나 늦추기 위해 배우의 얼굴과 움직임만을 보았습니다. 이제 지휘자는 실시간으로 배우의 목소리를 들을 수 있는 새로운 안경을 썼습니다. 이 시스템은 대화의 소리를 가져와 프레임 단위로 음악 생성을 부드럽게 유도함으로써, 음악이 캐릭터와 함께 정확하게 숨 쉬고 멈출 수 있게 합니다.

이 거대한 라이브러리를 통해 이 새로운 접근 방식을 테스트했을 때, 결과는 유망했습니다. 그들은 자신들의 '대화 인지형' 모델을 기존의 가장 뛰어난 시스템들과 비교했습니다. 새로운 방식이 반드시 일반적인 의미에서(예를 들어 음악을 더 복잡하거나 다양하게 만드는 것) 음악을 더 '좋게' 만드는 것은 아니었지만, 음악이 영상에 훨씬 더 긴밀하게 밀착되도록 만들었습니다. 구체적으로, 생성된 사운드트랙은 특히 대화와 음악이 겹치는 까다로운 순간을 처리할 때 원래의 영화 장면에 훨씬 더 충실해졌습니다. 연구진은 이러한 개선이 모델이 한 번도 본 적 없는 상업 영화를 테스트할 때도 유효하다는 것을 발견했으며, 이는 대화를 듣는 것이 단순히 영상을 보는 것보다 AI가 장면의 리듬을 더 잘 이해하도록 돕는다는 것을 시사합니다.

또한 논문은 몇 가지 잠재적인 '꼼수'를 신중하게 배제했습니다. 연구진은 혹시 컴퓨터가 대화 트랙에 남아있는 잔여 음악에 의존하고 있는 것은 아닌지(음성을 분리하는 작업이 완벽하지 않기 때문) 우려했습니다. 이를 확인하기 위해, 그들은 대화에 음악 소음이 거의 전혀 없는 클립을 찾는 특별한 필터를 실행했습니다. 이러한 '깨끗한' 클립들을 사용했음에도 불구하고, 대화 인지형 시스템은 여전히 더 나은 성능을 보였습니다. 이는 개선의 원인이 음악을 우연히 들었기 때문이 아니라, 실제로 대화를 이해하는 데서 온다는 것을 시사합니다. 이 시스템이 아직 인간 작곡가를 완벽히 대체할 수는 없지만, 이번 연구는 등장인물의 목소리를 추가하는 것이 컴퓨터가 이야기에 진정으로 연결된 느낌을 주는 음악을 쓰는 데 강력한 방법이 될 수 있음을 보여줍니다.

기술 요약: 공공 저작권 영화 컬렉션을 활용한 대화 인지형 비디오-음악 생성

문제 정의
비디오-음이크 생성 분야는 재현 가능한 벤치마크 역할을 할 수 있는 공통의 내구성 있는 학습 데이터셋이 부족한 상태이다. 현재의 발전은 대부분 URL(예: YouTube, TikTok)을 통해 참조되는 웹 크롤링 코퍼스에 의존하고 있어 "재현성 격차"를 겪고 있다. 이러한 데이터셋은 시간이 지남에 따라 영상이 삭제되거나 비공개 처리되는 "링크 로트(link rot)" 현상을 겪으며, 데이터 재획득에 많은 시간이 소요되는 속도 제한 문제도 발생시킨다. 또한, 기존의 자체 호스팅 데이터셋은 규모가 너무 작아(예: 약 36시간) 경쟁력 있는 모델을 학습시키기에 부족한 경우가 많다. 추가적으로, 기존 방식들은 전문적인 제작 과정에서 화면상의 음성과 영화 음악 사이의 밀접한 시간적 결합에도 불구하고, **대화(dialogue)**를 조건 신호로 간 attention 하는 점을 간과하는 경우가 많다.

방법론
저자들은 두 가지 접근 방식을 제안한다: 새로운 데이터셋 구축과 대화 인지형 생성을 위한 새로운 아키텍처 수정이다.

데이터셋 구축 (OSSL-v2):
저자들은 1,886편의 공공 저작권 영화에서 추출한 자체 호스팅 코퍼스인 **Open Screen Soundtrack Library version 2 (OSSL-v2)**를 소개한다. 이 데이터셋은 총 246.4시간에 달하는 34,343개의 비디오 클립으로 구성된다.

소스 분리 (Source Separation): 원본 오디오에서 음악 트랙을 추출하기 위해 오픈 소스 시네마틱 소스 분리 모델을 적용한다.
이벤트 탐지 (Event Detection): 고품질을 보장하기 위해 자동 이벤트 탐지 모델을 사용하여 음악적 이벤트와 비음악적 이벤트의 확률을 추정한다. 음악 확률이 비음악 확률보다 최소 10초 동안 연속적으로 높은 세그먼트를 선택하며, 비음악 확률이 너무 높은(임계값 > 0.05) 세그먼트를 제외하는 추가 필터를 적용한다.

대화 인지형 생성 아키텍처:
저자들은 기존의 오픈 소스 비디오-투-뮤직 백본(특히 VidMuse, GVMGen, Diff-V2M)에 삽입할 수 있는 경량화된 **대화 조건부 모듈(dialogue-conditioned module)**을 제안한다.

신호 처리: 소스 분리를 통해 대화 트랙을 격리하고, 이를 1-D 컨볼루션 레이어를 통해 인코딩하여 프레임당 음향 표현(예: 음량, 에너지)을 생성한다.
변조 (Modulation): 2개 층의 MLP가 이러한 표현을 FiLM 파라미터( $\gamma_i, \beta_i$ )로 매핑한다. 이 파라미터들은 비디오 조건 벡터를 프레임 단위로 변조한다: $\tilde{v}_i = (1 + \gamma_i) \odot v_i + \beta_i$ .
시간적 정렬 (Temporal Alignment): 모델이 시각적 이벤트와 대비되는 대화의 타이밍을 준수하도록 하기 위해, 저자들은 백본의 크로스 어텐션(cross-attention) 메커니즘을 수정한다. 프레임을 글로벌 벡터로 압축하는 GVMGen과 같은 모델의 경우, 학습된 프레임별 위치 임베딩을 Q-Former 출력에 추가하고 크로스 어텐션의 Key와 Value에 고정된 사인 함수 기반 위치 임베딩을 활성화함으로써 시간 축을 복원한다. 이를 통해 대화가 프레임 단위로 조건 신호를 변조할 수 있게 한다.

주요 기여

대화 조건화 (Dialogue Conditioning): 대화가 영화 음악 생성을 위한 효과적인 조건 신호임을 입증한다. 제안된 어댑터는 전체 모델을 완전히 새로 설계하지 않고도 대화의 음향적 특징을 비디오 조건 경로에 통합한다.
아키텍처 적응: 시간적 정체성(temporal identity)을 보존하여 대화에 의한 프레임 정렬 변조를 허용하도록 자가 회귀(autoregressive) 및 확산(diffusion) 기반 모델의 크로스 어텐션 메커니즘을 구체적으로 수정하였다.

실험 결과
모델들은 OSSL-v2(9:1 분할)와 외부 분포(out-of-distribution) 상업 영화 세트(OES-Com)에서 학습 및 평가되었다. 평가는 분포 충실도(FAD, Precision, Recall)와 쌍 충실도(CLAP 유사도, KL 발산) 지표를 포함한다.

대화 어댑터의 영향:
- 쌍 충실도 (Paired Fidelity): 대화 어댑터는 특히 KL 발산을 줄이고 CLAP 유사도를 높이는 데 있어 일관되게 쌍 충실도를 향상시켰다.
- 일반화 (Generalization): 개선 효과는 OSSL-v2 내부 분포보다 외부 분포인 OES-Com 세트에서 더 두드러지게 나타났으며, 이는 대화 신호가 일반화를 돕는 규제제(regularizer) 역할을 함을 시사한다.
- 분포 충실도 (Distributional Fidelity): 어댑터가 생성 분포를 체계적으로 재형성하지는 않았다(FAD 및 Precision이 일관되지 않게 변함).
- 강건성 (Robustness): 이러한 이득은 분리된 대화 스템(stem)에 누출된 음악이 거의 없는 저잔류 음악(Low-Residual-Music, LRM) 서브셋에서도 유지되었다. 이는 개선 사항이 불완전한 소스 분리의 부산물이 아니라 대화 신호 자체에 의해 유도되었음을 확인시켜 준다.

의의 및 주장
본 논문은 OSSL-v2가 지속 가능한 자체 호스팅 벤치마크를 제공함으로써 비디오-투-뮤직 생성 분야의 재현 가능한 연구와 공정한 비교를 위한 장벽을 낮춘다고 주장한다. 방법론과 관련하여, 저자들은 대화 인지형 공식이 특히 시간적 충실도(정답과의 유사성)와 상업 영화로의 일반화 측면에서 기존 SOTA 베이스라인보다 개선되었다고 겸허히 주장한다. 저자들은 대화(음성)와 음악 사이의 국소적, 시간적 상호작용을 포착하기 위해서는 글로벌 비디오 수준의 정보만으로는 불충분하며, 대화를 시간 정렬된 조건 신호로 포함하는 것이 영화 도메인 생성에서의 공백을 메울 수 있는 유망한 방향이라고 상정한다. 본 연구는 이 분야의 모든 과제를 해결한다고 주장하는 것이 아니라, 대화 조건화가 향후 발전을 위한 유망한 방향임을 식별하는 데 목적이 있다.

유사한 논문