JenBridge: Adaptive Long-Form Video Soundtracking across Scene Transitions

JenBridge는 트랜스포머 기반 생성 모델과 LLM 기반 디렉터 에이전트를 활용하여, 새롭게 제안된 LVS 벤치마크를 통해 검증된, 장면 전환 시 자연스럽고 서사적으로 일관된 전환을 갖춘 고충실도의 장편 비디오 사운드트랙을 제작하는 혁신적이고 모듈화된 프레임워크이다.

핵심

당신이 영화 감독이라고 상상해 보세요. 대신에 영화 음악을 작곡할 작곡가를 고용하는 대신, 매우 똑똑하고 자동화된 로봇 조수를 고용했습니다. 당신의 영화는 길고, 조용한 숲에서 고속 자동차 추격전으로, 그리고 다시 슬픈 작별 장면으로 급격히 변하는 다양한 장면들로 가득 차 있습니다.

현재의 AI 음악 도구들의 문제는, 그들이 한 번에 하나의 노래만 연주할 줄 아는 음악가와 같다는 점입니다. 만약 당신이 영화 전체를 위해 음악을 만들어 달라고 요청한다면, 그들은 숲을 위해 행복한 곡을 연주했다가, 자동차 추격전을 위해 갑자기 헤비메탈 곡으로 전환하는 등, 부자연스럽고 단절된 엉망진창인 결과물을 내놓을 수 있습니다. 그들은 장면 사이의 간극을 어떻게 '연결(bridge)'해야 하는지 알지 못합니다.

JenBridge는 이 문제를 해결하기 위해 설계된 새로운 시스템입니다. 이것을 '음악적 가교 건설자(musical bridge builder)'라고 생각하세요. JenBridge는 영화 전체를 다룰 수 있으며, 영상 장면이 극적으로 변하더라도 음악이 자연스럽게 흐르도록 보장합니다.

작동 방식은 다음과 같이 세 가지 간단한 단계로 나뉩니다.

1. 에디터(The Editor): 영화를 장면 단위로 나누기

먼저, JenBridge는 영화 편집자 역할을 합니다. 긴 영상을 보고 자동으로 논리적인 덩어리(장면)로 자릅니다. 단순히 무작위로 자르는 것이 아니라, 캐릭터가 방에서 나가거나 날씨가 변하는 것처럼 이야기가 바뀌는 지점을 찾아냅니다.

2. 작곡가(The Composer): 각 장면을 위한 음악 쓰기

다음으로, 각 작은 영상 조각을 위해 JenBridge에는 '작곡가' AI가 있습니다. 이 작곡가는 매우 재능이 있습니다. 영상 클립을 보고 "이 영상에는 어떤 종류의 음악이 어울릴까?"라고 자문합니다.

• 이것은 특별한 번역기(VMPT)를 사용하여 영상에 대한 설명(예: "빗속에 있는 슬픈 로봇")을 음악적 레시피(예: "느리고 슬픈 피아노, 단조")로 변환합니다.
• 그 후, 해당 장면에 특화된 고품질의 음악을 생성합니다.

3. 감독(The Director): 장면 사이의 "접착제"

이 부분이 가장 중요한 부분입니다. 과거에는 두 곡이 서로 다를 때, 그냥 두 곡을 테이프로 붙여버리곤 했는데, 이는 듣기에 매우 좋지 않습니다. JenBridge에는 음악들을 어떻게 연결할지 결정하는 감독(인간 영화 감독처럼 행동하는 AI 에이전트)이 있습니다.

감독은 장면을 연결하는 네 가지 방법이 담긴 '도구 상자'를 가지고 있습니다:

• 하드 컷(The Hard Cut): 장면이 평온한 해변에서 갑작스러운 폭발로 바뀔 때, 감독은 음악을 즉시 멈추고 새 노래를 바로 시작합니다. 이는 이야기의 날카로운 '스냅(snap)'과 같습니다.
• 침묵(The Silence): 캐릭터가 충격을 받았을 때, 감독은 긴장감을 높이기 위해 음악을 완전히 끊어 잠시 침묵을 유지할 수 있습니다.
• 페이드(The Fade): 두 장면이 유사할 때(예: 아침 커피를 마시는 장면에서 아침 산책으로 넘어갈 때), 감독은 한 노래를 서서히 줄이면서 다른 노래를 서서히 키웁니다.
• 브릿지(The Bridge - 마법 같은 기술): 이야기가 '슬픔'에서 '희망'으로 바뀔 때, 감독은 단순히 곡을 바꾸는 데 그치지 않습니다. 감독은 특별한 AI를 사용하여 슬픈 곡을 희망찬 곡으로 매끄럽게 변화시키는 새로운 음악적 브릿지를 작곡합니다. 이것은 두 언어를 모두 구사하며 완벽하게 연결되는 문장을 만들어내는 특별한 음악적 번역기와 같습니다.

감독은 똑똑하기 때문에, "좋아, 이 장면은 하드 컷이 필요하지만, 다음 장면은 부드러운 브릿지가 필요해"라고 판단할 수 있습니다. 감독은 인간 감독처럼 지능적으로 이러한 선택을 내립니다.

어떻게 테스트했는가

제작자들은 아무도 긴 영화를 위해 AI가 이 작업을 제대로 수행할 수 있는지 제대로 테스트한 적이 없다는 것을 깨달았습니다. 그래서 그들은 LVS 벤치마크라는 새로운 '시험'을 만들었습니다.

• 그들은 장면 전환이 빠른 120개의 영화 예고편을 가져왔습니다.
• JenBridge와 여러 다른 AI 시스템들에게 이 예고편들에 음악을 입히도록 했습니다.
• 그리고 인간 청취자들에게 결과를 평가하게 했습니다.

결과: JenBridge는 압도적인 차이로 승리했습니다. 인간 청취자들은 JenBridge의 음악이 훨씬 더 자연스럽고, 전환이 더 매끄러우며, 전체 영화가 무작위로 노래를 이어 붙인 것이 아니라 하나의 응집력 있는 이야기를 가진 것처럼 느껴졌다고 평가했습니다.

요 요약

JenBridge는 단순히 영상 클립을 위한 음악을 만드는 시스템이 아니라, 이야기를 이해하는 시스템입니다. 이 시스템은 영상을 분해하고, 각 부분에 맞는 맞춤형 음악을 작성한 다음, 영화 자체와 마찬가지로 음악이 자연스럽게 흐를 수 있도록 정확히 어떻게 각 부분을 연결할지 결정하는 똑똑한 '감독'을 사용합니다. 이것은 진정한 창의적 파트너로서 영화 제작에 참여하는 AI를 향한 한 걸음입니다.

기술 요약

기술 요약: JenBridge

문제 정의

현재의 AI 음악 생성 시스템, 특히 텍스트-음악(T2M) 합성에 진보하고 있는 시스템들은 짧고 고립된 클립에 대해 고충실도 오디오를 생성하는 데는 뛰어나다. 그러나 역동적인 장면 전환이 특징인 긴 형태의 비디오 콘텐츠에 적용할 때는 결정적인 한계에 직면한다. 기존의 비디오-음악(V2M) 접근 방식은 일반적으로 비디오를 단일한 세그먼트로 취급하여, 장면 간의 의미론적 변화를 처리할 메커니가 없는 단일 곡을 생성한다. 이는 서사적 연속성의 결여와 중간 단계 또는 전환의 자연스러움에 대한 창의적 제어 능력의 부재를 초래하며, 결과적으로 전문적인 장편 비디오 사운드트랙 제작에는 부적합하게 만든다.

방법론

저자들은 적응형 장편 비디오 사운드트랙 제작을 위해 설계된 모듈형 및 해석 가능한 프레임워크인 JenBridge를 제안한다. 이 시스템은 3단계 파이프라인을 통해 작동한다.

1. 의미론적 비디오 분할 (Semantic Video Segmentation)

입력 비디오는 PySceneDetect를 사용하여 의미론적으로 일관된 순서의 클립 시퀀스($V_1, V_2, \dots, V_K$)로 분할된다. 이러한 전처리는 프레임워크가 관리 가능한 세그먼트로 작동함으로써 임의의 길이를 가진 비디오를 처리할 수 있게 한다.

2. 점진적 비디오 인식 음악 생성 (Progressive Video-Aware Music Generation)

핵심 생성 모델은 고충실도 합성 및 정밀한 교차 모달 정렬을 달달성하기 위해 2단계 훈련 패러다임을 따른다.

• 1단계 (텍스트-음악 파운데이션): 대규모 텍스트-오디오 코퍼스에서 사전 학습된 파운데이션 모델이다. 이는 사전 학습된 신경 오디오 코덱(Encodec)을 활용하여 원시 파형을 잠재 공간(latent space)으로 인코딩한다. 생성 백본은 flow-matching 목적 함수로 학습된 멀티모달 확산 트랜스포머(MMDiT)이다. 컨디셔닝 메커니즘은 기술적 프롬프트(장르, 악기, 분위기)로부터 시퀀스 임베딩($y$)과 글로벌 풀링 임베딩($c$)을 생성하기 위해 멀티 인코더 텍스트 아키텍처(T5-large 및 T5-base)를 사용한다.
• 2단계 (비디오 인식 적응): 모델은 이중 컨디셔닝을 통해 비디오 도메인에 적응된다.
  • 시각적 컨디셔닝 (Visual Conditioning): 전용 시각 인코더(SigLIP)가 프레임 레벨 특징을 추출하며, 이는 평균 풀링되어 글로벌 시각 특징 벡터를 형성한다. 이는 텍스트 임베딩과 결합되어 융합된 글로벌 컨디션($c_{fused}$)을 형성한다.
  • 비주얼-투-뮤직 프롬프트 번역기 (VMPT): 비디오 데이터셋에 구조화된 음악 프롬프트가 부족한 문제를 해결하기 위해, 미세 조정된 LLM(Qwen3-8B)이 원시 비디오 캡션을 메타데이터(장르, 악기, 분위기, BPM)를 포함하는 구조화된 음악 프롬프트로 번บริ한다.
  • 모델은 이러한 융합된 컨디션들을 기반으로 그라운드 트루스 벡터 필드를 예측하도록 학습된다.

3. 적응형 전환 메커니즘 (Adaptive Transition Mechanism)

생성된 오디오 클립($A_1, \dots, A_K$)을 매끄럽게 연결하기 위해, JenBridge는 다음과 같은 네 가지 스타일의 전환 툴킷을 포함하는 적응형 전환 시스템을 사용한다.

• 전환 툴킷 (Transition Toolkit): Abrupt Cut(갑작스러운 컷), Silent Gap(무음 구간), Fade In/Out(페이드 인/아웃), 그리고 Generative Transition(생성적 전환)의 네 가지 스타일을 갖춘 다채로운 세트이다. 생성적 전환은 두 개의 서로 다른 오디오 세그먼트 사이에 음악적 브릿지를 합성하도록 학습된 ControlNet 기반 인페인팅 모델을 활용한다. 이 모델은 텍스트 임베딩과 블록 단위 잠재 표현의 구형 선형 보간(slerp)을 통해 생성된 컨디션에 의해 가이드된다.
• 감독으로서의 LLM 에이전트 (LLM Agent as Director): LLM 에이전트(Qwen3-8B)가 크리에이티브 디렉터 역할을 수행한다. 인접한 클립의 시각적 및 음악적 맥락을 고려하여, 에이전트는 퓨샷 인컨텍스트 러닝(few-shot in-context learning)을 사용하여 각 서사적 변화에 가장 적절한 전환 스타일을 툴킷에서 지능적으로 선택한다.

주요 기여

1. JenBridge 프레임워크: 다양한 장면 전환에 걸쳐 일관되고 고충실도의 음악을 생성하는 엔드 투 엔드(end-to-end) 모듈형 장편 비디오 사운드트랙 프레임워크이다. 이 아키텍처는 해석 가능하고 제어 가능하도록 설계되었다.
2. 적응형 전환 메커니즘: 다채로운 전환 스타일 툴킷(생성적 인페인팅 방법 포함)과 컨텍스트를 인식하여 전환을 디렉팅하는 LLM 에이전트를 결합한 새로운 시스템이다.
3. LVS 벤치마크: 이 작업에 특화되어 설계된 최초의 벤치마크인 Long-form Video Soundtrack (LVS) 벤치마크를 도입하였다. 여기에는 풍부한 멀티모달 주석이 달린 120개의 장편 트레일러 비디오로 구성된 큐레이션된 데이터셋이 포함되며, 단순한 세그먼트 기반 지표를 넘어 전환 품질과 서사적 일관성을 평가하는 종합적인 평가 프로토콜을 제안한다.

실험 결과

저자들은 LVS 벤치마크에서 6가지 베이스라인 접근 방식(CMT, LORIS, AudioX, VidMuse의 다양한 구성 포함)을 대상으로 JenBridge를 평가하였다.

• 객관적 지표: JenBridge는 비디오-음악 정렬(Image-Bind Score: 0.224 vs. 차순위 모델 0.162) 및 오디오 미학 측면에서 베이스라인을 크게 앞지르며 최첨단 성능을 달성했다. 특히, **제작 복잡도(Production Complexity, PC)**에서 가장 높은 점수를 기록했는데, 이는 베이스라인의 단순한 연결이나 단일 생성보다 더 풍부한 음악적 구조를 가지고 있음을 나타낸다.
• 주관적 지표: 10명의 참가자를 대상으로 한 사용자 연구에서, JenBridge는 모든 차원에서 가장 높은 평가를 받았다. 가장 유의미한 개선은 전환 자연스러움(Transition Naturalness)(최고 베이스라인 2.5 대비 4.2)에서 나타났으며, 이는 적응형 전환 메커니즘의 효과를 입증한다.
• 절제 연구 (Ablation Studies): 적응형 전환 메커니즘을 제거했을 때 전환 점수가 급격히 하락(4.2에서 2.8로)하여, 전환 메커니즘의 결정적인 역할을 확인하였다. 시각적 컨디셔닝이나 VMPT를 비활성화하는 것 또한 모든 지표에서 상당한 성능 저하를 초래했다.

의의 및 주장

본 논문은 JenBridge가 완전 자동화된 전문가 수준의 비디오 사운드트랙 제작을 향한 중요한 진전임을 주장한다. 장면 전환 전반에 걸쳐 서사적 연속성을 유지하는 문제를 해결함으로써, 이 프레임워크는 자동 생성과 장편 콘텐츠에 필요한 창의적 워크플로우 사이의 간극을 메운다. 저자들은 JenBridge를 인간 창작자를 대체하는 것이 아니라, 그들을 지원하는 협업 도구로 포지셔닝한다.

또한 본 연구는 기존의 짧은 클립 데이터셋의 한계를 넘어 장편 생성에 대한 엄격한 평가 표준을 확립하는 데 있어 LVS 벤치마크의 중요성을 강조한다. 공공 비디오-음악 데이터셋의 충실도 문제와 현재 LLM 에이전트의 글로벌 서사 계획 능력 부족을 인정하면서도, 저자들은 이 프레임워크가 비디오 제작을 위한 협업 AI 도구의 발전을 위한 견고한 토대를 제공한다고 단언한다.