FoleyDirector: Fine-Grained Temporal Steering for Video-to-Audio Generation via Structured Scripts

본 논문은 비디오 내의 미세한 시간적 제어가 어려운 기존 Video-to-Audio 방법의 한계를 극복하기 위해, 구조화된 시간 스크립트 (Structured Temporal Scripts) 와 이 프레임 사운드 합성 (Bi-Frame Sound Synthesis) 기술을 도입하여 시간적 정밀도를 유지하면서도 고품질 오디오를 생성하는 'FoleyDirector' 프레임워크를 제안합니다.

핵심

🎬 '포레이 디렉터 (FoleyDirector)': 영상에 소리를 입히는 마법 같은 지휘자

이 논문은 "영상에 소리를 입히는 AI" 기술의 새로운 장을 연 연구입니다. 기존 AI 들은 영상의 내용을 보고 소리를 만들어내지만, "언제, 어떤 소리가 들릴지" 사용자가 직접 지시하는 것은 매우 어려웠습니다. 이 연구는 마치 영화 촬영 현장에서 소리를 담당하는 **'포레이 아티스트 (Foley Artist)'**처럼, 사용자가 직접 소리의 타이밍과 내용을 지시할 수 있게 해주는 **'FoleyDirector'**라는 새로운 시스템을 소개합니다.

---

🎻 1. 기존 문제: "소리가 제멋대로 흐르는 상황"

기존의 영상-음성 생성 AI 는 마치 악보 없이 즉흥 연주를 하는 음악가와 같습니다.

• 문제점: AI 가 영상을 보고 "차 소리가 나겠지?"라고 추측해서 소리를 내지만, **"정확히 5 초부터 6 초까지만 경적을 울리고, 그 외엔 조용히 해줘"**라고 말하면 AI 는 당황합니다.
• 시각적 단서가 부족할 때: 화면 밖에서 들리는 소리 (예: 화면 밖의 개 짖는 소리) 나 가려진 물체의 소리는 AI 가 전혀 알 수 없어 소리를 못 만들거나, 엉뚱한 시간에 소리를 냅니다.

🎛️ 2. 해결책: FoleyDirector (포레이 디렉터)

이 연구는 사용자를 **'소리의 지휘자'**로 만들어줍니다. 사용자는 AI 에게 **"대본 (Script)"**을 주고, AI 는 그 대본에 맞춰 소리를 정교하게 연주합니다.

📜 핵심 기술 1: '구조화된 시간 대본 (Structured Temporal Scripts)'

기존에는 영상 전체에 대한 한 줄 설명만 줬다면, 이제는 1 초 단위로 쪼개진 상세 대본을 줍니다.

• 비유: 전체 영화를 한 문장으로 설명하는 대신, **"12 초: 고양이 야옹 소리 / 34 초: 사람 대화 소리"**처럼 시간표가 달린 악보를 주는 것입니다.
• 효과: AI 는 이제 "언제" 소리가 나야 하는지 정확히 알 수 있어, 사용자가 원하는 타이밍에 딱 맞는 소리를 만들어냅니다.

🧩 핵심 기술 2: '스크립트 가이드 융합 모듈 (SG-TFM)'

이 대본 정보를 AI 가 자연스럽게 이해하도록 도와주는 '번역가' 같은 역할을 합니다.

• 비유: AI 가 보는 영상과 들리는 소리, 그리고 사용자가 준 대본이 서로 다른 언어로 말하고 있다면, 이 모듈은 세 가지를 동시에 이해하고 조율해줍니다.
• 특징: 사용자가 대본을 주지 않으면 기존 방식 (단순 영상 분석) 으로 돌아가고, 대본을 주면 정교한 제어가 가능해집니다. 원하는 대로 스위치를 켜고 끌 수 있습니다.

🎭 핵심 기술 3: '이중 프레임 사운드 합성 (Bi-Frame Sound Synthesis)'

화면에 보이는 소리 (In-frame) 와 화면 밖의 소리 (Out-of-frame) 를 동시에 다룰 수 있게 해줍니다.

• 비유: 영화 촬영장에서 화면 속 배우의 목소리와 화면 밖에서 들리는 배경음을 따로따로 녹음했다가, 마지막에 완벽하게 섞는 것과 같습니다.
• 효과: "화면에는 아무도 없는데, 갑자기 개가 짖는 소리"나 "사람이 웃는데 갑자기 호랑이 울음소리가 섞이는" 같은 복잡하고 창의적인 상황도 구현 가능합니다.

---

🏆 3. 왜 이것이 중요한가요? (성과)

이 기술은 기존 AI 들이 하던 실수들을 대폭 줄였습니다.

1. 정밀한 타이밍 제어: "5 초부터 6 초까지만 경적"이라는 지시를 정확히 따릅니다. (기존 AI 는 5 초부터 10 초까지 계속 울리거나, 아예 안 울리는 경우가 많았습니다.)
2. 보이지 않는 소리 구현: 화면에 없는 소리를 대본만으로도 자연스럽게 만들어냅니다.
3. 고퀄리티 유지: 소리를 제어한다고 해서 음질이 나빠지지 않습니다. 오히려 더 자연스럽고 사실적인 소리가 납니다.

🚀 4. 결론: 이제 당신이 '소리 감독'입니다

이 연구는 AI 가 단순히 영상의 소리를 '추측'하는 것을 넘어, 사용자가 직접 소리의 흐름을 지휘할 수 있게 했습니다.

한 줄 요약:
"이제 AI 에게 영상만 주고 소리를 맡기는 게 아니라, **'이때는 이 소리, 저때는 저 소리'**라고 **시간표 (대본)**를 짜주면, AI 가 그 지시에 맞춰 완벽한 사운드트랙을 만들어줍니다."

이 기술은 영화 제작, 게임 개발, 그리고 창의적인 콘텐츠 제작에서 소리를 다루는 비용과 시간을 획기적으로 줄여주며, 누구나 쉽게 '소리 감독'이 될 수 있는 시대를 열었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

최근 비디오 - 오디오 (V2A) 생성 모델은 고품질의 오디오 합성 능력을 보여주었으나, 다음과 같은 한계점을 가지고 있습니다:

• 세밀한 시간 제어의 부재: 다중 이벤트 (여러 사운드) 가 발생하는 복잡한 장면에서 특정 시간대에 소리가 발생하도록 정밀하게 제어하기 어렵습니다.
• 시각적 단서의 부족: 화면 밖 (Off-screen) 의 소리, 작은 영역의 움직임, 가려진 (Occluded) 객체 등 시각 정보가 불충분한 경우, 모델이 소리의 발생 시점과 내용을 제어하지 못합니다.
• 사용자 통제력 부족: 기존 모델은 전역적인 (Global) 텍스트 설명에만 의존하여, 사용자가 특정 구간만 소리를 내거나 침묵하게 하는 등 '포일 (Foley) 감독'으로서의 역할을 수행하기 어렵습니다.

2. 제안 방법 (Methodology)

저자들은 FoleyDirector라는 프레임워크를 제안하며, 이는 사전 학습된 DiT(Diffusion Transformer) 기반 V2A 모델 (MMAudio) 을 확장하여 세밀한 시간 제어를 가능하게 합니다.

A. 구조화된 시간 스크립트 (Structured Temporal Scripts, STS)

• 개념: 전체 비디오/오디오를 1 초 단위의 짧은 세그먼트로 분할하고, 각 세그먼트에 해당하는 상세한 텍스트 설명 (캡션) 을 생성합니다.
• 구성: 각 세그먼트는 사운드 이벤트, 음량 (Loudness), 음색 (Timbre) 등의 속성을 포함합니다.
• 데이터 구축: Qwen-Omni 와 같은 멀티모달 LLM 을 활용하여 기존 오디오 데이터 (VGGSound 등) 에서 세그먼트 단위의 STS 를 자동 추출하고, 이를 통해 DirectorSound 데이터셋을 구축했습니다.

B. 스크립트 가이드 시간 융합 모듈 (Script-Guided Temporal Fusion Module, SG-TFM)

• 역할: 추출된 STS 특징을 기존 V2A 모델에 통합하는 어댑터 (Adapter) 입니다.
• 작동 원리:
  • Temporal Script Attention (TSA): 오디오 특징과 STS 특징을 융합하는 별도의 어텐션 레이어를 추가합니다.
  • Interleaved RoPE: 오디오와 STS 토큰을 시간 축에서 교차 (Interleave) 시킨 후 RoPE(Rotary Positional Embedding) 를 적용하여, 시간적 정렬 (Temporal Alignment) 을 강화합니다.
  • 유연성: SG-TFM 모듈을 비활성화하면 기존 V2A 생성 모드로 즉시 전환 가능하여, 모델의 원본 생성 품질을 유지하면서도 제어 모드를 선택할 수 있습니다.

C. 바이-프레임 사운드 합성 프레임워크 (Bi-Frame Sound Synthesis Framework)

• 목적: 화면 내 (In-frame) 와 화면 외 (Out-of-frame) 소리를 동시에 처리하고 제어하기 위함입니다.
• 구조: 오디오 잠재 변수 (Latent) 를 두 개의 스트림으로 분할합니다.
  1. In-frame: 비디오, 텍스트, STS 조건을 모두 받습니다.
  2. Out-of-frame: 비디오 특징을 'Null'로 처리하고 텍스트 및 STS 조건만으로 소리를 생성합니다 (시각적 간섭 제거).
• 융합: 시간 세그먼트에 따라 두 스트림의 출력을 융합하여, 시각적 단서가 없거나 반사실적 (Counterfactual) 인 소리 (예: 화면 밖의 개 짖는 소리) 를 정밀하게 제어합니다.

3. 주요 기여 (Key Contributions)

1. FoleyDirector 프레임워크: V2A 작업에서 최초로 DiT 기반 모델에 세밀한 시간 제어 (Fine-grained Temporal Control) 기능을 도입했습니다.
2. STS 및 SG-TFM: 복잡한 캡션을 구조화된 시간 스크립트로 분해하고, 시간적 일관성을 유지하며 모델에 통합하는 새로운 아키텍처를 제안했습니다.
3. Bi-Frame 합성: 시각적 단서가 부족한 복잡한 시나리오 (화면 밖 소리 등) 를 처리하기 위한 병렬 합성 구조를 제안했습니다.
4. 데이터셋 및 벤치마크:
   • DirectorSound: STS 가 포함된 학습 데이터셋.
   • DirectorBench: 시간 제어 및 반사실적 제어 능력을 평가하는 벤치마크.
   • VGGSound-Director: 생성된 오디오의 품질을 평가하는 벤치마크.

4. 실험 결과 (Results)

• 제어 능력 (DirectorBench):
  • 기존 최첨단 모델 (MMAudio, HunyuanVideo-Foley 등) 대비 F1-score 가 0.2451 에서 0.4819 로 약 2 배 향상되었습니다.
  • 특히 반사실적 (Counterfactual) 제어와 특정 구간 침묵/소리 발생 제어에서 뛰어난 성능을 보였습니다.
• 오디오 품질 (VGGSound-Director):
  • STS 를 추가하더라도 원본 모델의 오디오 품질 (분포 일치도, 청각적 품질, 시 - 청 동기화) 이 저하되지 않았습니다.
  • 오히려 KL 발산 (KL-divergence) 이 감소하고 ISC(Inception Score) 가 향상되어 더 현실적인 오디오를 생성함을 보였습니다.
• 사용자 연구:
  • 30 명의 사용자를 대상으로 한 평가에서 FoleyDirector 는 품질, 제어력, 시간 정렬성 모두에서 다른 모델보다 높은 점수를 받았습니다.
• 비교 분석:
  • Bi-Frame 구조를 사용하지 않을 경우 화면 밖 소리 제어 성능이 저하됨을 확인하여, 해당 모듈의 중요성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 비디오 - 오디오 생성 분야에서 사용자가 '포일 감독 (Foley Director)'처럼 소리의 발생 시점과 내용을 정밀하게 지시할 수 있는 가능성을 열었습니다.

• 기술적 의의: 시각 정보만으로는 해결하기 어려운 오디오 생성의 한계 (화면 밖 소리, 미세한 타이밍 제어) 를 텍스트 기반의 구조화된 스크립트를 통해 극복했습니다.
• 실용적 가치: 영화, 게임, 콘텐츠 제작 등에서 사운드 디자인의 자동화와 정밀한 제어를 가능하게 하여, 제작 비용과 시간을 절감하면서도 창의적인 표현력을 높이는 데 기여합니다.

요약하자면, FoleyDirector 는 **구조화된 시간 스크립트 (STS)**를 통해 비디오 - 오디오 생성 모델에 시간적 정밀도와 시각적 단서 부족 상황에서의 제어력을 부여한 획기적인 프레임워크입니다.