Echoes Over Time: Unlocking Length Generalization in Video-to-Audio Generation Models

이 논문은 짧은 영상 데이터로만 학습된 모델이 긴 영상에 대한 오디오 생성도 가능하도록 하는 계층적 구조와 비인과적 Mamba 를 활용한 MMHNet 을 제안하여, 기존 방법들의 한계를 극복하고 5 분 이상의 장시간 영상-오디오 생성 성능을 획기적으로 향상시켰습니다.

핵심

"시간의 메아리 (Echoes Over Time)": 짧은 영상으로 긴 소리를 만들어내는 마법

이 논문은 **"짧은 영상을 보고 짧은 소리만 만들 수 있었던 기존 AI 가, 어떻게 5 분 이상의 긴 영상에서도 자연스러운 소리를 만들어낼 수 있게 되었는지"**에 대한 이야기입니다.

기존의 기술은 마치 **8 초짜리 짧은 영상만 보고 소리를 내는 '단거리 선수'**였습니다. 하지만 영화나 게임처럼 긴 영상을 보고 소리를 만들어내려 하면, 소리가 끊기거나 엉뚱한 소리가 나기 일쑤였습니다. 이 연구팀은 그 문제를 해결하기 위해 **'MMHNet'**이라는 새로운 시스템을 개발했습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: 왜 기존 AI 는 긴 영상을 못 들었을까? (단거리 선수의 한계)

기존의 AI 모델 (트랜스포머 기반) 은 영상을 볼 때 **매우 정해진 규칙 (위치 암호)**을 따릅니다. 마치 열차의 좌석 번호처럼 "1 번 좌석은 시작, 2 번 좌석은 중간"이라고 딱 정해져 있는 거죠.

• 비유: 만약 이 열차가 8 칸짜리만 만들 수 있게 설계되었다면, 50 칸짜리 긴 열차를 만들 때 9 번 좌석부터는 "어? 여기 좌석 번호가 없는데?"라고 당황해서 소리를 못 내거나, 엉뚱한 소리를 내게 됩니다.
• 결과: 짧은 영상 (8 초) 에서는 잘 작동하지만, 5 분짜리 긴 영상을 보면 소리가 뭉개지거나, 영상 속 상황과 맞지 않는 소리가 납니다.

2. 해결책 1: "위치 번호"를 버리고 "흐름"을 따라가기 (Mamba-2)

연구팀은 이 정해진 좌석 번호 (위치 암호) 를 아예 없애고, 소리의 흐름 그 자체에 집중하는 새로운 엔진인 **'Mamba-2'**를 도입했습니다.

• 비유: 이제 열차가 아니라 강물을 생각해보세요. 강물은 1 번, 2 번 칸이 따로 있는 게 아니라, 물이 흐르는 대로 자연스럽게 이어집니다.
• 효과: AI 는 영상의 처음부터 끝까지, 위치 번호에 구애받지 않고 소리가 어떻게 변해가는지 '흐름'을 자연스럽게 따라갈 수 있게 되었습니다. 그래서 8 초로 훈련했더라도 5 분짜리 영상에서도 소리가 끊기지 않고 자연스럽게 이어집니다.

3. 해결책 2: "핵심만 골라내는" 지능형 라우터 (계층적 네트워크)

긴 영상을 보면 같은 장면이 반복되거나, 중요한 소리가 나지 않는 구간도 많습니다. 모든 것을 다 처리하면 AI 가 지쳐버립니다. 그래서 연구팀은 **핵심만 골라내는 '라우터 (길 안내자)'**를 만들었습니다.

• 비유: 긴 영화를 볼 때, 배경음악이 조용한 장면은 건너뛰고, '폭발'이나 '대화'가 있는 중요한 장면만 골라서 소리를 만드는 거예요.
• 작동 원리:
  1. 시간 라우팅: "지금 소리가 나는 구간인가?"를 확인해서 중요한 시간대만 집중합니다.
  2. 멀티모달 라우팅: "영상 (눈) 과 소리 (귀) 가 잘 맞는 구간인가?"를 확인해서, 영상 속 사물과 소리가 일치하는 부분만 선별합니다.
• 효과: 불필요한 정보 (노이즈) 는 버리고, 진짜 중요한 소리만 선별해서 처리하므로 AI 가 훨씬 효율적으로, 또 선명하게 긴 소리를 만들어냅니다.

4. 해결책 3: "과거와 미래를 동시에 보는" 눈 (비인과적 모델)

기존 모델은 소리를 만들 때 '과거'만 보고 '미래'를 예측하는 방식 (인과적) 이었습니다. 하지만 긴 영상에서는 앞뒤 맥락이 모두 중요합니다.

• 비유: 소설을 쓸 때, 앞장만 보고 뒤를 쓰는 게 아니라 책 전체를 한 번에 훑어보고 "여기서 이 소리가 나야 맞지?"라고 전체적인 맥락을 파악하는 것과 같습니다.
• 효과: AI 는 영상의 앞부분과 뒷부분을 동시에 고려해서, 영상 전체의 분위기에 맞는 일관된 소리를 만들어냅니다.

---

요약: 이 기술이 왜 대단한가요?

이 연구팀은 **"짧은 영상 (8 초) 으로만 훈련했는데, 5 분 이상의 긴 영상에서도 최고의 소리를 만들어냈다"**는 놀라운 성과를 냈습니다.

• 기존 방식: 짧은 영상은 잘 만들지만, 길어지면 소리가 뭉개지거나 엉망이 됨.
• 새로운 방식 (MMHNet): 8 초로 배운 지식을 바탕으로, 5 분짜리 긴 영상에서도 영화처럼 자연스럽고 일관된 소리를 만들어냄.

마치 8 분짜리 짧은 동요만 배운 아이가, 5 분짜리 긴 교향곡을 보고도 악보 없이도 완벽한 연주를 해내는 마법과 같습니다. 이 기술은 영화 제작, 게임 사운드, 애니메이션 등 긴 영상을 다루는 모든 분야에서 소리의 질을 획기적으로 높여줄 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 비디오 - 오디오 생성 (V2A) 의 한계: 기존 비디오 - 오디오 생성 모델들은 주로 8~10 초와 같은 짧은 클립에 최적화되어 있습니다. 이러한 모델들은 고정된 길이의 노이즈를 제거하는 확산 (Diffusion) 기반 접근법을 주로 사용하며, 트랜스포머 (Transformer) 아키텍처에 의존합니다.
• 길이 일반화 (Length Generalization) 문제: 짧은 데이터로 학습된 모델이 추론 시 더 긴 비디오 (예: 5 분 이상) 에 적용될 때 성능이 급격히 저하됩니다.
  • 원인: 트랜스포머 기반 모델은 명시적인 위치 인코딩 (Positional Embeddings) 에 의존합니다. 학습 시 사용된 시퀀스 길이와 다른 긴 시퀀스를 처리할 때, 위치 인코딩이 적절히 일반화되지 않아 오디오의 시간적 구조가 무너지고 품질이 떨어집니다.
  • 기존 대안의 결함: 긴 비디오를 짧은 클립으로 분할하여 생성하는 방식은 오디오의 끊김 (fragmentation), 정렬 불일치, 품질 저하를 초래합니다.

2. 제안 방법론: MMHNet (Methodology)

저자들은 MMHNet (Multimodal Hierarchical Network) 을 제안하여 짧은 데이터로 학습하고 긴 비디오에 대해 고품질 오디오를 생성하는 것을 목표로 합니다.

핵심 구성 요소

1. Non-Causal Mamba-2 아키텍처 도입:

   • 트랜스포머의 위치 인코딩 의존성을 제거하기 위해 Mamba-2 (State-Space Model) 를 채택했습니다.
   • Non-Causal (비인과적) 방식: 비디오 조건은 오프라인으로 전체적으로 존재하므로, 순차적인 토큰 처리가 필요하지 않습니다. Non-Causal Mamba-2 는 양방향 정보 흐름을 허용하여 전역적 수용 영역 (Global Receptive Field) 을 유지하고, 긴 시퀀스에서의 정보 감쇠 (modulation decay) 문제를 해결합니다.
   • 이를 통해 학습 시 보지 못한 긴 시퀀스에도 명시적인 위치 인코딩 수정 없이도 일반화가 가능합니다.

2. 계층적 네트워크 (Hierarchical Framework) 및 라우팅 (Routing):

   • 긴 비디오/오디오 데이터에는 많은 중복 정보가 포함되어 있습니다. 이를 처리하기 위해 계층적 구조를 도입했습니다.
   • Temporal Routing (시간적 라우팅): 오디오 이벤트가 발생하는 중요한 시간 구간만 선택적으로 처리하고, 중복된 구간은 압축 (Chunking) 하여 처리 효율성을 높입니다.
   • Multimodal Routing (다중 모달 라우팅): 오디오와 비디오 (또는 텍스트) 간의 유사도 (Cosine Similarity) 를 기반으로 중요한 토큰만 메인 네트워크로 전달하여 모달리티 간의 정렬을 강화합니다.
   • 압축 공간 (Compressed Space): 초기 레이어에서 토큰 수를 줄여 계산 비용을 절감하고, 이후 디컴프링 (Dechunking) 을 통해 세부 정보를 복원합니다.

3. Flow Matching 기반 생성:

   • 조건부 흐름 매칭 (Conditional Flow Matching) 을 사용하여 오디오 분포를 학습하며, 잠재 공간 (Latent Space) 에서 효율적인 샘플링을 수행합니다.

3. 주요 기여 (Key Contributions)

1. 길이 일반화 챌린지 제시: 고정된 짧은 길이 (8 초) 의 오디오 - 비디오 데이터로 학습하고, UnAV100 및 LongVale 데이터셋을 사용하여 긴 형식 (Long-form) 의 V2A 생성 과제를 평가하는 새로운 벤치마크를 설정했습니다.
2. MMHNet 프레임워크 개발: MMAudio 와 계층적 네트워크 (HNet) 를 결합한 새로운 모델을 제안하여, 추가적인 추론 조정 없이도 긴 비디오에 대한 일관된 고품질 오디오 생성을 가능하게 했습니다.
3. 성능 검증: 다양한 길이 (10 초~5 분 이상) 에 걸친 실험을 통해 제안된 방법이 기존 최첨단 (SOTA) 방법들보다 우수한 성능을 보이며, 비디오 길이에 따라 확장 가능함을 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: UnAV100 (1060 초), LongVale (10500 초), VGGSound 에서 평가 수행.
• 성능 비교:
  • 분배 정합 (Distribution Matching): 생성된 오디오의 통계적 특성이 실제 오디오와 더 잘 일치합니다 (FDPANNs, FDPaSST 점수 향상).
  • 다중 모달 정렬 (Multimodal Alignment): 비디오와 오디오의 의미론적 정렬을 측정하는 IB-Score에서 기존 SOTA 모델 (LoVA, HunyuanVideo-Foley 등) 을 크게 상회했습니다. 특히 UnAV100 에서 HunyuanVideo-Foley 대비 3.9 점 이상 향상되었습니다.
  • 시간 동기화 (Temporal Synchronization): 오디오와 비디오 간의 시간적 오프셋을 측정하는 DeSync 점수에서 가장 낮은 (우수한) 값을 기록하여, 긴 비디오에서도 정확한 싱크를 유지함을 보였습니다.
• 길이 일반화 분석:
  • 기존 모델 (MMAudio, LoVA 등) 은 비디오 길이가 10 초에서 60 초로 늘어나면 성능이 급격히 떨어지는 반면, MMHNet 은 긴 구간에서도 일관된 성능을 유지했습니다.
  • 5 분 이상의 긴 비디오 생성에서도 성공적인 결과를 도출했습니다.

5. 의의 및 결론 (Significance)

• 트랜스포머의 한계 극복: 위치 인코딩에 의존하지 않는 Mamba-2 기반 아키텍처를 V2A 작업에 성공적으로 적용하여, 학습 데이터의 길이 제한을 넘어선 생성이 가능함을 증명했습니다.
• 실용적 가치: 영화, 게임 등 장시간의 사운드 디자인 워크플로우에 직접 적용 가능한 고품질 자동 사운드 생성 기술의 토대를 마련했습니다.
• 효율성: 계층적 라우팅 메커니즘을 통해 긴 시퀀스 처리 시 발생하는 계산 복잡도를 줄이면서도 정밀한 모달리티 정렬을 달성했습니다.

요약하자면, 이 논문은 짧은 데이터로 학습된 모델이 긴 비디오에 대해 자연스럽게 오디오를 생성할 수 있는 "길이 일반화" 문제를 해결하기 위해, Non-Causal Mamba-2와 계층적 토큰 라우팅을 결합한 혁신적인 프레임워크 MMHNet을 제안하고, 이를 통해 기존 모델들의 한계를 극복했음을 입증한 연구입니다.