⚡ electrical engineering

MMAudioSep: Taming Video-to-Audio Generative Model Towards Video/Text-Queried Sound Separation

이 논문은 사전 훈련된 비디오-오디오 생성 모델을 기반으로 하여, 비디오나 텍스트 쿼리에 따른 사운드 분리를 효율적으로 수행하면서도 원래의 비디오-오디오 생성 능력을 유지하는 'MMAudioSep'을 제안하고 기존 모델보다 우수한 성능을 입증합니다.

원저자: Akira Takahashi, Shusuke Takahashi, Yuki Mitsufuji

게시일 2026-04-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Akira Takahashi, Shusuke Takahashi, Yuki Mitsufuji

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **'MMAudioSep'**이라는 새로운 인공지능 모델을 소개합니다. 이 모델의 핵심 아이디어를 일상적인 비유로 쉽게 설명해 드릴게요.

🎬 핵심 비유: "혼란스러운 파티의 소리를 정리하는 마법사"

상상해 보세요. 시끄러운 파티가 열리고 있습니다.

비디오는 파티 장면을 보여줍니다. (누가 춤추고, 누가 악기를 치는지)
텍스트는 "드럼 소리만 들려줘"라고 요청하는 말입니다.
오디오는 파티 전체 소리가 뒤섞인 '혼합음'입니다.

기존의 기술들은 이 섞인 소리를 분리하는 데 한계가 있었습니다. 하지만 이 논문이 제안한 MMAudioSep은 다음과 같은 방식으로 작동합니다.

1. 기존 방식 vs 새로운 방식

기존의 분리 기술 (기존 모델):
마치 소음 속에서 목소리를 구분하려는 청각 훈련을 받은 전문가처럼, 처음부터 소리를 구분하는 법을 하나하나 외워야 합니다. 데이터가 부족하거나 복잡한 상황에서는 실수를 하기도 쉽습니다.
MMAudioSep 의 새로운 접근 (이 논문):
이 모델은 소리를 분리하는 법을 처음부터 배우는 게 아니라, **"소리를 만들어내는 마법사 (MMAudio)"**가 된 후, 그 능력을 활용해서 소리를 분리하는 법을 재빨리 배운 (Fine-tuning) 것입니다.
- 비유: 소리를 만드는 법을 완벽하게 아는 마법사가 있습니다. 이 마법사는 "이 비디오를 보고 소리를 만들어줘"라고 하면 정확히 소리를 만들어냅니다.
- MMAudioSep 의 아이디어: "아, 이 마법사는 소리가 어떻게 만들어지는지 너무 잘 알고 있구나! 그럼 이 마법사에게 '섞인 소리를 주면, 그중에서 특정 소리만 골라내게'라고 가르치면 어떨까?"라고 생각한 것입니다.

2. 어떻게 작동할까요? (채널 연결 조건부 기법)

이 모델은 섞인 소리를 입력할 때, 마치 레고 블록을 붙이듯 섞인 소리를 모델의 입력 부분에 추가합니다.

상황: 마법사에게 "비디오 (파티 장면) + 텍스트 (드럼 소리만)"를 보여줍니다.
입력: 여기에 "섞인 소리 (전체 파티 소리)"도 함께 줍니다.
작동: 마법사는 "아, 이 섞인 소리 속에 드럼 소리가 있구나. 내가 드럼 소리를 만들어내는 법을 알고 있으니, 섞인 소리에서 드럼 소리만 골라내서 다른 소리는 지워버리면 되겠다!"라고 판단합니다.

이때 중요한 점은, 마법사가 원래 가지고 있던 '소리를 만드는 능력'을 잃지 않고 유지한다는 것입니다.

3. 이 모델의 놀라운 능력 (두 마리 토끼 다 잡기)

이 연구의 가장 큰 성과는 두 가지 일을 동시에 잘한다는 것입니다.

소리 분리 (Sound Separation):
- "이 비디오에서 드럼 소리만 분리해줘!"라고 하면, 섞인 소리에서 드럼 소리만 깨끗하게 뽑아냅니다.
- 실험 결과, 기존에 있던 최고의 분리 기술들보다 더 정확하고 선명한 소리를 만들어냈습니다.
소리 생성 (Video-to-Audio Generation):
- 분리 기능을 배우고 나서도, 원래의 능력인 **"비디오를 보고 소리를 만들어내는 것"**을 잊지 않았습니다.
- 섞인 소리 대신 '흰 소음 (흰색 잡음)'을 입력하면, 여전히 비디오에 맞는 소리를 만들어냅니다.
- 비유: 소리를 분리하는 법을 배운 마법사가, 여전히 새로운 소리를 만들어낼 수 있는 마법사라는 뜻입니다.

4. 왜 이것이 중요한가요?

효율성: 처음부터 소리를 분리하는 모델을 만드는 데 드는 엄청난 시간과 비용을 아낄 수 있습니다. 이미 소리를 만드는 법을 아는 모델을 활용하기 때문입니다.
유연성: 비디오를 보고 소리를 만들 수도 있고, 섞인 소리를 분리할 수도 있는 만능 모델이 되었습니다.
미래: 이 기술은 앞으로 소음 제거, 특정 악기만 추출하기, 혹은 시각과 소리를 연결하는 다양한 AI 응용 분야에 사용될 수 있는 기초 기술 (Foundation Model) 로 자리 잡을 것입니다.

📝 한 줄 요약

"소리를 만들어내는 법을 이미 아는 마법사에게, '섞인 소리에서 원하는 소리만 골라내는 법'을 가르쳤더니, 분리 실력도 최고가 되면서 원래의 소리 만들기 능력도 잃지 않았다!"

이 연구는 AI 가 특정 작업 (소리 분리) 을 위해 처음부터 배우는 대신, 이미 풍부한 지식을 가진 모델 (소리 생성) 을 활용하여 더 똑똑하고 효율적으로 만드는 길을 열었습니다.

1. 문제 정의 (Problem)

기존의 사운드 분리 (Sound Separation, SS) 모델은 주로 판별적 (discrimative) 접근법을 사용하여 혼합된 오디오 신호에서 특정 음원을 추출하는 데 초점을 맞추어 왔습니다. 최근에는 텍스트나 비디오 쿼리를 기반으로 한 분리 모델들이 등장하고 있지만, 생성적 (generative) 접근법을 활용한 사운드 분리는 아직 초기 단계입니다.

반면, 비디오와 텍스트 조건을 입력받아 고품질의 오디오를 생성하는 **비디오 - 오디오 생성 모델 (Video-to-Audio, V2A)**은 멀티모달 지식 (시각적, 텍스트적, 청각적 관계) 을 풍부하게 학습하고 있습니다. 그러나 현재까지 이러한 생성 모델이 가진 풍부한 멀티모달 지식을 사운드 분리 작업에 효과적으로 전이 (transfer) 시키는 연구는 시도되지 않았습니다. 즉, 생성 모델의 지식을 활용하여 비디오/텍스트 쿼리가 가능한 고품질 사운드 분리 모델을 구축하는 방법론이 부재했습니다.

2. 방법론 (Methodology)

저자들은 사전 학습된 비디오 - 오디오 생성 모델인 MMAudio를 기반으로 MMAudioSep을 제안했습니다. 이 모델은 생성 모델의 지식을 활용하여 사운드 분리 기능을 획득하면서도 원본 생성 능력을 유지합니다.

핵심 아키텍처 및 기법

기반 모델 (Foundation): Sony 의 사전 학습된 생성 모델인 MMAudio를 사용합니다. MMAudio 는 Flow Matching(유동 매칭) 알고리즘을 사용하여 비디오와 텍스트 조건에 맞춰 오디오를 생성합니다.
채널 연결 조건화 메커니즘 (Channel-concatenation conditioning):
- 기존 MMAudio 는 추론 시 가우시안 잡음 ( $x_0$ ) 에서 시작합니다.
- MMAudioSep 은 **혼합된 오디오 신호의 잠재 벡터 ( $x_m$ )**를 입력 채널에 추가합니다.
- 구체적으로, 표준 가우시안 잡음 ( $x_0$ ) 과 혼합 오디오의 잠재 벡터 ( $x_m$ ) 를 채널 차원에서 연결 (concatenate) 하여 네트워크에 입력합니다.
- 이를 통해 모델은 혼합 신호를 조건으로 받아, 목표 음원 (분리된 소리) 의 잠재 벡터 ( $\hat{x}_1$ ) 를 생성하도록 학습됩니다.
파인튜닝 전략 (Fine-tuning Strategy):
- 전체 모델을 처음부터 학습 (from scratch) 하는 대신, 사전 학습된 MMAudio 가중치를 활용합니다.
- **오디오 프로젝션 레이어 (Audio projection layer)**와 멀티모달 트랜스포머 블록의 파라미터만 업데이트하고, 나머지 파라미터는 고정 (frozen) 하거나 부분적으로 학습시킵니다.
- 이를 통해 데이터 효율성을 극대화하고, 원본 모델이 가진 멀티모달 지식 (비디오 - 오디오 동기화 등) 을 분리 작업에 유지합니다.

3. 주요 기여 (Key Contributions)

새로운 파인튜닝 접근법: 사전 학습된 비디오 - 오디오 생성 모델을 비디오/텍스트 쿼리가 가능한 사운드 분리 모델로 적응시키는 방법을 최초로 제안했습니다.
성능 우위성: 기존 결정론적 및 생성적 기반의 사운드 분리 모델 (AudioSep, FlowSep 등) 보다 우수한 성능을 입증했습니다.
기능 유지 (Dual Capability): 사운드 분리로 파인튜닝된 후에도, 모델이 원래의 비디오 - 오디오 생성 기능을 유지함을 증명했습니다. 이는 하나의 모델이 분리 (Separation) 와 생성 (Generation) 두 가지 다운스트림 태스크를 모두 수행할 수 있음을 의미합니다.

4. 실험 결과 (Results)

저자들은 VGGSound-Clean 및 MUSIC 데이터셋을 사용하여 실험을 수행했습니다.

사운드 분리 성능 (Sound Separation):
- 텍스트 쿼리만 사용 시: MMAudioSep 은 14,000 시간 데이터로 학습된 기존 모델인 AudioSep 보다 우수한 성능을 보였습니다.
- 비디오 + 텍스트 쿼리 사용 시: 멀티모달 정보를 활용하여 거의 모든 평가 지표 (FAD, CLAPScore, IS 등) 에서 기존 모델들을 압도했습니다.
- 특히 FlowSep(1,680 시간 학습) 보다 훨씬 뛰어난 성능을 보였으며, 이는 풍부한 사전 학습 지식과 멀티모달 쿼리의 효과성을 입증합니다.
- 스펙트로그램 시각화 결과, 제안된 모델은 세부적인 주파수 특징을 잘 보존하고 아티팩트를 줄여 더 높은 분리 품질을 제공했습니다.
비디오 - 오디오 생성 성능 유지 (V2A Generation Preservation):
- 분리 학습을 거친 모델에 무작위 잡음을 혼합 입력으로 주입하여 비디오 - 오디오 생성 테스트를 수행했습니다.
- 결과는 모델이 여전히 입력 비디오에 맞는 오디오를 생성할 수 있음을 보여주었습니다.
- 생성 벤치마크 (VGGSound test set) 에서 일부 기존 생성 모델들과 비교 가능한 성능을 보였으며, 특히 파라미터를 고정 (frozen) 하고 파인튜닝한 경우가 처음부터 학습 (from scratch) 한 경우보다 생성 품질이 더 우수했습니다.

5. 의의 및 결론 (Significance)

생성 모델의 확장성: 이 연구는 생성형 기초 모델 (Foundation Models) 이 단순히 콘텐츠 생성뿐만 아니라, 사운드 분리, 사운드 이벤트 감지, 시각 - 청각 매칭과 같은 다양한 다운스트림 태스크에도 효과적으로 적용될 수 있음을 보여줍니다.
효율성: 대규모 데이터를 처음부터 학습하지 않고, 사전 학습된 지식을 활용하여 고품질 분리 모델을 구축할 수 있음을 증명했습니다.
멀티모달 통합: 비디오, 텍스트, 오디오의 관계를 이해하는 모델이 사운드 분리 작업에서 강력한 조건부 정보로 작용할 수 있음을 입증했습니다.

결론적으로, MMAudioSep은 생성 모델과 분리 모델의 경계를 허물고, 하나의 강력한 멀티모달 모델이 다양한 오디오 태스크를 유연하게 처리할 수 있는 새로운 패러다임을 제시합니다.