🤖 machine learning

SALSA-V: Shortcut-Augmented Long-form Synchronized Audio from Videos

SALSA-V는 마스크된 확산 목적 함수(masked diffusion objective)와 새로운 숏컷 손실(shortcut loss)을 활용하여, 단 8단계만으로 소리가 없는 영상으로부터 매우 동기화된 고충실도의 장기 오디오를 합성함으로써 정렬과 효율성 측면 모두에서 기존의 최첨단 방식들을 크게 능가하는 멀티모달 비디오-투-오디오 생성 모델입니다.

원저자: Amir Dellali, Luca A. Lanzendörfer, Florian Grötschla, Roger Wattenhofer

게시일 2026-08-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amir Dellali, Luca A. Lanzendörfer, Florian Grötschla, Roger Wattenhofer

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

모든 무성 영화가 생생한 사운드트랙을 입고 갑자기 살아 움직이는 세상을 상상해 보세요. 단순히 일반적인 피아노 연주가 아니라, 상자가 떨어지는 '쿵' 소리, 타이어가 자갈을 밟는 '드르륵' 소리, 혹은 바람에 나뭇잎이 '사락'거리는 소리 같은 것들 말이죠. 이것이 바로 컴퓨터가 눈에 보이는 것을 '듣도록' 시도하는 컴퓨터 과학 분야인 "비디오-투-오디오(video-to-audio)" 생성 기술의 꿈입니다. 오랫동안 컴퓨터는 이 작업에 서툴렀습니다. 전반적인 분위기는 짐작할 수 있었지만, 타이밍을 놓쳐 마치 파티에 늦게 도착한 듯한 어색한 소리를 만들어내곤 했습니다. 핵심적인 과제는 두 가지입니다. 컴퓨터는 '무엇이' 일어나고 있는지(의미론적 이해)와 그것이 '정확히 언제' 일어나는지(시간적 정렬)를 모두 이해해야 합니다. 공이 벽에 부딪힌다면, 소리는 정확히 그 밀리초(ms)에 발생해야 합니다. 그렇지 않으면 우리 뇌는 혼란을 느낍니다. 지금까지 이러한 소리를 만드는 데는 마치 느린 오븐에서 케이크를 굽는 것처럼 오랜 시간이 걸렸으며, 짧은 클립이 아닌 긴 영상을 만들려고 하면 결과물이 무너지는 경우가 많았습니다.

여기에 문제들을 해결하기 위해 등장한 새로운 디지털 마법사, SALSA-V가 있습니다. 이 모델을 마치 초능력을 부여받은 숙련된 폴리 아티스트(영화의 효과음을 만드는 사람)라고 생각해보세요. 그 초능력이란 믿기 힘들 정도로 빠르게 작업하면서도 결코 박자를 놓치지 않는 능력입니다. SALSA-V의 연구진은 무음 영상을 입력받아 고품질의 완벽하게 동기화된 오디오를 순식간에 생성할 수 있는 모델을 구축했습니다. 긴 영상에서도 헤매거나 몇 시간씩 기다려야 했던 기존 방식들과 달리, SALSA-V는 몇 분 분량의 소리를 단 몇 초 만에 만들어낼 수 있으며, 제공된 오디오 샘플을 듣고 그 스타일을 흉내 내는 음악적 카멜레온처럼 작동할 수도 있습니다.

이 새로운 마법사가 어떻게 작동하며 무엇을 발견했는지 소개합니다:

"지름길"의 마법
소리를 생성하는 대부분의 AI 모델은 조각가가 돌덩어리에서 불필요한 부분을 조금씩 깎아내며 형상을 드러내는 방식처럼 작동합니다. 보통 이는 수십 단계의 과정을 거쳐야 하므로 매우 느립니다. 하지만 SALSA-V는 "지름길"을 배웠습니다. 집에서 공원까지 걸어가는 상황을 상상해 보세요. 일반적인 모델은 매 인치마다 땅을 확인하며 조심스럽고 작은 발걸음을 내딛습니다. 반면 SALSA-V는 앞을 내다보고 크고 자신감 있는 보폭으로 성큼성큼 걷는 법을 배웠습니다. 한 번의 큰 걸음이 두 번의 작은 걸음을 합친 것과 같다는 점을 이해하도록 모델을 훈련함으로써, 연구진은 모델이 지루한 과정을 건너뛰도록 가르쳤습니다. 그 결과, SALSA-V는 단 8단계의 샘플링만으로 고품질의 오디오를 생성할 수 있게 되었습니다. 이는 거의 실시간에 가까운 속도로, 예전에 몇 분씩 걸리던 과정을 거의 즉각적인 일로 바꾸어 놓았습니다.

마스킹된 퍼즐
긴 영상에서 오디오가 뭉개지지 않도록 하기 위해, SALSA-V는 "마스크드 플로우 매칭(masked flow matching)"이라는 영리한 기법을 사용합니다. 이는 마치 크로스워드 퍼즐을 푸는 것과 같습니다. 처음부터 시작하는 것이 아니라, 이미 몇 개의 단어가 채워져 있고 나머지를 추측해야 하는 상황 말이죠. SALSA-V는 소리로 이 작업을 수행합니다. 훈련 과정에서 모델은 비디오와 오디오 클립을 함께 보여주지만, 오디오의 임의의 구간을 숨겨둡니다(마스킹). 그러면 모델은 비디오와 여전히 들리는 소리 부분을 바탕으로 숨겨진 소리가 무엇인지 알아내야 합니다. 이는 모델을 유연하게 만듭니다. 즉, 짧은 영상과 오디오 조각을 주면, 모델은 소리를 "아웃페인팅(outpainting)"하여 더 긴 영상에 맞춰 자연스럽게 확장하거나, 빈틈을 채워 연속적인 사운드스케이프를 만들어낼 수 있습니다.

리듬 섹션
비디오-투-오디오에서 가장 중요한 부분은 타이밍입니다. 영상 속에서 개가 짖는다면, 개의 입이 벌어지는 순간과 정확히 일치해야 합니다. 기존 모델들은 종종 타이밍이 미세하게 어긋나 인간의 귀에 부자연스럽게 느껴지곤 했습니다. SALSA-V는 특별한 "동기화 코치"를 훈련시켜 이 문제를 해결했습니다. 이 코치는 별도의 AI로, 영상 속에서 사건이 발생하는 정확한 순간을 인식하고 이를 소리와 일치시키는 법을 배웁니다. 연구진은 이 코치를 정말 유능하게 만들기 위해 주의가 필요하다는 것을 발견했습니다. 너무 많은 예시를 한꺼번에 사용하면 오히려 유사한 소리 사이의 미세한 차이를 포착하는 능력이 떨어졌기 때문입니다. 이렇게 세밀하게 조정함으로써, SALSA-V는 인간이 다른 최첨단 모델들보다 우수하다고 평가할 정도의 동기화 수준을 달elle 성했습니다. 청취 테스트에서 사람들은 SALSA-V의 타이밍과 전반적인 품질을 다른 최신 모델들보다 선호했습니다.

롱폼(Long-Form)의 도전
많은 AI 모델은 짧은 클립(약 10초)에는 뛰어나지만, 30초 이상의 긴 영상을 요청하면 무너지곤 합니다. 메모리가 부족해지거나 소리의 흐름이 어긋나기 때문입니다. SALSA-V는 "점진적(progressive)" 접근 방식을 사용하여 이 문제를 해결합니다. 전체 1분 분량의 소리를 한꺼번에 예측하려 하는 대신, 이전 구간의 끝부분을 다음 구간의 가이드로 삼아 오디오를 작은 단위로 나누어 생성합니다. 이를 통해 훨씬 더 긴 시간 동안 리듬과 스타일을 일관되게 유지할 수 있습니다. 30초 영상 테스트에서 SALSA-V는 높은 품질과 동기화를 유지한 반면, 다른 모델들은 길을 잃기 시작했습니다.

아직 할 수 없는 것 (한계점)
저자들은 모델의 한계에 대해서도 솔직하게 밝히고 있습니다. 모델이 이전 구간을 확장하며 소리를 구축하기 때문에, 만약 영상에서 장면이 갑자기 완전히 다른 장면으로 전환된다면(예: 조용한 도서관에서 시끄러운 공사 현장으로 급격히 바뀌는 경우), 사용자가 개입하지 않는 한 모델은 조용한 도서관의 소리를 공사 현장까지 그대로 이어가려 할 수 있습니다. 이 모델은 급격한 변화 없이 연속적인 장면에 가장 적합합니다.

결론
SALSA-V는 우리가 원하는 것을 모두 가질 수 있다는 것을 보여줍니다. 즉, 몇 분이 아닌 몇 초 만에 생성되는 고충실도(high-fidelity)의 완벽하게 동기화된 오디오를 얻을 수 있다는 것입니다. 이 모델은 단순히 소리를 만드는 것이 아니라, 시각적 리듬에 맞춰 정밀하게 소리를 구현함으로써 이전 모델들이 어려워했던 수준의 몰입감을 만들어냅니다. "지름길" 훈련 방식과 긴 시퀀스를 다루는 스마트한 방식을 결합함으로써, 이 모델은 실시간에 가까운 사운드 디자인의 길을 열어주며, 영화, 게임, 심지어 무성 기록 영상의 제작 방식을 바꿀 잠재력을 가지고 있습니다. 모든 영상 시나리오에 완벽한 해결책은 아닐지라도, 기계가 눈에 보이는 것을 진정으로 "들을 수 있게" 만드는 데 있어 중대한 도약을 의미합니다.

기술 요약: SALSA-V

문제 정의

비디오-오디오 생성(V2A) 또는 "컴퓨테이셔널 폴리(computational Foley)"는 무음 비디오 콘텐츠와 의미적 및 시간적으로 정렬된 디에제틱 사운드(예: 빗소리, 발소리, 충격음)를 합성하는 것을 목표로 합니다. 확산(diffusion) 및 플로우 매칭(flow-matching) 모델의 최근 발전은 오디오 품질을 개선했지만, 기존의 최첨단 방식들은 세 가지 결정적인 한계에 직면해 있습니다:

동기화 및 제어 가능성: 모델들은 정밀한 프레임 단위 정렬에 어려움을 겪는 경우가 많으며, 텍-조건부(text conditioning)에 주로 의존하여 편집 기능이 부족하고 레퍼런스 오디오 매칭을 지원하지 않는 등 제어 능력이 제한적입니다.
길이 제약: 대부분의 모델은 메모리 제약이나 구조적 한계로 인해 짧은 스니펫(흔히 10초 이하)에 국한됩니다. 이러한 모델을 더 긴 시퀀스로 확장하면 성능 저하나 스티칭 아티팩트(stitching artifacts)가 발생하곤 합니다.
추론 효율성: 확산 기반 모델에서 고품질 생성을 위해서는 일반적으로 수십 단계의 샘플링 단계가 필요하며, 이는 전용 파인튜닝이나 증류(distillation) 없이는 실시간 또는 준실시간 애플리케이션을 불가능하게 만듭니다.

방법론

SALSA-V는 통합된 아키텍처와 새로운 학습 목적 함수를 통해 이러한 문제를 해결하도록 설계된 멀티모달 잠재 플로우 매칭(latent flow-matching) 모델입니다.

아키텍처

이 모델은 미세 조정된 Stable-Audio VAE(43Hz 프레임 레이트로 증가)를 기반으로 하는 오디오 인코더를 사용하는 잠재 플로우 매칭 방식을 활용합니다. 핵심 생성기는 다음과 같은 트랜스포머 블록의 혼합을 사용합니다:

MMDiT-X 블록: 결합된 오디오와 거친(coarse) 시맨틱 비디오 시퀀스 상에서 공동으로 작동하는 수정된 블록입니다. 이 블록들은 결합된 어텐션(joint attention)을 사용하며, 처음 $n$ 개의 블록에 대해서는 오디오 스트림에만 적용되는 추가적인 셀프 어텐션 레이어를 선택적으로 사용합니다.
DiT 블록: 표준 단일 시퀀스 DiT 블록이 잠재 표현을 처리합니다.
컨디셔닝(Conditioning): 모델은 세 가지 컨디셔닝 소스를 통합합니다:
1. 시맨틱 비주얼 피처 ( $v_s$ ): 고수준의 시맨틱 컨텍스트를 제공하기 위해 동결된 SigLIP 2 인코더(8 FPS)에서 추출되었습니다.
2. 동기화 피처 ( $v_{syn}$ ): 대규모 데이터로 학습된 전용 대비 오디오-비주얼 정렬 모델(VideoPrism 백본)로부터 유도된 고해 resolution 피처(24 FPS)입니다. 이 피처들은 업샘플링되어 시퀀스 레벨의 적응형 레이어 정규화(adaLN) 레이어에 사용됩니다.
3. 글로벌 텍스트 피처 ( $t_c$ ): 텍스트 인코더로부터 유도되었습니다.

주요 학습 혁신

동기화를 위한 대비 학습(Contrastive Pre-training):
이전 연구들이 더 작은 사전 학습 모델(예: Synchformer)에 의존했던 것과 달리, SALSA-V는 대규모 VideoPrism 백본과 오디오 스펙트로그램 트랜스포머(AST)를 사용하여 전용 동기화 모델을 학습시킵니다. 모델은 0.667초 길이의 스니펫에 대해 SigLIP 손실을 사용하여 학습됩니다. 결정적으로, 저자들은 미세한 시간적 차이를 구별하는 데 필요한 "하드 네거티브(hard negatives)"를 희석시키지 않기 위해 작은 배치 사이즈가 정밀한 시간적 정렬을 학습하는 데 최적이라는 것을 발견했습니다.
마스크드 플로우 매칭(Masked Flow Matching):
오디오 컨디셔닝과 장형(long-form) 생성을 가능하게 하기 위해, 저자들은 마스크드 학습 목적 함수를 도입했습니다. 학습 중에 연속적인 부가 시퀀스(5ms ~ 2.5s)가 무작위로 마스킹됩니다. 모델은 마스킹된 영역에 대한 깨끗한 오디오를 받지만 이에 대해 페널티를 받지 않는 대신, 노이즈가 섞인(unmasked) 토큰에 대한 속도(velocity)를 예측하는 법을 배웁니다. 이를 통해 모델은 "인페인팅(inpainting, 레퍼런스를 기반으로 누락된 오디오 생성)"과 "아웃페인팅(outpainting, 오디오 확장)"을 수행할 수 있어, 반복적인 확장을 통한 원활한 장형 생성을 가능하게 합니다.
적은 단계 샘플링을 위한 숏컷 손실(Shortcut Loss):
사후 증류 없이 단 8단계만으로 고충실도 생성을 달성하기 위해, SALSA-V는 "숏컷" 정식화를 채택합니다. 모델은 원하는 단계 크기 $d$ 를 입력으로 받는 방식으로 확장됩니다. 학습 목적 함수는 하나의 큰 단계가 두 개의 작은 단계의 합과 같아야 한다는 자기 일관성(self-consistency) 속성을 강제합니다. 배치 중 일부(예: 25%)를 표준 플로우 매칭 손실과 함께 이 일관성 타겟에 대해 학습함으로써, 모델은 노이즈 제거 경로의 곡률을 예측하는 법을 배워 빠른 수렴을 가능하게 합니다.

주요 기여

SALSA-V 모델: 추가적인 파인튜닝이나 증류 없이도 고충실도, 적은 단계 샘플링이 가능한 비디오-오디오 모델입니다.
오디오 컨디셔닝 및 아웃페인팅: 레퍼런스 오디오 섹션을 기반으로 오디오를 생성하고 반복적인 장형 확장을 수행할 수 있게 하는 마스크드 학습 목적 함수를 제공합니다.
고해상도 동기화: 대규모 비전 백본을 사용하는 대비 학습된 정렬 모델을 통해 이전 방법들보다 우수한 시간적 동기화 피처를 산출합니다.

실험 결과

저자들은 다양한 길이의 비디오 클립(최대 30초)에 대해 SALSA-V를 최첨단 모델들(Frieren, MMAudio, LoVA, FoleyCrafter 포함)과 비교 평가했습니다.

정량적 성능: SALSA-V는 동기화(DeSync: 0.497s vs. MMAudio: 0.521s)에서 최첨단 성능을 달이어하며, 분포 매칭 지표(FADVGG: 1.07, KLPaSST: 1.63)에서도 경쟁력 있는 성능을 보여줍니다. 또한 동기화(3.52 MOS) 및 전체 품질(3.43 MOS)에 대한 인간 평가에서 모든 베이스라인을 능가합니다.
적은 단계 효율성: 적은 단계 환경(4~8 단계)에서 SALSA-V는 최소한의 성능 저하로 높은 성능을 유지합니다. 4단계에서 SAL-SA-V는 모든 지표에서 Frieren(reflow) 및 MMAudio를 크게 앞지르는 반면, 다른 모델들은 급격한 품질 저하를 겪습니다.
장형 생성: 전체 시퀀스를 한 번에 처리하는 모델들(보이지 않는 위치 임베딩으로 인해 ~20초 이후 성능 저하 발생)과 달리, SALSA-V는 반복적 확장 전략을 사용합니다. 30초 샘플에 대해 높은 동기화와 오디오 품질을 유지하며, 모든 객관적 지표에서 LoVA를 능가합니다.
효율성: SALSA-V는 NVIDIA A100에서 4단계를 사용하여 10초 샘-플을 0.71초 만에 생성하며, 경쟁 모델들과 비교하여 속도와 품질 사이의 유리한 균형을 제공합니다.

의의 및 주장

본 논문은 SALSA-V가 V2A 생성을 실시간 및 전문적인 워크플로우에 실용적으로 만드는 데 있어 중요한 진전임을 주장합니다. 숏컷 손실을 통합함으로써, SALSA-V는 확산 모델의 고유한 지연 시간 병목 현상을 극복하여 충실도를 희생하지 않고도 준실시간 애플리케이션을 가능하게 합니다. 마스크드 학습 목적 함수는 V2A 모델의 유용성을 단순한 생성을 넘어 폴리 생성 및 스펙트럼 매칭과 같은 전문적인 사운드 디자인 작업으로 확장합니다.

저자들은 자신들의 접근 방식이 "장형(long-form)" 격차를 해결하여, 건축적 제약으로 인해 제한되었던 기능이었던 비디오 콘텐츠와 동기화된 확장된 오디오 시퀀스 합성을 가능하게 한다고 강조합니다. 이 연구는 이러한 발전이 영화, 게임, 사용자 생성 콘텐츠에서의 사운드 디자인 비용과 반복 시간을 줄일 수 있음을 시사하는 동시에, 미디어 조작에 대한 잠재적 위험과 배포 시 안전장치의 필요성을 인정하고 있습니다.