💻 computer science

Unison: Harmonizing Motion, Speech, and Sound for Human-Centric Audio-Video Generation

Unison는 의미 기반 오디오 분리 및 양방향 교차 모달 강제 전략을 통해 운동, 음성, 음향 효과를 명시적으로 조화시킴으로써 정밀한 시간적 정렬과 음향적 선명도를 보장하는 최첨단 인간 중심 오디오-비디오 생성을 달성하는 통합 프레임워크입니다.

원저자: Shihao Cheng, Jiaxu Zhang, Quanyue Song, Shansong Liu, Zhizhi Guo, Xiaolei Zhang, Chi Zhang, Xuelong Li, Zhigang Tu

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shihao Cheng, Jiaxu Zhang, Quanyue Song, Shansong Liu, Zhizhi Guo, Xiaolei Zhang, Chi Zhang, Xuelong Li, Zhigang Tu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

영화 한 장면을 연출한다고 상상해 보세요. 비가 내리는 가운데 한 배우가 기타를 치며 노래를 부르는 장면입니다. 이상적인 세상에서는 노래, 기타 연주, 빗소리가 모두 완벽한 타이밍에 일어나 아름다운 자연스러운 경험으로 어우러질 것입니다.

하지만 현재 이러한 영상을 제작하려는 AI 도구들은 종종 어려움을 겪습니다. 배우의 목소리가 기타와 빗소리를 압도할 정도로 너무 크게 나오거나, 배우의 입술이 가사의 단어 대신 기타 음정에 맞춰 움직이는 식입니다. 마치 밴드에서 가수가 악기 소리를 압도하며 비명을 지르고, 드러머가 박자를 잃고 연주하는 것과 같습니다.

이 논문은 이러한 문제들을 해결하기 위해 Unison(함께 행동한다는 의미)이라는 새로운 AI 프레임워크를 소개합니다. Unison을 영상 속 모든 요소가 완벽한 조화를 이루도록 보장하는 고도로 숙련된 오디오·비주얼 지휘자로 생각하세요.

다음은 간단한 비유를 통해 Unison 이 두 가지 주요 문제를 어떻게 해결하는지 설명합니다:

1. "볼륨 조절" 문제 (대사 vs. 효과음)

문제점: 이전 AI 모델들에서 "대사"(배우의 말이나 노래) 는 파티장의 괴롭힘꾼과 같았습니다. 모든 공간을 차지하며 "효과음"(빗소리, 바람 소리, 기타 스트럼 등) 을 거의 들리지 않을 정도로 배경으로 밀어냈습니다. 그 결과 환경이 가짜처럼 느껴지는 평면적이고 지루한 오디오가 만들어졌습니다.

Unison 의 해결책: Unison 은 두 개의 별도 믹싱 콘솔을 갖춘 스마트한 사운드 엔지니어처럼 작동합니다.

분리: 목소리와 기타를 하나의 지저분한 더미로 섞으려 하는 대신, Unison 은 이를 두 개의 별도 트랙에 구축합니다.
스마트 게이팅 (SCG): 교통 신호 시스템이라고 상상해 보세요. 장면이 배우의 대사가 주를 이룬다면, 시스템은 목소리가 명확하게 들리도록 배경 소음의 볼륨을 자동으로 적절히 낮춥니다. 하지만 장면이 콘서트나 폭풍우라면, 배경 소리가 묻히지 않도록 시스템이 배경 소리를 키웁니다.
핸드셰이크 (Bi-ACA): 음성 트랙과 사운드 트랙은 끊임없이 서로 "대화"합니다. 목소리가 실수로 기타 소리를 삼키지 않는지, 그리고 그 반대의 경우도 확인합니다. 이를 통해 최종 오디오는 가수와 빗소리를 모두 명확하게 들을 수 있는 균형 잡히고 풍부한 믹스가 됩니다.

2. "립싱크" 문제 (동작 vs. 소리)

문제점: 종종 영상과 오디오가 맞지 않습니다. 배우가 소리가 난 직후에야 입을 열거나, 손이 기타를 튕긴 후에야 음이 들리는 식입니다. 마치 영상과 오디오가 함께 연습하지 않은 두 다른 사람인 것처럼 느껴집니다.

Unison 의 해결책: Unison 은"크로스모달 포싱 (Cross-Modal Forcing)"이라는 훈련 drill을 사용합니다.

비유: 안무를 배우는 두 명의 댄서를 상상해 보세요. 보통 그들은 같은 속도로 전체 안무를 배우려 합니다. 한 명이 넘어지면 다른 한 명도 넘어지고, 둘 다 혼란에 빠집니다.
Unison 의 변주: Unison 은 한 명의 댄서 (예를 들어 오디오) 가 다른 댄서 (비디오) 보다 약간 더 빠르고 깔끔하게 스텝을 배우도록 합니다. 그런 다음 더"깔끔한"댄서가 가이드 역할을 하여 더"소음이 많은"댄서에게 다음 스텝이 어디인지 정확히 보여줍니다.
결과: 더 명확한 신호가 더 혼란스러운 것을 안내하도록 함으로써, AI 는 영상 동작과 소리를 완벽하게 동기화하는 법을 배웁니다. 시간이 지남에 따라 배우의 입술은 대사가 말해지는 순간에 딱 맞춰 움직이고, 기타 스트럼은 손이 현을 튕기는 순간에 정확히 울립니다.

최종 결과

이 두 가지 해결책을 결합하면 Unison 은 현실감이 느껴지는 영상을 만들어냅니다.

더 이상 압도되지 않음: 가수와 배경 음악을 모두 들을 수 있습니다.
더 이상 지연 없음: 동작과 소리가 정확히 같은 시간에 발생합니다.

이 논문은 Unison 이 단순히 잘 보이는 영상을 만드는 것을 넘어, 소리도 좋고 동기화된 느낌을 주어 이전 AI 모델들보다 훨씬 몰입감 있는 경험을 창출한다고 보여줍니다. 이는 거대한 컴퓨터 없이도 달성되며, 트랙 분리 및 학습 안내와 같은 지적인 조직화가 raw 한 파워만큼이나 중요함을 입증합니다.

기술 요약: Unison – 인간 중심 오디오-비디오 생성을 위한 운동, 음성 및 소리의 조화

1. 문제 제기

본 논문은 현실적이고 몰입감 있는 콘텐츠 생성을 방해하는 현재 인간 중심 오디오-비디오 생성 모델의 두 가지 근본적인 과제를 식별합니다:

내부 오디오 간섭 (음성 우세): 기존 모델은 오디오 스트림 내의 이질적인 음향 요소를 균형 있게 조절하는 데 실패하는 경우가 많습니다. 구조화된 음성 구성 요소가 우세하여 발걸음 소리, 악기 튕김 소리, 또는 배경 잡음과 같은 과도기적 환경 소리를 가려, 평탄화된 청각 장면을 초래합니다. 이는 "악기를 연주하면서 노래하기"와 같은 시나리오에서 특히 문제가 되는데, 모델이 음성과 음향 효과를 분리하고 균형을 맞추는 메커니즘이 부족하기 때문입니다.
교차 모드 불일치: 운동과 오디오 생성은 일반적으로 명시적인 동기화 목표 없이 암시적 아키텍처 교차 어텐션 (cross-attention) 을 통해서만 연결됩니다. 이로 인해 비동기화된 제스처, 입술 움직임, 그리고 음향 시작이 발생합니다. 일부 최근 방법들은 프레임 수준의 동기화를 달성하지만, 명시적인 일관성 제약이 종종 부족하여 시각적 동작과 해당 소리 사이의 시간적 드리프트가 발생합니다.

2. 방법론: Unison 프레임워크

Unison은 운동, 음성, 음향 효과를 일관되고 동기화된 방식으로 생성하도록 설계된 통합 프레임워크입니다. 이는 Diffusion Forcing (DF) 원칙을 기반으로 한 Flow Matching (FM) 위에 구축되었으며, 양방향 교차 어텐션으로 연결된 비디오 및 오디오 이중 분기 아키텍처를 사용합니다.

2.1 아키텍처 개요

이중 분기 구조: 본 프레임워크는 Wan2.2-5B 기반의 비디오 분기와 Zipformer 를 강화하여 강력한 음성 생성을 가능하게 한 MMAudio 기반의 오디오 분기를 활용합니다.
통합: 분기들은 프레임 수준의 양방향 교차 어텐션을 통해 연결되며, 비디오 및 오디오 잠재 변수 (latents) 가 상호 쿼리 역할을 하여 원활한 정보 교환을 촉진합니다.
입력/출력: 시스템은 동기화된 비디오 ( $\nu$ ) 와 오디오 ( $\alpha$ ) 를 생성하기 위해 캡션 ( $\kappa$ ) 과 전사본 ( $\tau$ ) 을 입력으로 받습니다.

2.2 해결책 1: 의미 기반 조화 전략 (오디오 스트림)

내부 오디오 간섭을 해결하기 위해 Unison은 음성 및 음향 효과 (SFX) 생성을 상호작용을 유지하면서 별도의 스트림으로 분리합니다.

양방향 오디오 교차 어텐션 (Bi-ACA): 오디오 잠재 변수는 음성 ( $h^{sp}$ ) 과 음향 효과 ( $h^{sfx}$ ) 구성 요소를 포함하는 이중 스트림 텐서로 표현됩니다. 이러한 스트림은 Transformer 블록 내에서 "상호작용 - 병합 - 분리" 사이클을 거칩니다. 이들은 모달리티별 편향을 가진 공유 자기 어텐션을 통해 처리되어 의미적 혼동을 방지한 후 병합되고 분리됩니다. 핵심적으로 Bi-ACA 는 두 스트림 간 양방향 교차 어텐션을 수행하여 시각적 단서에만 의존하지 않고도 음향 일관성을 보장하며 특징을 상호 보완합니다.
의미 조건부 게이트 (SCG): 제약 없는 컨텍스트 주입을 방지하기 위해 SCG 는 교차 스트림 업데이트를 적응적으로 조절합니다. 캡션 ( $c_a$ $c_{a}$ ) 과 전사본 ( $c_s$ $c_{s}$ ) 에서 유도된 글로벌 의미 벡터를 사용하여 게이트 계수 ( $g_{sp}, g_{sfx}$ $g_{s p}, g_{s f x}$ ) 를 예측합니다.
- 내레이션이 우세한 장면에서는 SCG 가 음향 효과 특징을 감쇠시켜 음운론적 순수성을 유지합니다.
- 복잡한 사운드스케이프 (예: 음악 공연) 에서는 비음성 음향을 풍부하게 하기 위해 교차 스트림 영향을 증폭시킵니다.
감독: 모델은 Mel-Roformer 를 사용하여 혼합 오디오를 실제 음성 및 음향 효과 잠재 변수로 분리하고, 독립적인 플로우 매칭 손실 ( $L_{sp}^{CFM} + L_{sfx}^{CFM}$ ) 을 통해 이중 스트림 디코더를 최적화합니다.

2.3 해결책 2: 양방향 교차 모드 강제 전략 (운동 - 오디오 정렬)

운동 - 오디오 비동기화를 해결하기 위해 Unison 은 모달리티 간 노이즈 제거 진행을 명시적으로 정렬하는 학습 전략을 도입합니다.

분리된 타임스텝: 이전 연구들이 동일한 타임스텝을 사용한 것과 달리, Unison 은 각 모달리티에 대해 독립적으로 타임스텝 ( $t_v$ 는 비디오용, $t_a$ 는 오디오용) 을 샘플링합니다. 이를 통해 "더 깨끗한" 모달리티 (낮은 노이즈 수준) 가 "더 노이즈가 많은" 모달리티를 안내할 수 있습니다.
방향성 가이드: 방향 지시자 ( $d$ ) 가 어떤 모달리티가 주도하는지 식별합니다. 손실 함수는 더 노이즈가 많은 분기를 우선시하도록 동적으로 재가중되며, 이를 통해 교차 모드 조건부 설정을 통해 더 깨끗한 대응체로부터 더 강력한 감독 신호를 추출하도록 강제합니다.
점진적 학습 커리큘럼: 안정성을 보장하기 위해 학습은 세 단계 커리큘럼을 따릅니다:
1. 동기화 웜업: 기초 정렬을 확립하기 위해 $t_v = t_a$ 를 강제합니다.
2. 점진적 분리: 노이즈 간격 ( $|t_v - t_a| \leq 0.25$ ) 에 대한 제약과 함께 독립 샘플링을 활성화합니다.
3. 완전 독립: 제약 없는 분리된 업데이트를 적용합니다.
  이 진행 과정은 극단적인 노이즈 차이로 인한 최적화 불안정성을 방지합니다.

3. 주요 기여

통합 프레임워크: 이전 오디오-비주얼 모델의 느슨한 결합을 넘어, 운동, 음성, 소리를 조화롭게 생성하기 위해 명시적으로 교차 모드 일관성을 강제하는 Unison 프레임워크를 제안합니다.
의미 기반 조화: 양방향 오디오 교차 어텐션 (Bi-ACA) 과 의미 조건부 게이트 (SCG) 를 사용하여 음성 및 음향 효과 생성을 분리하는 전략을 도입합니다. 이는 음성 우세를 방지하고 제어 가능한 계층적 오디오 생성을 가능하게 하여 음향 간섭을 해결합니다.
양방향 교차 모드 강제: 분리된 노이즈 제거 일정을 통해 더 깨끗한 모달리티가 더 노이즈가 많은 모달리티를 안내함으로써 시간적 의존성을 강화하는 전략을 개발하여 운동과 음향 사이의 간극을 효과적으로 메꿉니다.

4. 실험 결과

저자들은 1,000 개의 샘플로 구성된 선별된 테스트 세트에서 Unison 을 평가하여 최신 기법 (Universe-1, UniAVGen, MOVA, LTX-2 포함) 과 비교했습니다.

정량적 성능:
- 오디오 충실도: Unison 은 지각 품질 (PQ: 6.34), 콘텐츠 유용성 (CU: 5.61), 단어 오류율 (WER: 0.22) 에서 가장 높은 점수를 기록했으며, 훨씬 더 많은 파라미터 수를 가진 모델 (예: Unison 의 5B 비디오 백본 대비 LTX-2 의 19B) 보다 우수한 성능을 보였습니다.
- 동기화: 모델은 우수한 교차 모드 일관성을 보여주어 최고의 DeSync (DS: 0.08) 점수와 경쟁력 있는 Lip-Speech 동기화 (LSE-C: 3.30) 점수를 달성했습니다.
정성적 개선:
- 시각적 비교에서 Unison 은 기법들이 음성 우세나 음향 효과 부재로 고생했던 곳 (예: 기타 튕김과 노래의 균형) 에서 조화로운 음성 및 음향 효과를 성공적으로 합성함을 보여주었습니다.
- 제거 실험 (Ablation studies) 은 의미 기반 조화 전략을 제거할 경우 오디오 품질이 크게 저하되고, 교차 모드 강제 전략을 제거할 경우 시간적 비동기화가 급격히 증가함 (DS 가 0.19 로 상승) 을 확인했습니다.
사용자 연구: 25 명의 참가자를 대상으로 한 연구에서 Unison 은 전반적인 선호도에서 우세하게 1 위를 차지했으며, 음성 - 소리 조화와 운동 - 오디오 정렬에서 가장 높은 순위를 기록했습니다.

5. 중요성 및 주장

본 논문은 Unison 이 모달리티 간 시간적 특성의 이질성을 명시적으로 해결함으로써 인간 중심 비디오 생성을 위한 원칙적인 접근 방식을 확립했다고 주장합니다.

균형 잡힌 청각 장면: 음성과 음향 효과를 분리함으로써 프레임워크는 환경 소리가 인간의 목소리에 의해 억제되지 않도록 보장하여 지각적 현실감을 향상시킵니다.
강건한 동기화: 양방향 교차 모드 강제 전략은 오디오와 비디오가 서로를 상호 강화하는 안정적인 학습 환경을 조성하여, 거대한 파라미터 스케일링에만 의존하지 않고도 더 긴밀한 시간적 대응을 이끌어냅니다.
유연성: 대칭적 설계는 오디오에서 비디오, 비디오에서 오디오로의 양방향 생성을 가능하게 하여, 다중 모달 콘텐츠 생성을 위한 통합 모델로서의 프레임워크 적응성을 입증합니다.

저자들은 명시적인 다중 모달 조화가 차세대 생성형 AI 에 필수적이며, Unison 의 아키텍처 혁신이 고품질 오디오 - 비디오 상관관계를 효과적으로 포착한다고 결론지었습니다.