💻 computer science

SyncDPO: Enhancing Temporal Synchronization in Video-Audio Joint Generation via Preference Learning

본 논문은 기존 지도 미세 조정의 한계를 극복하기 위해 온더플라이 규칙 기반 부정 데이터 구축과 커리큘럼 학습을 활용한 직접 선호도 최적화를 통해 비디오-오디오 결합 생성의 시간적 동기화를 강화하는 효율적인 사후 학습 프레임워크인 SyncDPO 를 소개합니다.

원저자: Xin Cheng, Xihua Wang, Ying Ba, Yuyue Wang, Kaisi Guan, Yinbo Wang, Wenpu Li, Ruihua Song

게시일 2026-05-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xin Cheng, Xihua Wang, Ying Ba, Yuyue Wang, Kaisi Guan, Yinbo Wang, Wenpu Li, Ruihua Song

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 소리와 영상이 완벽하게 일치하는 영화를 만들도록 가르친다고 상상해 보세요. 로봇이 사람이 박수를 치는 장면을 보면, '박수' 소리는 두 손이 닿는 그 정확히 같은 밀리초에 발생해야 합니다. 소리가 아주 조금만 늦어지면 영화는 가짜처럼 느껴지고 어색해집니다.

이 논문은 AI 비디오 생성기에서 이러한 타이밍 문제를 해결하기 위해 SyncDPO라는 새로운 학습 방법을 소개합니다. 이를 간단한 개념으로 나누어 설명해 드리겠습니다.

문제: '지연'이 있는 로봇

현재 AI 모델은 보여지는 모습이 사실적이고 소리가 대체로 정확하도록 영상을 만드는 데 뛰어납니다. 하지만 타이밍 측면에서는 종종 어려움을 겪습니다.

비유: 가수의 목소리가 음악과 약간 싱크가 맞지 않는 나쁜 노래방 기계를 생각해 보세요. 가사의 말은 들리고 음악도 들리지만, 둘이 서로 맞지 않습니다.
과거의 방식 (SFT): 과거에는 이를 해결하기 위해 '지도 미세 조정 (Supervised Fine-Tuning)'이라는 방법을 사용했습니다. 이는 마치 선생님이 로봇에게 올바른 영화를 보여주며 "네가 만든 영상이 이거와 정확히 같아지도록 노력해 보라"고 말하는 것과 같습니다. 로봇은 영상과 소리를 복사하려 하지만, '약간의 타이밍 오류'에 대한 '페널티'가 너무 작기 때문에 로봇은 여전히 미세한 타이밍 실수를 반복합니다. 마치 정답이 '5'임을 알면서도 선생님이 소수점을 엄격하게 지적하지 않아 로봇이 계속 '5.001'이라고 써 내려가는 것과 같습니다.

해결책: '나쁜 예시'를 통한 교훈

저자들은 로봇에게 완벽한 타이밍을 가르치기 위해서는 단순히 올바른 답만 보여주는 것이 아니라, 틀린 답을 보여주고 "이건 나빠, 이렇게 하지 마"라고 말해야 한다는 점을 깨달았습니다.

그들은 **직접 선호도 최적화 (Direct Preference Optimization, DPO)**라는 기법을 사용했습니다.

비유: 로봇에게 완벽한 영화 하나만 보여주는 대신, 두 개의 클립을 보여줍니다.
1. 승자: 총성 소리가 총이 발사되는 순간과 정확히 일치하는 클립.
2. 패자: 총성 소리가 총이 발사된 후 2 초 뒤에 나는 클립.
  로봇은 "아! 두 번째 것은 피해야겠다"라고 학습합니다. 이를 통해 타이밍 감각이 예리해집니다.

혁신: '나쁜 예시'를 즉시 생성하는 방법

보통 이러한 '패자' 클립을 만드는 것은 비싸고 느립니다. 많은 영상을 생성하고 인간이 순위를 매기기를 기다리거나, 나쁜 예시를 찾기 위해 다른 복잡한 AI 를 사용해야 합니다. 마치 나쁜 타이밍의 예시 하나를 찾기 위해 영화 평론가를 고용해 나쁜 영화 100 편을 감상하게 하는 것과 같습니다.

SyncDPO 는 '규칙 기반 요리사'가 되어 게임을 바꿉니다.
나쁜 음식을 찾기 위해 완전히 새로운 요리를 만드는 대신, 요리사는 완벽한 요리를 가져와 간단한 규칙을 사용해 즉시 망쳐버립니다.

속도 조절: 영상은 빠르게, 오디오는 느리게 (또는 그 반대로) 만듭니다.
교체: 다른 영상의 오디오를 가져와 현재 영상에 붙입니다.
지연: 소리를 몇 초 앞당기거나 늦춥니다.
은폐: 오디오의 일부를 음소거하거나 영상의 일부를 정지시킵니다.

이러한 '망쳐진' 버전들은 데이터가 로드되는 동안 즉시 생성됩니다. 추가적인 인간 개입, 추가적인 대기 시간, 추가적인 비용이 없습니다.

전략: '비디오 게임' 접근법 (커리큘럼 학습)

저자들은 또한 로봇에게 매우 명백한 나쁜 예시 (예: 10 초 지연) 로부터 시작하면 학습이 너무 쉬워진다는 점과, 아주 작은 오류 (예: 0.1 초 지연) 로부터 시작하면 로봇이 혼란을 겪어 학습할 수 없다는 점을 발견했습니다.

따라서 그들은 비디오 게임과 유사한 커리큘럼 학습 전략을 사용했습니다.

레벨 1 (쉬움): 명백한 실수 (예: 오디오를 완전히 다른 소리와 교체) 로 시작합니다. 로봇은 '소리는 영상과 일치해야 한다'는 기본 원리를 학습합니다.
레벨 2 (어려움): 점차 미묘한 실수 (예: 영상을 약간 빠르게 재생) 로 전환합니다. 이제 로봇은 세밀하고 정밀한 타이밍을 학습해야 합니다.

난이도를 서서히 높여감으로써 로봇은 동기화의 마스터가 됩니다.

결과

이 논문은 네 가지 유형의 비디오에서 이를 테스트했습니다.

사람들이 말하는 장면 (입술 동기화).
총성과 폭발음.
소리를 내는 동물들.
일반적인 환경음.

결과:
SyncDPO 는 이전 방법들보다 소리와 영상을 정렬하는 데 훨씬 더 뛰어났습니다.

박수 소리가 두 손이 닿는 순간에 정확히 발생하도록 만들었습니다.
총성 소리가 총이 발사되는 순간에 정확히 발생하도록 만들었습니다.
이전에 본 적이 없는 유형의 비디오에서도 잘 작동했습니다 (일반화).

중요하게도, 저자들은 이 방법이 영상이나 오디오의 품질을 해치지 않고 오직 타이밍만 완벽하게 만들었음을 발견했습니다. 심지어 인간들에게 결과를 보여준 결과, 인간들은 SyncDPO 영상이 더 '실제' 같고 몰입감이 있다고 느껴 일관되게 선호했습니다.

요약

간단히 말해, SyncDPO는 소리와 영상을 동기화하도록 AI 를 학습시키는 더 똑똑한 방법입니다. 단순히 좋은 예시를 복사하는 대신, 간단한 규칙을 사용해 즉시 '나쁜' 예시를 생성하고 쉬운 실수부터 시작해 작고 정밀한 실수까지 점진적으로 학습시킵니다. 그 결과, 소리와 동작이 완벽하게 맞아떨어지는 AI 생성 영상이 만들어집니다.

기술 요약: SyncDPO

문제 제기

최근 비디오 - 오디오 (V-A) 결합 생성 기술의 발전은 높은 의미론적 대응을 달성했으나, 정밀한 시간적 동기화는 여전히 중요한 과제로 남아 있습니다. 모델들이 개별적으로 고품질의 시각 및 오디오 콘텐츠를 생성할 수는 있지만, 미세한 수준에서 오디오 이벤트를 시각적 유발 요인과 정렬시키는 데는 실패하는 경우가 많습니다 (예: 애니메이션과 어긋난 총성 소리, 또는 입술 움직임과 불일치하는 발화).

현재 V-A 모델을 위한 사후 학습 (post-training) 방법들은 평균 제곱 오차 (MSE) 손실을 활용한 **지도 미세 조정 (SFT)**에 크게 의존합니다. 해당 논문은 MSE 가 미세한 시간적 불일치에 대해 불충분한 패널티를 제공한다고 주장합니다. 이는 MSE 가 정밀한 시간적 오프셋을 구별하는 것보다 전반적인 특징 재구성에 초점을 맞추기 때문입니다. 또한, 더 나은 구별 능력을 제공할 수 있는 기존 직접 선호도 최적화 (DPO) 접근법들은 종종 비효율적입니다. 이러한 방법들은 일반적으로 선호도 쌍을 구성하기 위해 비용이 많이 드는 샘플링 및 순위 매기기 절차나 인간 주석에 의존하여 상당한 계산 오버헤드를 초래합니다.

방법론

저자들은 V-A 결합 생성 모델의 시간적 민감도를 향상시키기 위해 DPO 를 활용하는 사후 학습 프레임워크인 SyncDPO를 제안합니다. 이 방법론은 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. 흐름 매칭 기반 DPO

이 프레임워크는 흐름 매칭 (Flow-Matching) 생성 모델을 기반으로 작동합니다. SFT 와 같이 긍정적 예시만으로 학습하는 대신, SyncDPO 는 동기화된 쌍을 시간적으로 왜곡된 쌍과 명시적으로 대비시킵니다. 목적 함수 ( $L_{Flow-DPO}$ ) 는 정규화를 위해 고정된 참조 모델을 사용하여, 예측된 속도장을 "승자"(동기화된) 샘플에 가깝게 끌어당기고 "패자"(불일치) 샘플에서는 멀어지도록 합니다. 이러한 차별적 감독은 모델이 동기화 오류를 인식하고 패널티를 부과하도록 강제합니다.

2. 온더플라이 규칙 기반 부정적 구성

기존 DPO 의 효율성 병목 현상을 해결하기 위해 SyncDPO 는 데이터 로딩 중 부정적 선호도 쌍을 구성하는 경량 규칙 기반 전략을 도입하여 추가 샘플링, 외부 보상 모델, 또는 인간 주석의 필요성을 제거합니다. 이 방법은 다섯 가지 연산을 사용하여 지상 진실 (ground-truth) 정렬 비디오 - 오디오 쌍을 교란합니다:

스케일링 (Scaling): 비디오 또는 오디오의 시간 차원을 재조정하여 속도 불일치를 생성합니다.
교체 (Replacing): 데이터셋의 다른 샘플로 비디오 또는 오디오를 교체하여 의미론적 및 시간적 불일치를 도입합니다.
이동 (Shifting): 시간 오프셋을 적용하여 앞당김/지연 오류를 시뮬레이션합니다.
마스크링 (Masking): 비디오 또는 오디오의 일부를 가려 무음/정지 콘텐츠를 생성합니다.
합성 (Synthesizing): 모달리티를 튜닝되지 않은 참조 정책의 샘플로 교체합니다.

실험 결과, 교체와 스케일링이 의미론적 구조를 파괴하지 않으면서 차별적 감독을 제공하는 데 가장 효과적인 전략임이 밝혀졌습니다.

3. 커리큘럼 학습 전략

DPO 학습이 부정적 예시의 난이도에 민감하다는 점을 인식한 저자들은 커리큘럼 학습 접근법을 구현했습니다. 학습 일정은 교체(더 쉬움, 의미 불일치를 동반한 거친 불일치) 에서 스케일링(더 어려움, 의미 일관성을 동반한 미세한 시간 왜곡) 으로 샘플링 확률을 점진적으로 전환합니다. 이를 통해 모델은 미세한 불일치에 대한 민감도를 정제하기 전에 기본적인 시간 인식을 먼저 확립할 수 있습니다.

주요 기여

SyncDPO 프레임워크: 부정적 감독을 활용하여 V-A 생성의 시간적 정렬을 크게 개선하는 DPO 기반 사후 학습 방법.
효율적인 부정적 구성: 규칙 기반 교란을 통해 온더플라이로 선호도 쌍을 생성하는 새로운 비용 효율적 방법으로, 전통적인 샘플링 및 순위 매기기 파이프라인의 계산 오버헤드를 회피.
커리큘럼 학습: 거친 불일치 감독에서 미세한 불일치 감독으로 전환하는 난이도 계획 학습 전략으로, 시간 동기화를 위한 학습 궤적을 최적화.

실험 결과

저자들은 LRS2(입술 - 발화), AVSync15 및 GreatestHits(이벤트 유발 환경음), VABench(도메인 외 일반화) 등 네 가지 다양한 벤치마크에서 SyncDPO 를 평가했습니다.

시간적 정렬: SyncDPO 는 SFT 와 기본 DPO 베이스라인을 일관되게 능가했습니다. LRS2 에서 최상의 입술 - 발화 동기화 지표 (LSE-D 및 LSE-C) 를 달성했습니다. 환경음 벤치마크에서는 DeSync 지표 (시간 오프셋) 를 크게 감소시켰습니다.
일반화: 이 방법은 VABench 및 Koala 데이터셋에서 우수한 도메인 외 (OOD) 일반화를 보여주었으며, 훈련 분포 상관관계에 과적합되는 경향이 있는 SFT 보다 내재적인 운동 - 소리 역학을 더 잘 포착했습니다.
품질 보존: 동기화 개선이 생성 충실도 비용을 수반하지는 않았습니다. 발화 품질 (WER, MCD), 오디오 품질 (FAD), 비디오 품질 (FVD) 지표는 베이스라인과 비교하여 경쟁력 있거나 개선된 상태를 유지했습니다.
인간 평가: 블라인드 쌍별 인간 선호도 평가는 이벤트 유발 및 발화와 관련된 시나리오에서 특히 SFT 대비 시간적 정렬 측면에서 SyncDPO 출력이 일관되게 선호됨을 확인했습니다.

중요성 및 주장

이 논문은 SyncDPO 가 V-A 생성의 중요한 격차인 정밀한 시간적 동기화 부재를 해결한다고 주장합니다. MSE 기반 재구성보다 DPO 를 통한 명시적 부정적 감독이 더 효과적임을 입증하고, 규칙 기반 부정적 구성을 통해 효율성 문제를 해결함으로써, 저자들은 고품질 결합 생성을 위한 확장 가능한 솔루션을 제시합니다.

저자들은 그들의 접근 방식이 내재적인 운동 - 소리 역학을 포착하여, 전통적인 SFT 가 실패하는 도메인 외 시나리오에서도 견고한 성능을 발휘한다고 강조합니다. 이 연구는 비디오 및 오디오를 위한 생성형 AI 의 향후 개선이 단순한 재구성 손실을 넘어 시간적 인과관계와 정렬을 명시적으로 모델링하는 선호도 기반 최적화로 나아가야 함을 시사합니다.