💻 computer science

SyncAnyone: Implicit Disentanglement via Progressive Self-Correction for Lip-Syncing in the wild

이 논문은 야생 환경에서도 정체성과 배경의 일관성을 유지하면서 고충실도의 오디오 기반 립싱크를 달성하기 위해, 디퓨전 기반 마스크 인페인팅 모델과 그 뒤를 잇는 마스크 프리 자기 교정 튜닝 파이프라인을 결합한 새로운 2단계 프레임워크인 SyncAnyone을 제안한다.

원저자: Xindi Zhang, Dechao Meng, Steven Xiao, Qi Wang, Peng Zhang, Bang Zhang

게시일 2026-02-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xindi Zhang, Dechao Meng, Steven Xiao, Qi Wang, Peng Zhang, Bang Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 어떤 사람이 말하는 영상을 가지고 있지만, 새로운 오디오 트랙에 맞춰 그가 하는 말을 바꾸고 싶다고 상상해 보세요 (마치 영화를 다른 언어로 더빙하는 것처럼 말이죠). 목표는 인물의 얼굴이나 배경을 바꾸지 않으면서, 새로운 단어에 완벽하게 맞춰 입술이 움직이게 만드는 것입니다.

오랫동안 AI 연구자들은 이를 해결하기 위해 "디지털 스텐실"을 사용하는 방법을 시도해 왔습니다. 여기서는 기존의 방식이 어떻게 작동했는지, 그리고 이 논문에서 소개하는 SyncAnyone이라는 새로운 방법이 왜 혁신적인 게임 체인저인지 설명합니다.

기존 방식: "흐릿한 스텐실" 문제

사진 위에 새로운 입 모양을 그려 넣으려고 한다고 상상해 보세요. 기존의 AI 방식은 테이프(마스크)를 가져와서 사람의 입과 그 주변 영역을 가려버립니다. 그런 다음, AI는 소리에 기반하여 입이 어떻게 보여야 하는지 추측하는 동시에, 나머지 얼굴은 그대로 유지하려고 노력합니다.

이 논문은 이러한 접근 방식에 큰 결함이 있다고 설명합니다:

테이프가 너무 작으면: AI가 속임수를 씁니다. 소리를 듣는 대신 입 모양을 추측하기 위해 턱이나 볼을 봅니다.
테이프가 너무 크면: AI가 혼란에 빠집니다. 실수로 사람의 정체성이나 배경 풍경까지 덧칠하게 되어, 특히 사람이 고개를 돌리거나 장면이 빠르게 바뀔 때 영상이 흐릿해지거나 왜곡됩니다.

이는 벽에 난 구멍을 메우기 위해 방 전체에 페인트를 칠하는 것과 같습니다. 구멍은 메울 수 있겠지만, 옆에 있는 벽지와 가구까지 망쳐버릴 수 있습니다.

새로운 방식: SyncAnyone의 "2단계 자기 교정"

이 논문의 저자들은 SyncAnyone이라 불리는 새로운 프레임워크를 제안합니다. 단 한 번의 불완전한 시도에 의존하는 대신, 이들은 2단계 "점진적 자기 교정(Progressive Self-Correction)" 과정을 사용합니다. 이것은 마치 숙련된 화가가 먼저 거친 초안을 그린 다음, 이를 걸작으로 다듬어 나가는 과정과 같습니다.

1단계: "거친 초안" 화가

첫 번째 단계에서 AI는 숙련되었지만 약간은 엉성한 화가처럼 행동합니다.

AI는 소리에 따라 입술이 정확하게 움직이는 법을 배우기 위해 기존의 "스텐실" 방식(입을 마스킹하는 방식)을 사용합니다.
스텐실을 사용하기 때문에 입술의 움직임은 제대로 구현하지만, 입 주변 가장자리나 배경에 "얼룩"이나 이상한 아티팩트(왜곡)를 남길 수 있습니다.
마법 같은 기술: 연구진은 이 "거친 초안" AI가 스스로 수천 개의 연습용 영상을 생성하도록 가르칩니다. 즉, 영상을 가져와서 오디오를 바꾸고, 입술은 다르게 움직이되 나머지 영상은 그대로 유지되는 버전을 만들어내는 것입니다.

2단계: "완벽주의자" 편집자

이제 영리한 부분이 등장합니다. 연구진은 "거친 초안" AI와 그 AI가 만든 연습용 영상을 가져와서, 실수를 바로잡는 두 번째 AI(2단계)를 훈련시킵니다.

설정: 연구진은 두 번째 AI에게 "손상된" 영상(1단계의 얼룩이 있는 영상)과 "완벽한" 원본 영상을 함께 보여줍니다.
교훈: 그들은 두 번째 AI에게 이렇게 말합니다. "너의 임무는 이 지저�한 영상을 보고, 새로운 오디오를 들은 뒤, 오직 입술만 수정하는 것이다. 너는 배경과 사람의 얼굴을 원래 모습 그대로 유지해야 한다."
결과: AI는 이 "뒷수습" 과정을 통해 배경을 무시하고 순수하게 입술에만 집중하는 법을 배웁니다. 즉, 움직이는 입과 정지된 얼굴을 분리(또는 해체)하는 법을 배웁니다.

이 과정이 끝나면, 두 번째 AI는 더 이상 "스텐실"(마스크)이 필요하지 않습니다. AI는 어떤 픽셀이 입술에 속하고 어떤 픽셀이 배경에 속하는지 정확히 알게 되어, 장면을 흐릿하게 만들지 않고도 변화를 줄 수 있게 됩니다.

이것이 왜 중요한가 (논문에 따르면)

이 논문은 이 새로운 방법이 기존 방식보다 실제 환경의 혼란스러운 상황을 훨씬 더 잘 처리한다고 주장합니다. 구체적으로는 다음과 같습니다:

큰 머리 회전: 사람이 고개를 옆으로 돌리는 경우에도 작동합니다 (기존 방식은 여기서 자주 실패했습니다).
장애물: 누군가 얼굴 앞에 손을 가져다 대더라도, AI는 손을 그대로 유지하면서 그 뒤의 입술만 움직입니다.
장면 전환: 영상의 배경이 바뀌어도 AI는 혼란스러워하지 않고 새로운 배경을 선명하게 유지합니다.
정체성: 영상 속 인물은 흐릿한 버전이 아닌, 본래의 모습 그대로 유지됩니다.

핵심 요약

SyncAnyone은 2단계 편집 과정과 같습니다:

1단계: "보조 바퀴"(마스크)를 사용하여 입술이 움직이는 법을 가르칩니다. 비록 가장자리에 약간의 실수가 생기더라도 말이죠.
2단계: AI가 자신의 실수를 직접 고치는 연습을 하게 하여, 보조 바퀴 없이도 배경을 망치지 않고 입술을 완벽하게 편집하는 법을 배우게 합니다.

그 결과, 이 도구는 이전의 AI 도구들이 실패했을 상황에서도 더 빠르고, 더 선명하며, 더 효과적으로 작동하는 영상 더빙 툴이 됩니다.

기술 요약: SyncAnyone

문제 정의

고품질 AI 기반 비디오 더빙은 정밀한 오디오-립 싱크(audio-lip synchronization), 고충실도 시각 생성, 그리고 피사체의 정체성 및 배경의 충실한 보존을 필요로 합니다. 최근의 확산 기반(diffusion-based) 방법들은 입술 동기화 정확도를 개선했지만, 주로 **마스크 기반 학습 전략(mask-based training strategy)**에 의존하고 있습니다. 이 패러다임에서는 토킹 헤드(talking-head) 비디오에서 입 영역을 마스킹하며, 모델은 손상된 입력으로부터 입술 움직임을 합성하는 법을 학습합니다.

이 방식은 근본적인 트레이드오프를 제시합니다:

작은 마스크(Small Masks): 모델이 오디오 조건(conditioning)을 엄격히 따르기보다 마스크 경계 근처의 문맥적 단서(예: 턱 윤곽)로부터 입술 움직임을 추론하는 "지름길 솔루션(shortcut solutions)"을 악용하는 경향이 있습니다.
큰 마스크(Large Masks): 중요한 배경 및 정체성 관련 콘텐츠가 마스킹되어, 부정확한 배경 재구성, 정체성 일관성 저해, 그리고 역동적인 시나리오(예: 장면 전환, 빠른 움직임)에서의 불안정성을 초래합니다.

또한, 동일한 정체성/포즈를 가지되 입술 움직임만 다른 쌍(paired data)을 수집하여 사용하는 기존의 마스크 프리(mask-free) 접근 방식은 이러한 고도로 통제된 데이터셋을 확장하는 데 어려움이 있다는 한계가 있습니다.

방법론: 점진적 자기 수정 (Progressive Self-Correction, PSC)

이러한 한계를 해결하기 위해, 저자들은 자가 생성 데이터를 통해 마스크 기반에서 마스크 프리 편집으로 전환하는 새로운 2단계 학습 프레임워크인 SyncAnyone을 제안합니다. 핵심 혁신은 모션 강건성과 배경 보존을 분리하는 **점진적 자기 수정(PSC)**입니다.

1단계: 마스크 인페인팅을 통한 강건한 모션 모델링

첫 번째 단계는 정확하고 오디오 기반의 입술 움직임을 생성하기 위해 강건한 멀티 레퍼런스 마스크 인페인팅 모델( $G_{inp}$ )을 학습시킵니다.

아키텍처: Flow Matching 목적 함수를 사용하는 Diffusion Transformer (DiT)를 기반으로 합니다. 입력 구조는 노이즈가 섞인 잠재 변수(latents), 이진 마스크, 그리고 컨디셔닝 프레임을 채널 단위로 결합(concatenation)하는 I2V(Image-to-Video) 프레임워크에서 영감을 받았습니다.
학습 전략: 타겟 프레임(입 영역)이 마스킹된 시퀀스에 대해 학습하며, 일련의 레퍼런스 프레임(마스킹되지 않음)이 정체성과 시간적 문맥을 제공합니다.
오디오 주입: Wav2Vec 2.0을 통해 고수준 오디오 특징을 추출하고, 이를 인과적 오디오 인코더(causal audio encoder)를 사용하여 비디오 잠재 변수와 프레임별로 정렬한 뒤 크로스 어텐션(cross-attention)을 통해 통합합니다.
증류(Distillation): 다음 단계의 효율적인 데이터 생성을 위해, 다단계 $G_{inp}$ 를 DMD(Distribution Matching Distillation)를 사용하여 몇 단계만 거치는 학생 모델( $G'_{inp}$ )로 증류합니다.

2단계: 암묵적 디엔탱글먼트를 통한 마스크 프리 교정

두 번째 단계는 명시적인 공간 마스크의 필요성을 제거하여, 1단계의 마스킹으로 인해 발생하는 아티팩트와 정체성 손실 문제를 해결합니다.

의사 쌍(Pseudo-Paired) 데이터 생성: 온라인 파이프라인이 합성된 학습 쌍을 생성합니다. 증류된 1단계 모델( $G'_{inp}$ )은 소스 비디오로부터 (무작위 오디오에 의해 구동되는) 변경된 입술 움직임을 가진 프레임을 합성합니다.
배경 복원: 픽셀 단위의 완벽한 배경 일관성을 보장하기 위해, 페이스 파서(face parser)가 생성된 얼굴과 원본 얼굴의 합집합 마스크를 계산합니다. 생성된 얼굴은 원본 비디오의 깨끗한 배경 위에 합성됩니다. 이를 통해 조건( $x_{gen}$ )과 타겟( $x_{gt}$ )이 동일한 배경을 공유하지만 서로 상충하는 입 모양을 갖는 "의사 쌍(pseudo-pair)"이 생성됩니다.
암묵적 디엔탱글먼트(Implicit Disentanglement): 2단계 모델( $G_{free}$ $G_{f r ee}$ )은 타겟 오디오가 조건화된 상태에서 "노이즈가 섞인" $x_{gen}$ $x_{g e n}$ 으로부터 깨끗한 $x_{gt}$ $x_{g t}$ 를 재구성하도록 학습됩니다. 이는 모델이 다음의 세 가지 매핑을 학습하도록 강제합니다:
1. 보존(Preserve): 일관된 배경과 입 이외의 얼굴 영역을 식별하고 복사합니다.
2. 폐기(Discard): 불일치하는 입 영역(무작위 오디오에 의해 구동됨)을 노이즈로 취급합니다.
3. 합성(Synthesize): 오직 타겟 오디오에 의해서만 구동되는 새로운 동기화된 입 모양을 생성합니다.
결과: 이러한 복원 기반 감독을 통해, 모델은 사전 정의된 공간적 경계 없이 정적인 정체성과 동적인 모션을 암묵적으로 분리(disentangle)하는 법을 배우며, 효과적으로 마스크 딜레마를 해결합니다.

주요 기여

마스크 트레이드오프 식별: 본 논문은 마스크 기반 립싱킹의 내재적 한계(경계 아티팩트 vs 정체성 손실)를 식별하고 마스크 프리 편집으로의 전환을 제안합니다.
점진적 자기 수정 (PSC): 강건한 마스크 인페인팅 모델을 활용하여 의사 쌍 데이터를 생성하고, 이를 통해 마스크 프리 모델을 감독하는 2단계 프레임워크를 제시합니다.
효율적인 온라인 파이프라인: 일관된 배경과 다양한 입술 움직임을 가진 의사 쌍 데이터를 온더플라이(on-the-fly)로 생성하는 새로운 방법을 통해, 희소하고 통제된 쌍 데이터에 대한 의존성을 제거합니다.
SyncAnyone 프레임워크: 다양한 "in-the-wild" 시나리오에서 시각적 품질, 시간적 일관성, 정체성 보존 측면에서 최첨단(SOTA) 성능을 달ieving 립싱킹 시스템입니다.

실험 결과

저자들은 HDTF 및 VFHQ 데이터셋에서 SyncAnyone을 GAN 기반 방법(Wav2Lip, VideoRetalking) 및 확산 기반 방법(LatentSync, MuseTalk, OmniSync)과 비교 평가했습니다.

정량적 성능: SyncAnyone(2단계)은 모든 지표에서 최첨단 결과를 달성했습니다:
- 시각적 품질 및 시간적 일관성: HDTF에서 FID(8.42)와 FVD(205.4)를 크게 개선하여 LatentSync와 MuseTalk을 능가했습니다.
- 정체성 보존: 우수한 CSIM 점수(0.865)를 기록하며, 마스크 기반 방법 대비 탁월한 피사체 정체성 보존 능력을 보여주었습니다.
- 동기화: 경쟁력 있는 LSE-C 및 LMD 값을 통해, 명시적인 공간적 제약 없이도 정밀한 오디오-비주얼 정렬을 입증했습니다.
정성적 성능: 본 방법은 까다로운 "in-the-wild" 시나리오에서 강건함을 입증했습니다:
- 극한의 포즈: 랜드마크에 의존하는 방법들이 실패하는 프로필(측면) 형태를 유지했습니다.
- 폐쇄(Occlusion): 가려지는 물체(예: 손)를 침식시키지 않고 보존했습니다.
- 장면 전환: "고스팅(ghosting)" 아티팩트 없이 하드 컷(hard cuts)을 처리했습니다.
- 배경 역동성: 급격한 변화 속에서도 픽셀 단위의 완벽한 배경 일관성을 달성하여, 타 방법에서 보이는 블러링 현상을 방지했습니다.
어블레이션 연구(Ablation Study): 1단계와 2단계를 비교한 결과, 2단계가 마스크로 인한 아티팩트를 효과적으로 제거하고 고주파 세부 사항을 정교화하면서도 입술 모션 정확도를 유지함을 확인했습니다.

의의 및 주장

본 논문은 SyncAnyone이 마스크 인페인팅 패러다임의 결정적인 한계를 극복함으로써 고충실도 비디오 더빙의 중요한 진전을 이루었다고 주장합니다. **점진적 자기 수정(Progressive Self-Correction)**을 도입함으로써, 이 프레임워크는 강건한 모션 모델링과 고충실도 배경 보존 사이의 간극을 성공적으로 메웁니다.

저자들은 자신들의 암묵적 디엔탱글먼트(implicit disentanglement) 메커니즘이 명시적인 공간 마스크나 희소한 쌍 데이터에 의존하지 않고도 입술을 편집하면서 정체성과 배경을 보존하도록 모델을 자율적으로 학습시킨다고 단언합니다. 이 접근 방식은 기존의 최첨단 방법들을 저하시키는 복잡한 실제 환경(큰 포즈, 폐쇄, 장면 전환 등)에서도 강건한 성능을 가능하게 합니다. 이 연구는 자기 수정 패러다임이 효율적이고 고충실도인 립싱킹 비디오 합성을 위한 미래 연구의 유망한 방향임을 시사합니다.