💻 computer science

Hierarchical Codec Diffusion for Video-to-Speech Generation

이 논문은 잔류 벡터 양자화 (RVQ) 기반 코덱의 계층적 구조를 활용하여 저수준 토큰으로 화자 인식을, 고수준 토큰으로 억양을 각각 모델링하는 새로운 계층적 코덱 확산 트랜스포머 'HiCoDiT'를 제안함으로써, 기존 방법들의 한계를 극복하고 비디오에서 고품질의 음성을 생성하는 성능을 크게 향상시켰습니다.

원저자: Jiaxin Ye, Gaoxiang Cong, Chenhui Wang, Xin-Cheng Wen, Zhaoyang Li, Boyuan Cao, Hongming Shan

게시일 2026-04-20

📖 3 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Jiaxin Ye, Gaoxiang Cong, Chenhui Wang, Xin-Cheng Wen, Zhaoyang Li, Boyuan Cao, Hongming Shan

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"침묵하는 영상을 보고, 그 사람의 목소리와 말투를 완벽하게 재현하는 AI"**를 개발한 연구입니다.

기존 기술들은 영상을 보고 소리를 만들 때, 마치 "모든 것을 한 번에 섞어서 끓이는 큰 냄비"처럼 접근했습니다. 하지만 이 연구팀은 **"음성에는 계층 구조가 있다"**는 사실을 발견하고, 이를 해결하기 위해 **'HiCoDiT'**이라는 새로운 시스템을 만들었습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제점: "한 번에 다 섞으려다 실패한 요리사"

기존의 영상-음성 생성 기술은 영상의 입 모양, 얼굴 표정, 사람 얼굴을 모두 한 번에 섞어서 소리를 만들었습니다.

비유: 요리사가 스테이크를 굽는데, 고기 맛 (내용물), 소금기 (목소리 톤), 그리고 후추 향 (감정) 을 모두 한 번에 넣고 섞어버린다면 어떨까요? 고기는 익겠지만, 맛과 향이 제대로 살아나지 않거나 엉망이 될 수 있습니다.
현실: 기존 AI 는 입 모양 (내용) 과 감정 (리듬/톤) 을 구분하지 못해, 입은 움직여도 목소리가 어색하거나 감정이 없는 기계적인 소리가 나오곤 했습니다.

2. 해결책: "층층이 쌓은 레고와 전문 요리사"

이 연구팀은 **'RVQ(잔차 벡터 양자화)'**라는 기술을 이용해 소리를 **12 개의 레이어 (층)**로 나누었습니다. 그리고 각 층마다 다른 역할을 맡긴 전문가 팀을 구성했습니다.

🏗️ 1~2 층: "기본 뼈대 담당 (저수준 블록)"

역할: **무엇을 말하는지 (내용)**와 **누구의 목소리인지 (성대 특징)**를 결정합니다.
비유: 건물의 기초와 벽을 쌓는 작업입니다.
입력: 입 모양 (Lip motion) 과 얼굴 생김새 (Identity) 를 봅니다.
작업: "이 사람은 '안녕하세요'라고 말하고, 목소리는 김민수 씨의 목소리다"라는 기본 뼈대를 먼저 만듭니다.

🎨 3~12 층: "장식과 분위기 담당 (고수준 블록)"

역할: **어떻게 말하는지 (감정, 리듬, 억양)**를 결정합니다.
비유: 건물의 인테리어, 조명, 그리고 분위기를 연출하는 작업입니다.
입력: 얼굴 표정 (Emotion) 을 봅니다.
작업: "김민수 씨가 '안녕하세요'라고 말할 때, 기쁘게 말해야 할지, 슬프게 말해야 할지, 속삭이듯 말해야 할지"를 결정하여 소리에 생명을 불어넣습니다.

3. 핵심 기술: "두 가지 조절 장치를 가진 마법 지팡이 (Dual-scale AdaLN)"

이 시스템은 단순히 층을 나누는 것뿐만 아니라, 각 층에 정보를 넣는 방식도 clever 합니다.

전체적인 스타일 조절 (채널 단위): "이 사람은 전체적으로 목소리가 크고 힘 있는 스타일이다"라는 전체적인 분위기를 조절합니다.
순간적인 리듬 조절 (시간 단위): "이 순간은 감정이 격해져서 목소리가 떨린다"는 순간적인 변화를 조절합니다.
비유: 마치 악기 연주자가 악기 전체의 음색을 조절하는 동시에, 특정 박자에 강약 (다이나믹) 을 조절하는 것과 같습니다.

4. 결과: "실제 사람과 구별하기 힘든 목소리"

이 시스템을 실험해 보니 다음과 같은 결과가 나왔습니다.

자연스러움: 입 모양과 소리가 딱딱 맞아떨어집니다 (입술이 움직일 때 소리가 정확히 나옴).
감정 표현: 영상 속 사람이 웃으면 목소리도 웃고, 울면 목소리도 울어 감정이 살아납니다.
선명도: 기존 AI 들이 만들어내던 '노이즈'나 '부드럽게 흐릿한 소리'가 사라지고, 실제 사람 목소리처럼 선명합니다.

📝 한 줄 요약

"이 연구는 소리를 '내용 (입 모양)'과 '감정 (표정)'으로 나누어, 각각의 전문가가 단계별로 소리를 만들어내게 함으로써, 영상 속 인물이 실제로 말을 하는 것처럼 생생하고 자연스러운 목소리를 만들어냈습니다."

이 기술은 영화 더빙, 장애가 있는 분들의 의사소통 도구, 혹은 소음 없는 환경에서의 소통 등 다양한 분야에서 혁신을 일으킬 것으로 기대됩니다.

1. 문제 정의 (Problem)

비디오 - 음성 생성 (Video-to-Speech, VTS) 은 음향 신호 없이 정지된 비디오나 침묵하는 영상에서 자연스러운 음성을 합성하는 기술입니다. 기존 VTS 방법론들은 다음과 같은 한계를 가지고 있었습니다.

계층적 구조의 무시: 음성은 화자 인식 가능한 거시적 의미 (coarse semantics) 에서부터 미세한 억양 및 리듬 (fine-grained prosody) 에 이르기까지 명확한 계층적 (hierarchical) 구조를 가집니다. 그러나 기존 연구들은 시각적 특징을 전체적인 음성 표현에 일괄적으로 주입하여, 이러한 계층적 특성을 반영하지 못했습니다.
정합성 부족: 시각적 정보 (입술 움직임, 표정, 화자 얼굴) 와 음성 정보 간의 정합을 특정 계층 수준에서 수행하지 못해, 자연스러운 음성 생성과 입술 동기화에 한계가 있었습니다.
정보 비대칭: 시각 정보는 음성 정보에 비해 본질적으로 희소 (sparse) 하여, 이를 통해 밀도 높은 음성 표현을 정확히 복원하기 어렵습니다.

2. 제안 방법론: HiCoDiT

저자들은 HiCoDiT(Hierarchical Codec Diffusion Transformer) 를 제안하여, 이산적 (discrete) 음성 토큰의 고유한 계층 구조를 활용하여 시각 - 음성 정합을 강화했습니다.

2.1. 핵심 아키텍처

RVQ 기반 코덱 활용: Residual Vector Quantization (RVQ) 코덱을 사용하여 음성을 12 개의 계층 (levels) 으로 토큰화합니다.
- 저수준 토큰 (Low-level, VQ 1-2): 화자 인식 가능한 의미 내용 (semantic content) 과 음색 (timbre) 을 주로 인코딩합니다.
- 고수준 토큰 (High-level, VQ 3-12): 미세한 억양 (prosody) 과 감정적 역동성을 인코딩합니다.
계층적 마스크 토큰 예측: 이산 확산 모델 (Discrete Diffusion Model) 을 기반으로, 마스크된 음성 토큰을 점진적으로 복원하는 작업을 수행합니다.

2.2. 시각 조건 분리 (Disentangled Visual Conditioning)

시각적 특징을 계층에 따라 분리하여 주입하는 메커니즘을 도입했습니다.

저수준 블록 (Low-level Blocks):
- 입술 움직임 (Lip Motion): AV-HuBERT 를 통해 추출된 시계열 입술 특징을 직접 연결 (concatenation) 하여 의미 내용과 동기화를 담당합니다.
- 화자 신원 (Identity): ArcFace 를 통해 추출된 얼굴 특징을 GE2E 임베딩과 정합시킨 후, 단일 스케일 AdaLN을 통해 음색 (timbre) 을 조절합니다.
고수준 블록 (High-level Blocks):
- 감정 표현 (Emotion): Poster2 모델을 통해 추출된 얼굴 표정 특징을 활용합니다.
- 이중 스케일 AdaLN (Dual-scale Adaptive Instance Layer Normalization):
  - 채널 정규화 (Channel-wise): 전역적인 발화 스타일 (global vocal style) 을 모델링합니다.
  - 시간 정규화 (Temporal-wise): 국소적인 억양 역동성 (local prosody dynamics) 을 포착합니다.
  - 이를 통해 감정 정보가 고수준 토큰의 억양 생성에 정밀하게 조절되도록 합니다.

2.3. 학습 및 추론

학습 목표: 다중 레벨의 Denoising Score Entropy (DSE) 손실 함수를 사용하여 모든 12 개 계층의 토큰 예측을 최적화합니다. 또한, 화자 일관성을 위해 GE2E 임베딩과의 L1 거리 손실 ( $L_{id}$ ) 을 추가합니다.
추론: Euler sampling 을 사용하여 마스크된 토큰을 복원하며, 예측자 없는 가이드 (predictor-free guidance) 를 통해 생성 품질을 향상시킵니다.

3. 주요 기여 (Key Contributions)

최초의 이산 확산 VTS 프레임워크: 비디오 - 음성 생성 분야에서 명시적인 음성 계층 우선순위 (speech hierarchy prior) 를 이산 확산 프레임워크에 통합한 첫 번째 모델입니다.
계층적 디커플링 (Disentanglement): 시각적 조건 (입술, 신원, 감정) 을 음성 토큰의 계층 구조 (의미/음색 vs. 억양) 에 맞춰 분리하여 주입함으로써, 기존 방법들의 정합성 문제를 해결했습니다.
이중 스케일 AdaLN: 전역 스타일과 국소 억양을 동시에 포착할 수 있는 새로운 정규화 기법을 제안하여 음성의 표현력 (expressiveness) 과 충실도 (fidelity) 를 동시에 향상시켰습니다.

4. 실험 결과 (Results)

VoxCeleb2 데이터셋으로 학습하고, LRS2 및 LRS3 (야외 환경) 데이터셋에서 평가했습니다.

객관적 지표:
- 자연스러움 및 음질: UTMOS, DNSMOS 점수에서 기존 SOTA 모델 (AlignDiT, FTV 등) 보다 우수한 성능을 보였습니다.
- 입술 동기화: LSE-C(신뢰도) 및 LSE-D(거리) 지표에서 최상위권을 기록하여 비디오와의 정합성이 뛰어납니다.
- 가독성: WER (Word Error Rate) 가 낮아 텍스트 인식이 명확합니다.
- 화자 유사성: 학습 데이터의 다양성 한계로 인해 일부 지표에서 FTV 보다 낮았으나, 음성 신호를 추가 조건으로 주입했을 때 가장 높은 화자 복제 능력을 보여주었습니다.
주관적 평가 (MOS):
- 20 명의 참가자를 대상으로 한 평가에서 자연스러움 (MOSnat: 3.17) 과 동기화 (MOSsyn: 3.50) 에서 Ground Truth 에 근접하거나 다른 모델들을 압도하는 점수를 받았습니다.
- A/B 테스트에서 AlignDiT 및 FTV 대비 50% 이상의 선호도를 기록했습니다.
정성적 분석: 생성된 멜 스펙트로그램이 기존 방법들보다 노이즈가 적고 음향적 디테일이 풍부하며, 침묵 구간에서도 명확한 음성을 생성함을 확인했습니다.

5. 의의 및 결론

HiCoDiT 는 비디오 기반 음성 생성의 핵심 병목 현상이었던 '시각적 조건부 생성의 비효율성'을 해결했습니다. 음성의 계층적 구조를 사전 지식 (prior) 으로 활용하여, 시각적 특징을 적절한 계층에 정밀하게 매핑함으로써 자연스럽고 표현력이 풍부한 음성을 생성할 수 있음을 증명했습니다. 이는 영화 더빙, 장애인의 의사소통 지원, 노이즈가 많은 환경에서의 상호작용 등 다양한 실용적 응용 분야에서 중요한 진전을 의미합니다.