Multi Codec Discrete Diffusion Model for Text Guided Speech Inpainting and Editing

기술 요약: 텍스트 유도형 음성 인페인팅 및 편집을 위한 멀티 코덱 이산 확산 모델 (SIEDD)

문제 정의

음성 녹음에는 전체 발화를 다시 합성하지 않고도 재구성하거나 수정해야 하는 누락, 손상 또는 잘못된 세그먼트가 빈번하게 포함됩니다. 이를 해결하기 위한 두 가지 주요 작업은 음성 인페인팅(누락된 세그먼트 복원)과 음성 편집(수정된 전사 내용에 따라 발화 내용 교체)입니다. 두 작업 모두 생성된 음성이 의도한 단어를 표현할 뿐만 아니라 주변의 화자 정체성, 운율, 타이밍 및 녹음 환경과 음향적으로 일관성을 유지해야 합니다.

전통적인 신호 처리 방식(예: 자기회귀적 예측, 희소 표현)은 누락된 영역이 여러 음소나 단어에 걸쳐 있는 경우, 장기적인 언어적 및 음향적 문맥을 모델링하는 능력이 부족하여 실패하는 경우가 많습니다. 최근 신경 코덱 토큰을 사용하는 생성적 접근 방식이 품질을 개선했지만, 자기회귀(AR) 모델은 편집 시 근본적인 한계를 가집니다. 즉, 고정된 인과적 순서로 토큰을 생성하기 때문에, 이전의 결정이 수정되는 것을 방지하며, 이로 인해 편집된 구간 전체에 언어적 내용, 지속 시간 또는 운율의 오류가 전파됩니다. 또한, 신경 코덱에 적용되는 표준 확산 모델은 잔차 벡터 양자화(RVQ)의 계층적 구조를 무시하고 모든 코드북(CB)을 대칭적으로 취급하는 경점이 있습니다.

방법론

저자들은 계층적 코덱 토큰 상의 이산 확산을 활용하여 이러한 한계를 해결하는 SIEDD(Hierarchical Codec Discrete Diffusion) 프레임워크를 제안합니다. 핵심 혁신은 RVQ 구조를 명시적으로 모델링하는 HiCoDD(Hierarchical Codec Discrete Diffusion)입니다.

1. 계층적 멀티-코드북 이산 확산 (HiCoDD)
신경 오디오 코덱(예: EnCodec)은 음성을 저레벨은 거친 음향 구조를 포착하고 상위 레벨은 잔차 정밀도를 인코딩하는 RVQ 코드북의 계층 구조로 표현합니다.

• 아키텍처: HiCoDD는 고유한 coarse-to-fine 순서에 따라 코드북을 생성합니다. 대상 코드북 $k$에 대해, 모델은 이전에 생성된 깨끗한 하위 코드북($<k$)을 고정된 committed acoustic context로 취급합니다. 확산은 현재의 정밀화 코드북 $k$에 대해서만 적용됩니다.
• 학습: 모델은 "clean-context encoder"를 사용하여 committed 된 하위 CB들을 처리하고, "denoising decoder"를 사용하여 노이즈가 섞인 현재 CB를 처리합니다. 이러한 분리는 디코더가 추론 시 갖게 될 정확한 깨끗한 문맥을 받도록 보장하여, 정보 누출을 방지하고 시간 축에 대한 자기회귀적 제약 없이 공동 학습을 가능하게 합니다.
• 인자화(Factorization): 생성 과정은 계층적으로 인자화됩니다: $p(X|P) = p(x^{(1)}|P) \prod_{k=2}^K p(x^{(k)} | x^{(<k)}, P)$. 이를 통해 모델은 모든 레벨을 독립적으로 재구성하는 대신 단계별로 음향 표현을 정밀화할 수 있습니다.

2. 스코어 네트워크 및 컨디셔닝
스코어 네트워크는 흡수 상태(absorbing-state) 이산 확산에 적합하게 조정된 Diffusion Transformer (DiT)입니다.

• 텍스트 컨디셔닝: 목표 음소 시퀀스는 사전 학습된 XPhoneBERT를 통해 인코딩되며 크로스 어텐션(cross-attention)을 통해 주입됩니다.
• 문맥 컨디셔닝: committed 된 하위 CB들은 인코딩되어 두 번째 크로스 어텐션 스트림을 통해 주입됩니다.
• 어텐션 마스킹: 블록 삼각(block-triangular) 어텐션 마스크는 coarse-to-fine 의존성을 강제하여, 현재의 CB가 자신의 미래의 깨끗한 상태나 더 높은 CB를 참조할 수 없도록 합니다.

3. 국소적 분류기-자유 가이드 (Localized Classifier-Free Guidance, CFG)
대상 텍스트에 대한 준수와 주변 문맥의 보존 사이의 균형을 맞추기 위해, 저자들은 범주형 스코어 예측을 위해 CFG를 변형했습니다.

• 로그 공간 가이드: 가이드는 직접 로그 concrete 스코어에 적용됩니다: $\log s_{cfg} = \alpha \log s_{cond} + (1-\alpha) \log s_{neg}$.
• 스팬 로컬라이제이션(Span Localization): 음성 편집을 위해, 부정적(negative) 브랜치는 주변의 음소와 하위 CB 표현을 조건부(conditional) 브랜치와 동일하게 유지하면서 오직 편집된 스팬 내의 음소들만 무작위화하여 구성합니다. 이는 가이드 신호를 수정 대상에만 격리시켜, 경계 부분의 공조음(coarticulation) 신호를 방해하지 않으면서 원치 않는 내용 변화를 억제합니다. 인페인팅의 경우, 전사가 변경되지 않으므로 부정적 브랜치를 위해 전체 음소 시퀀스를 무작위화합니다.

4. 지속 시간 예측
텍스트 유도형 편집(삽입/교체)의 경우, 생성될 세그먼트의 지속 시간은 알 수 없습니다. SIED히는 FastSpeech에서 영감을 얻은 지속 시간 예측기를 사용하여 대상 음소 시퀀스에 기반한 필요한 음향 토큰 수를 추정함으로써 가변 지속 시간 생성을 가능하게 합니다.

주요 기여

1. 계층 구조 인식 코덱 확산: 각 코드북 내의 시간적 위치를 디노이징하는 동시에, 고유한 coarse-to-fine 순서에 따라 코드북을 생성하는 HiCoDD를 도입했습니다. 이는 시간 축에 대한 자기회귀적 생성 없이 RVQ 의존성을 보존합니다.
2. 국소적 편집을 위한 대비 가이드: 편집된 스팬에 대한 대비를 국소화하도록 설계된 범주형 확산용 분류기-자유 가이드를 적응시켰습니다. 이는 주변 음향 및 언어적 문맥을 보존하면서 대상 음소에 대한 준수도를 강화합니다.
3. 성능: RealEdit 벤치마크에서 최상의 성능을 입증했습니다(VoiceCraft 및 SSR-Speech 포함). 가장 낮은 단어 에러율(WER: 0.121), 가장 높은 화자 유사도(0.98), 가장 낮은 Mel-Cepstral Distortion(MCD: 270.0)을 기록했습니다.

실험 결과

모델은 다양한 화자, 악센트 및 녹음 조건을 포함하는 RealEdit 벤치마크에서 평가되었습니다.

• 음성 편집: SIEDD는 평가된 방법들(VoiceCraft 및 SSR-Speech 포함) 중 최고의 전반적 성능을 달了. 가장 낮은 단어 에러율(WER: 0.121), 가장 높은 화자 유사도(0.98), 가장 낮은 Mel-Cepstral Distortion(MCD: 270.0)을 기록했다. TTS 베이스라인이 더 높은 UTMOS 점수를 달성했지만, 이는 원래 녹음의 문맥에 적응하는 것이 아니라 독립적으로 음성을 합성했기 때문이며, SIEDD는 원래 오디오와 유사한 지각 품질(UTMOS ~3.44)을 유지했다.
• 음성 인페인팅: SIEDD는 모든 갭 구성(단일 및 다중 갭)에서 자기회귀 베이스라인(VoiceCraft, SSR-Speech)을 능가했다. 특히 짧고 중간 길이의 갭에서 상당한 이득을 보였다(예: 250ms 갭에 대해 SSR-Speech의 MCD가 91.3인 반면 SIEDD는 21.1로 감소). 저자들은 SIEDD의 다중 갭 시나리오에서의 안정성을 순차적 AR 생성에 내재된 오류 누적 없이 마스크 영역을 반복적으로 정밀화하는 능력 덕분이라고 설명한다.
• 절제 연구(Ablation Studies): 계층적 인자화(joint modeling)를 제거하면 WER과 SIM이 저하되었다. 마찬가지로, 지속 시간 예측기나 국소적 CFG를 제거하면 성능 저하가 발생하여, 정확한 지속 시간 추정과 내용 준수를 위한 구성 요소의 필요성을 확인했다.

의의 및 주장

본 논문은 코덱 계층을 명시적으로 모델링하는 것이 문맥 보존형 음성 재구성과 편집을 실질적으로 개선한다고 주장한다. 이전에 생성된 코드북을 깨끗하게 확정된(committed) 문맥으로 취측함으로써, SIEDD는 순차적인 coarse-to-fine 추론과 일치하는 누출 없는 공동 학습을 가능하게 한다. 이 프레임워크는 이산 확산이 계층적 모델링 및 국소적 가이드와 결합될 때, 화자의 정체성, 운율 및 언어적 정확성을 동시에 보존해야 하는 작업에 있어 자기회귀 생성의 강력한 대안이 될 수 있음을 보여준다. 저자들은 SIEDD를 문맥 보존형 음성 수정의 유망한 방향으로 제시하며, 향후 더 빠른 샘플링, 개선된 지속 시간 모델링 및 다국어 적용 가능성을 시사한다.