기술 요약: 인더와일드(In-the-Wild) 사전 정보를 활용한 참조 기반 다중 화자 오디오 장면 생성

문제 정의

기존의 다중 화자 대화 생성 시스템은 화자별 턴 태그, 다중 스트림 전사(transcription), 또는 학습 가능한 화자 턴 임베딩과 같은 구조화된 감독(supervision)에 크게 의존합니다. 이러한 방식은 일반적으로 깨끗한 음성 시퀀스만을 생성하는 음성 전용 파이프라인 내에서 작동하며, 이 과정에서 실제 대화의 특징인 주변 소음의 질감, 실내 음향, 그리고 겹치는 음성(overlapping speech)을 제거해 버립니다. 또한, 제로샷 보이스 클로닝 모델은 일반적으로 단일 화자 케이스만을 다루기 때문에, 다중 화자 장면을 만들기 위해서는 모델 외부에서 세그먼트 단위로 조립해야 합니다. 핵심 과제는 구조적인 턴 주석이나 아이덴티티 인코더 없이도, 자유로운 형식의 자연어 프롬프트와 참조 음성 세트를 사용하여 풍부한 다중 화자 오디오 장면과 자연스러운 중첩 음성 및 환경음을 생성하는 것입니다.

방법론: SCENA 프레임워크

저자들은 사전 학습된 텍는 오디오 파운데이션 모델(구체적으로 LTX-2의 오디오 전용 변형 모델)을 여러 참조 음성과 통합적인 자연어 프롬프트에 조건화하는 플로우 매칭(flow-matching) 프레임워크인 SCENA를 제안합니다.

1. 잠재 결합(Latent Concatenation)을 통한 참조 조건화

복잡한 어댑터나 아이덴티티 인코더를 사용하는 대신, SCENA는 최소한의 인터페이스를 채택합니다.

• 잠재 결합 (Latent Concatenation): 참조 오디오 클립은 타겟 오디오와 동일한 변이형 오토인코더(VAE)를 사용하여 잠재 시퀀스로 인코딩됩니다. 이 참조 잠재 값들은 노이즈가 섞인 타겟 토큰과 직접 결합됩니다.
• 아이덴티티 인식 위치 인코딩 (Identity-Aware Positional Encodings): 서로 다른 참조와 타겟을 구분하기 위해, 각 참조 슬롯 $k$에는 학습된 임베딩 $e_k$가 할당됩니다. 이 임베딩은 해당 참조 잠재 값의 토큰에 더해집니다. 타겟 토큰에는 이러한 가산적 임베딩이 부여되지 않습니다.
• 자연어 인터페이스: 단일 텍스트 프롬프트는 주변 소음, 화자 턴, 내용을 포함한 전체 장면을 설명합니다. 프롬프트는 텍스트 언급(예: "참조 1의 화자")을 통해 화자를 지칭합니다. 모델은 특정 참조를 생성된 오디오의 특정 부분에 바인딩하기 위해 전적으로 이 텍스트에 의존합니다.

2. 참조 지름길 문제 (The Reference Shortcut Challenge)

저자들은 참조 조건부 플로우 매칭 모델을 학습시킬 때 발생하는 결정적인 실패 모드인 참조 지름길(Reference Shortcut) 현상을 식별했습니다.

• 메커니즘: 표준 노이즈 스케줄(예: logit-normal) 하에서, 학습 질량은 노이즈가 섞인 타겟 $z_t$가 깨끗한 타겟 $z_0$로부터 상당한 음향 정보를 여전히 보유하고 있는 중간 타임스텝에 집중됩니다. 이 체제에서 모델은 텍스트 프롬프트를 완전히 우회할 수 있습니다. 즉, 텍스트 설명을 크로스 어텐션 및 셀프 어텐션을 통해 올바른 참조로 라우팅하는 법을 배우는 대신, 모델은 단순히 셀프 어텐션을 통해 노이즈가 섞인 타겟 토큰을 가장 음향적으로 유사한 참조 잠재 값에 매칭시켜 버립니다.
• 결과: 이러한 지름길은 학습 손실(loss)을 최소화하지만, 추론 시에는 치명적인 실패를 초래합니다. 추론은 순수 노이즈($t=1$)에서 시작되는데, 이때는 음향적 유사성을 이용할 수 없습니다. 모델은 학습 중에 텍스트 프롬프트를 무시하도록 배웠기 때문에, 참조를 올바른 화자에 바인딩하는 데 실패하여 혼란스럽거나 일관성 없는 출력을 생성하게 됩니다.

3. 고노이즈 편향 타임스텝 분포 (High-Noise-Biased Timestep Distribution)

참조 지름길을 제거하기 위해 저자들은 학습 노이즈 스케줄을 수정합니다.

• 전략: 표준 logit-normal 분포를 혼합 분포인 $p(t) = (1 - \lambda) \text{Beta}(t; \alpha, 1) + \lambda \text{Uniform}(t; \epsilon, 1)$로 교체합니다.
• 효과: Beta 성분은 학습 질량을 고노이즈 꼬리 부분(즉, $t$가 1에 가까운 지점)에 집중시킵니다. 이 체제에서는 노이즈가 섞인 타겟이 소스에 대한 음향 정보를 거의 또는 전혀 포함하지 않으므로 지름길을 통한 우회가 불가능합니다. 따라서 모델은 화자 할당을 결정하기 위해 텍스트 프롬프트와 참조 임베딩에 의존할 수밖에 없습니다.
• 보조 증강 (Auxiliary Augmentations): 바인딩을 더욱 강화하기 위해, 저자들은 적대적 참조 주입(사용되지 않는 슬롯을 프롬프트에 언급되지 않은 방해용 참조로 채움)과 슬롯 셔플 증강(참조 순서를 무작위로 변경하고 이에 따라 프롬프트 토큰을 업데이트함)을 사용하여 모델이 위치 편향에 의존하는 것을 방지합니다.

4. 데이터셋 구축

저자들은 각 예시가 타겟 다중 화자 대화 클립, $K$개의 단일 화자 참조 클립, 그리고 캡션으로 구성된 다중 참조 데이터셋을 구축했습니다. 캡션 생성 파이프라인은 장면 설명을 그라운딩하기 위해 중간 캡션(참조에 조건화되지 않은)을 사용하며, 이후 이를 다이어라이제이션(diarization) 타임스탬프 및 참조 클립과 결합하여 최종적인 참조 조건부 프롬프트를 생성합니다.

결과

본 방법론은 CoVoMix2-Dialogue 벤치마크, 특히 COVOMIX2-DIALOGUE-20S 서브셋과 인더와일드 참조를 사용한 COVOMIX2-DIALOGUE-WILDREF 서브셋에서 평가되었습니다.

• 화자 바인딩 (Speaker Binding): SCENA는 기존의 다중 화자 대화 베이스라인(MOSS-TTSD, VibeVoice, ZipVoice-Dialog, Dia 포함)보다 우수한 성능을 보였습니다. SCENA는 가장 우수한 cpWER(화자 인식 단어 에러율), cpSIM(엄격한 화자별 코사인 유사도), 그리고 ACC(화자 할당 정확도)를 달s성했습니다.
• 강건성 (Robustness): 참조 데이터에 배경 소음 및 비스튜디오 환경이 포함된 "Wild Reference" 설정에서도 SCENA는 우수한 성능을 유지했습니다. 베이스라인의 cpSIM 점수가 급격히 하락(0.40 미만)한 반면, SCENA는 0.42 이상의 점수를 유지했습니다.
• 오디오 품질: SCENA는 대화와 함께 중첩된 음성, 자발적인 파라언어적 사건(웃음, 한숨), 그리고 장면 수준의 주변 소음을 공동으로 생성합니다. LTX-2 백본이 스튜디오 음성이 아닌 인더와일드 비디오 사운드트랙으로 학습되었기 때문에 UTMOS 점수는 일부 베이스라인보다 약간 낮았으나, SQUIM 점수는 경쟁적이거나 더 우수했습니다.

의의 및 주장

본 논문은 구조화된 대화 스크립트를 음성 전용 파이프라인으로 전달하는 대신, 자유로운 형식의 장면 설명에 조건화된 범용 오디오 파운데이션 모델을 사용하는 것의 이점을 SCENA가 입증한다고 주장합니다.

주요 주장은 다음과 같습니다:

1. 자연스러움: 대규모 인더와일드 데이터로 사전 학습된 모델을 활용함으로써, SCENA는 구조화된 대화 TTS 시스템에는 일반적으로 결여된 자연스러운 비스튜디오 오디오 질감(배경 소음, 실내 음향, 중첩된 대화 등)을 생성하는 능력을 물려받습니다.
2. 최소한의 인터페이스: 이 프레임워크는 per-turn 태그, 전사, 또는 아이덴티티 인코더 없이도 자연어와 참조 잠재 값만을 사용하여 복잡한 다중 화자 제어를 달성합니다.
3. 학습 역학: 본 논문은 "참조 지름길"을 참조 조건부 플로우 매칭에서 이전에 인식되지 않았던 실패 모드로 강조하며, 타임스텝 분포를 수정하는 것만으로도 명시적인 바인딩 메커니즘을 추가하지 않고도 필요한 텍스트-참조 바인딩을 학습하도록 강제할 수 있음을 제안합니다.

저자들은 결론적으로, 이 접근 방식이 단일 자연어 프롬프트로부터 중첩된 음성과 자발적인 파라언어적 사건을 포함한 복잡한 인간 상호작용을 가능하게 한다고 밝힙니다.