On the Effect of Segmentation Width and Cluster Size on Speech Resynthesis and Continuation in Generative Spoken Language Models

기술 요약: 생성적 음성 언어 모델의 음성 재합성 및 지속에 미치는 세그멘테이션 너비와 클러스터 크기의 효과에 대하여

문제 정의
생성적 음성 언어 모델링(GSLM)은 텍스트 전사(transcription)에 의존하지 않고 이산적인 음성 표현(discrete speech representations)을 통해 언어 모델(LM)을 학습시키는 것을 목표로 한다. 이 패러다임은 문자가 없는 언어나 영유아의 언어 습득 연구를 가능하게 하지만, 현재의 GSLM 방식은 효율성 측면에서 문제를 안고 있다. 음성을 이산 단위 시퀀스로 변환하는 과정(speech-to-unit, s2u)은 일반적으로 텍스트보다 훨씬 긴 시퀀스를 생성하며, 이는 Transformer 기반 LM에서 계산 비용의 이차적(quadratic) 증가를 초래한다. 기존 문헌에서는 음성 언어 이해 성능을 높이기 위해 시퀀스 길이를 줄이고 클러스터 크기를 키우는 것이 유효하다고 제안되어 왔으나, 이러한 발견이 생성적 응용 분야에서 핵심적인 음성 합성 및 지속(continuation) 작업에서도 유효한지는 여전히 불분명하다.

방법론
저자들은 s2u 파이프라인의 두 가지 핵심 매개변수를 조작하여 비트레이트(bitrate) 변화가 GSLM 성능에 미치는 영향을 조사한다:

1. 세그멘테이션 너비 ($N$): SSL 모델(HuBERT-base)에서 추출된 연속적인 음성 표현을 $N$ 밀리초(ms)의 고정된 길이의 윈도우로 분할한다.
2. 클러스터 크기 ($K$): 이 세그먼트들을 다양한 클러스터 수($K$)를 가진 K-평균(K-means) 클러스터링을 사용하여 양자화하며, $K$의 범위는 $2^7$ (128)에서 $2^{14}$ (16,384)까지이다.

$N$의 8가지 값(20ms ~ 280ms)과 $K$의 8가지 값을 결합함으로써, 본 연구는 64개의 서로 다른 비트레이트 설정을 생성한다. 기준점(baseline)은 $N=20$(원래의 HuBERT 프레임 시프트와 일치)과 표준 클러스터 크기로 정의된다.

실험 프레임워크는 두 가지 주요 작업을 평가한다:

• 음성 재합성(Speech Resynthesis): 이산 단위로부터 입력 음성을 재현한다.
• 음성 지속(Speech Continuation): 입력 세그먼트에 조건화되어 의미적, 음향적으로 일관된 음성을 생성한다.

시스템은 표준 GSLM 아키텍처를 채택한다: s2u 모듈, Transformer 기반 자기회귀 단위 언어 모델(uLM, OPT 기반), 그리고 단위-음성(u2s) 합성 모듈이다. 견고성을 확보하기 위해 두 가지 서로 다른 u2s 모델(Parallel WaveGAN 보코더를 사용하는 Tacotron2와 엔드투엔드 모델인 VITS)을 테스트하였다.

평가 지표
본 연구는 다각적인 평가 전략을 활용한다:

• 재합성: 명료도를 위한 단어 오류율(WER), 자연스러움을 위한 UTMOS, 그리고 음향 특징 재구성을 위한 Mel-Cepstral Distortion(MCD) 및 LogF0 RMSE를 측정한다.
• 지속: 다양한 샘플링 온도(temperature)에 대해 계산된 퍼플렉시티(PPL)와 다양성(VERT)을 측정한다. 저자들은 PPL/VERT 트레이드오프에 대한 전통적인 "곡선 아래 면적(area under the curve)" 지표가 비단조적(non-monotonic) 동작으로 인해 종종 유효하지 않다는 점을 언급하며, 대신 최소-최대 정규화 후 오라클 지점까지의 유클리드 거리를 사용한다.
• 고급 평가: LLM-as-a-Judge(GPT-4.1-mini)를 이용한 쌍체 비교(pairwise judgments)와 의미론적 평균 의견 점수(MMOS)를 이용한 인간 평가를 수행한다.

주요 결과

• 음성 재합성: 일반적으로 더 작은 세그멘테이션 너비($N$)가 선호되지만, 적당히 큰 값(예: $N=40$ 또는 $80$)도 명료도나 자연스러성의 실질적인 저하 없이 기준점($N=20$)과 대등한 성능을 달s성한다. 이는 낮은 비트레이트 설정이 음성 품질을 보존할 수 있음을 시사한다.
• 음성 지속: 재합성에서는 기준점이 가장 좋은 결과를 보이는 경우가 많았던 것과 대조적으로, 지속 작업에서는 더 큰 $N$(낮은 비트레이트)을 가진 여러 설정이 기준점과 대등하거나 약간 더 나은 성능을 보였다. 구체적으로, Tacotron2의 경우 $(N=120, K=2^{13})$, VITS의 경우 $(N=80, K=2^{12})$ 설정이 높은 성능을 입증했다.
• 모델 의존성: Tacotron2가 VITS보다 명료도(WER) 측면에서 일관되게 우수한 성능을 보였으나, VITS는 음향적 충실도(MCD, UTMOS)에서 더 뛰어난 모습을 보였다. 그러나 두 모델 간의 PPL 및 VERT 점수의 스피어먼 상관계수가 높게 나타난 점으로 보아, u2s 모델의 선택이 지속 작업의 의미론적 콘텐츠 품질에는 제한적인 영향을 미치는 것으로 나타났다.
• 평가 지표: LLM 기반의 쌍체 비교는 전통적인 지표(PML, VERT)보다 인간의 주관적 점수(MMOS)와 더 높은 상관관계를 보였다. 그러나 전반적인 상관관계는 여전히 낮았으며, 이는 현재의 자동화된 지표들이 음성 지속의 의미론적 품질을 신뢰성 있게 평가하기에는 불충분함을 나타낸다.

의의 및 주장
본 논문은 일반적으로 고해상도 이산 단위(작은 $N$, 긴 시퀀스 길이)를 사용하는 기존의 GSLM 설정이 효과적인 음성 생성을 위해 불필요한 중복 정보를 포함하고 있을 수 있다고 주장한다. 저자들은 세그멘테이션 너비를 키우고 클러스터 크기를 최적화함으로써, 훨씬 낮은 비트레이트에서도 명료하고 자연스러운 음성 재합성 및 고품질의 음성 지속이 가능하다는 것을 입증하였다.

이러한 발견은 출력 품질을 희생하지 않으면서도 GSLM의 훈련 및 추론 효율성을 높일 수 있는 경로를 제시한다. 또한, 본 연구는 평가 방법론의 중대한 공백을 지적한다. LLM 기반 지표가 전통적인 지표보다 개선된 성능을 보여주기는 하지만, 음성 지속을 평가하기 위한 고도의 상관관계를 가진 자동화된 지표는 여전히 부족하며, 이에 대한 추가적인 연구가 필요함을 강조한다.