⚡ electrical engineering

Speaker-Disentangled Chunk-Wise Regression for Syllabic Tokenization

본 논문은 HuBERT 기반 증류(distillation) 과정에서의 화자 정체성 누출을 극복하는 화자 분리 덩어리 단위 회귀(speaker-disentangled chunk-wise regression) 방법을 통한 비지도 음절 토큰화 방식을 제안하며, 이를 통해 최첨단 수준의 음절 검출을 달나 성 및 다운스트림 음성 언어 모델 성능을 유의미하게 향상시킨다.

원저자: Ryota Komatsu, Kota Kawakita, Takuma Okamoto, Takahiro Shinozaki

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ryota Komatsu, Kota Kawakita, Takuma Okamoto, Takahiro Shinozaki

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 단순히 소리를 듣는 것을 넘어, 그 소리 뒤에 숨겨진 '의미'를 이해하도록 가르치려 한다고 상상해 보십시오. 이를 위해 컴퓨터는 연속적인 음성 흐름을 문장을 단어로 나누듯 작고 관리 가능한 "덩어리(chunks)" 또는 "토큰(tokens)"으로 나누어야 합니다.

이 논문은 이전 방식들보다 이러한 덩어리들을 더 잘 찾아내는 SylReg(Syllable Regression, 음절 회귀)라는 새로운 방법을 소개합니다. 이 방법이 어떻게 작동하는지 쉬운 비유를 통해 설명해 드리겠습니다.

문제점: "정체성 혼란"

도서관의 책들을 정리하려는 사서의 모습을 상상해 보십시오.

목표: 사서는 책을 내용(언어적 콘텐츠)에 따라 분류하고 싶어 합니다.
실수: 기존 방식(SD-HuBERT와 같은 방식)에서 사서는 혼란에 빠졌습니다. 사서는 책의 내용이 아니라 누가 썼는지(화자의 정체성)에 따라 책을 분류하기 시작했습니다.

왜 이런 일이 발생했을까요? 기존 방식은 전체 문장을 한꺼번에 살펴보았기 때문입니다. 만약 특정 인물이 문장 전체를 말했다면, 컴퓨터는 "아, 이 소리의 덩어리 전체가 그 사람의 것이구나"라고 학습하게 됩니다. 즉, "이 소리 덩어리가 이 주제에 관한 것이다"라고 배우는 대신, "이 소리 덩어리는 이 사람의 것이다"라고 배우게 된 것입니다. 이는 마치 도서관의 책을 내부의 줄거리가 아닌, 책등에 적힌 저자의 이름으로 분류하는 것과 같습니다. 이로 인해 "토큰"(덩어리)들이 지저분해지고 언어를 이해하는 데 덜 유용하게 되었습니다.

해결책: "덩어리별 접근 방식"

저자들은 이 "정체성 혼란"을 해결하기 위해 SylReg라고 불리는 새로운 학습법을 제안합니다. 그들은 두 가지 주요 기술을 사용합니다.

1. "잘게 쪼갠" 수업 (Chunk-wise Regression)
새로운 방식은 문장 전체를 한 번에 보는 대신, 음성을 일정한 길이의 작은 "덩어리"(마치 긴 빵 한 덩이를 조각내는 것과 같음)로 나누어 살펴봅니다.

비유: 여러분이 노래를 식별하려고 한다고 가정해 봅시다. 3분짜리 노래 전체를 듣는다면, 여러분은 단순히 "그것은 존의 노래였다"라고 기억할 수도 있습니다. 하지만 1초 단위의 조각들로 나누어 듣는다면, 구체적인 멜로디와 리듬을 듣게 됩니다.
결과: 이렇게 작은 조각들에 집중함으로써, 컴퓨터는 화자의 목소리가 아니라 언어의 구조(음절의 리듬)를 인식하는 법을 배웁니다.

2. "변성기" 기술 (Speaker Disentanglement)
컴퓨터가 화자의 목소리를 무시하도록 만들기 위해, 연구진은 영리한 훈련 게임을 사용합니다.

게임: 남성이 말한 문장을 가져와서 "변성기"를 통과시켜 여성의 목소리로 바꿉니다. 그런 다음 컴퓨터에게 묻습니다. "이 두 소리 덩어리가 서로 다른 것인가요?"
교훈: 컴퓨터는 반드시 "아니요, 이들은 목소리만 다를 뿐 동일한 언어 덩어리입니다"라고 대답해야 합니다.
결과: 컴퓨터는 "목소리"(화자의 정체성)를 벗겨내고 오직 "콘텐츠"(음절)만을 남기는 법을 배웁니다. 이는 어떤 노래를 피아노, 기타, 혹은 신시사이저로 연주하더라도 그 노래를 알아차리는 법을 배우는 것과 같습니다.

이것이 왜 중요한가: 더 나은 "음성 뇌" 구축하기

컴퓨터가 이러한 깨끗하고 순수한 "음절 토큰"을 갖추게 되면, 음성 언어 모델(음성 언어를 이해하는 뇌)을 구축할 수 있습니다.

비교: 저자들은 자신들의 새로운 모델(SylReg-LM)을 기존의 유명한 모델인 SpiRit-LM과 비교했습니다.
결과: 새로운 모델은 문법이나 이야기의 논리 같은 복잡한 언어 과제를 수행할 때 훨씬 더 뛰어난 성능을 보였습니다. 기존 모델보다 성능이 약 7% 향상되었습니다.
효율성: 또한 더 효율적으로 작동합니다. 텍스트를 다시 음성으로 변환할 때 더 적은 "비트(bits)"의 데이터(즉, 더 작은 파일 크기)를 사용하면서도 여전히 명확하고 자연스러운 소리를 낼 수 있습니다.

핵심 요약

이 논문은 컴퓨터가 누가 말하는지에 집착하지 않게 만들고, 대신 무엇을 말하는지에 집중하도록 강제함으로써, 다음과 같은 시스템을 만들었다고 주장합니다:

음절 경계를 더 정확하게 찾아냅니다.
화자의 목소리에 의해 오염되지 않은 깨끗한 "언어 토큰"을 생성합니다.
이전 버전보다 이야기와 문법을 더 잘 이해하는 음성 AI를 구축합니다.

저자들은 자신들의 코드와 모델을 공개하여, 다른 사람들이 이 "더 깨끗한" 방식의 컴퓨터 학습법을 사용할 수 있도록 했습니다.

기술 요약: 음절 토큰화를 위한 화자 분리형 청크 단위 회귀 (Speaker-Disentangled Chunk-Wise Regression)

1. 문제 정의

비지도 음절 토큰화(Unsupervised syllabic tokenization)는 가공되지 않은 음성으로부터 이산적인 음절 토큰을 추출하여 음성 언어 모델(Speech LM)을 위한 의사 전사(pseudo-transcripts)로 활용하는 것을 목표로 한다. SD-HuBERT와 같은 최근 방법들은 사전 학습된 HuBERT의 자기 증류(self-distillation)를 활용하여 잠재 프레임 표현을 음절 세그먼트로 조직하지만, 다음과 같은 두 가지 결정적인 한계를 갖는다:

화자 지배성(Speaker Dominance): 발화 수준의 교차 엔트로피 목적 함수(utterance-level cross-entropy objective)로 학습할 때, 모델은 언어적 내용보다는 화자의 정체성을 예측하는 경향이 있다. 이는 화자의 특성이 발화 전체에 걸쳐 정체(stationary)되어 있어, 결과적으로 생성되는 음절 토카의 순도를 오염시키기 때문이다.
프로토타입 붕괴(Prototype Collapse): SD-HuBERT 방식은 종종 "유효 프로토타입 붕괴(valid prototype collapse)"를 초래하며, 이로 인해 최종 소프트맥스 카테고리의 일부 하위 집합만이 활성화된다. 이는 동일한 카테고리 신호가 언어적으로 다양한 발화에 역전파되도록 함으로써 음절 특징을 저하시킨다.

이러한 문제들은 음절 토큰이 언어적 내용에 덜 충실하게 만들고, 고수준의 언어적 이해를 위한 음성 LM의 효과를 떨어뜨리는 결과를 초래한다.

2. 방법론

저자들은 화자 불변적(speaker-invariant)이고 언어적으로 구조화된 표현을 학습하도록 설계된 프레임워크인 SylReg(Speaker-Disentangled Chunk-Wise Regression)를 제안한다.

A. 화자 분리형 청크 단위 회귀 (Speaker-Disentangled Chunk-Wise Regression)

이전의 프레임 단위 회귀 또는 발화 수준 분류 방식과 달리, SylReg은 BYOL 스타일의 프레임워크(학생-교사 아키텍처) 내에서 청크 단위 회귀(chunk-wise regression) 목적 함수를 사용한다:

아키텍처: 학생 모델은 CNN 인코더, 트랜스포머 인코더(마지막 3개 레이어를 제거한 사전 학습된 HuBERT Base에서 초기화됨), 프로젝터(projector), 그리고 예측기(predictor)로 구성된다. 교사 모델은 백본을 공유하지만 예측기는 제외되며, 지수 이동 평균(EMA)을 통해 업데이트된다.
청크 단위 목적 함수: 전역 회귀 대신, 모델은 고정된 길이의 시간적 청크(예: 100 프레임)에 대해 일관성을 강제한다. 학생 모델은 교사가 처리한 (원래 음성을 기반으로 한) 투영된 은닉 상태(청크 평균값)를 원래 음성에 회귀하도록 학습되며, 이때 교사는 동일한 음성의 화자 섭동(speaker-perturbed) 버전을 처리한다.
화자 섭동(Speaker Perturbation): 화자 속성을 분리하기 위해, 남성 목소리를 여성으로, 혹은 그 반대로 변환하기 위해 제어된 포먼트 이동(formant shifts)과 피치 섭동(pitch perturbations)을 적용한다. 이를 통해 모델이 정적인 화자 특성이 아닌 국소적인 내용 관련 구조에 집중하도록 보장한다.
손실 함수: 목적 함수는 각 청크에 대해 학생과 교사의 $\ell_2$ -정규화된 출력 사이의 평균 제곱 오차(MSE)를 최소화한다.

B. 자기 세그멘테이션 증류 (SylBoost)

창발하는 음절 구조를 더욱 정교하게 만들기 위해, 저자들은 증류 단계를 도입한다:

세그멘테이션(Segmentation): 훈련된 SylReg 학생 모델은 자기 유사도 행렬(self-similarity matrix)에 대한 최소 컷(minimum cut) 알고리즘을 사용하여 발화 내의 의사 음절 경계(pseudo-syllable boundaries)를 세분화한다.
증류(Distillation): data2vec 2.0으로부터 새로운 교사-학생 쌍을 초기화한다. 교사의 프레임 표현은 의사 음절 세그먼트 내에서 평균화되어 회귀 타겟을 형성한다. 학생 모델은 자신의 프레임 표현을 이러한 음절 임베딩으로 회귀하도록 학습된다.
반복적 정교화(Iterative Refinement): 이 과정은 여러 단계에 걸쳐 반복되며, 업데이트된 교사가 다음 단계를 위한 타겟을 추출하고 세그먼트함으로써 음절 구조의 반복적인 자기 정교화를 가능하게 한다.

C. 생성적 음성 언어 모델링 (GSLM)

결과물인 음절 토큰은 음절 토큰과 텍스트 토큰을 교차시키는 음성 LM인 SylReg-LM을 훈련하는 데 사용된다. 이 접근 방식은 고율의 음성학적 토큰과 저율의 서브워드 텍스트 토큰 사이의 입도 차이(granularity mismatch) 문제를 해결하며, 텍스트 LM으로부터 언어적 지식을 전이하는 것을 목표로 한다.

3. 주요 기여

편향 식별: 저자들은 SD-HuBERT에서의 화자 정체성 편향을 식별하고 정량화하여, 발화 수준의 목적 함수가 음절 토큰의 순도를 저해함을 입증했다.
새로운 프레임워크: 청크 단위 회귀와 화자 섭동을 사용하여 화자 분리형 음절 표현을 학습하고 프로토타입 붕괴를 방지하는 비지도 프레임워크를 제 제안했다.
최첨단 토큰화: 이 방법은 음절 경계 탐지 및 음절 세그먼트 클러스터링에서 최첨단 성능을 달면한다.
개선된 음성 LM: SylReg-LM은 음절 단위가 혼합된 폰(phone) 수준 모델인 SpiRit-LM보다 우수한 구문 및 의미 이해 능력을 보여준다.
효율적인 합성: 음절 토큰은 높은 코딩 효율성을 가지면서도 이해 가능한 음성 합성을 가능하게 한다 (TWIST보다 2.3배 낮은 비트레이트에서도 오류율을 유지함).

4. 실험 결과

실험은 LibriSpeech 및 Libri-Light 데이터셋을 대상으로 수행되었다.

음절 세그멘테이션 및 토큰 품질: SylReg는 음절 경계 탐지(F1 점수: SD-HuBERT의 67.5% 대비 72.2%) 및 토큰 순도에서 SD-HuBERT와 HuBERT를 능가한다. SylReg-Distill로 data2vec 2.0에 증류되었을 때, 모델은 74.7%의 F1 점수와 79.5%의 토큰 순도를 달성하여 기존의 최첨단 방법인 SylBoost를 넘어선다.
화자 분리(Speaker Disentanglement): SylReg는 원본 시퀀스와 화자 섭동 시퀀스 사이의 토큰 편집 거리(TED)를 크게 감소시킨다 (SD-HuBRET의 19.4% 대비 9.91%), 이는 화자 변화에 대한 높은 강건성을 나타낸다.
음성 언어 모델링:
- 이해: SylReg-LM (7B 파라미터)은 구문(sBLIMP) 및 의미(StoryCloze) 이해 작업에서 SpiRit-LM보다 7%의 상대적 개선을 달성했다.
- 효율성: 모델은 더 큰 폰 수준 모델들에 비해 훨씬 낮은 계산 비용으로 이러한 결과를 달성한다.
음성 합성: SylReg-Distill은 TWIST 합성기와 유사한 문자 오류율(CER) 및 단어 오류율(WER)을 기록하면서도, 2.3배 낮은 비트레이트(174.8 kbps 대비 76.8 kbps)로 작동한다. 또한 가장 높은 UTMOS 점수(4.31)를 기록하여 우수한 지각 품질을 입증했다.

5. 의의 및 주장

본 논문은 SylReg가 비지도 음절 토칸화의 "화자 지배" 문제를 성공적으로 해결했음을 주장한다. 발화 수준의 분류에서 화자 섭동을 포함한 청크 단위 회귀로 전환함으로써, 이 방법은 언어적 내용에 더 충실하고 화자 정체성에 덜 민나한 토큰을 생성한다.

저자들은 이러한 고순도 음절 토큰이 음성과 텍스트 사이의 입도 격차를 메우는 데 매우 중요하다는 점을 강조한다. 결과적으로, 이 토큰들로 구축된 음성 LM은 LM 자체의 구조적 변경 없이도 텍est 기반 사전 학습을 효과적으로 활용하여 고수준의 언어적 이해(구문 및 의미)를 달성할 수 있다. 이 연구는 화자 분리형 음절 토큰이 이해력 있고 표현력이 풍부한 대화형 에이전트를 구축하기 위한 기초적인 단계임을 제시한다.