💬 NLP

SPARCLE: SPeaker-aware Aligned Representations via Contrastive Language Embeddings

이 논문은 텍스트 문자와 음향 특징을 정렬하기 위해 대조 학습 목적 함수로 학습된 화자 인지 글자 표현 모델인 SPARCLE을 소개하며, 이는 표준 글자 기반 모델과 비교하여 극단적인 저자원 환경에서 단어 오류율을 줄이고 텍스트 음성 변환 생성 품질을 유의미하게 향상시킨다.

원저자: Priyam Mazumdar, Yurii Halychanskyi, Steven Guo, Mark Hasegawa-Johnson, Volodymyr Kindratenko

게시일 2026-07-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Priyam Mazumdar, Yurii Halychanskyi, Steven Guo, Mark Hasegawa-Johnson, Volodymyr Kindratenko

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 인간의 언어를 말하는 법을 가르치려 한다고 상상해 보세요. 오랫동안 이 작업을 수행하는 가장 좋은 방법은 모든 글자를 특정 소리 단위인 음소(예를 들어 "cat"이라는 단어를 /k/, /æ/, /t/로 나누는 것)로 번역하는 "사전"을 로봇에게 제공하는 것이었습니다.

하지만 이 방식에는 큰 결함이 있습니다. 이는 마치 운전자의 손에 핸들을 쥐여주거나 엔진 소리를 들려주지 않은 채, 도로 지도만 보여주며 운전을 가르치는 것과 같습니다. 로봇은 소리의 규칙은 알지만, 특정 사람이 그 규칙을 말할 때 실제로 어떤 소리가 나는지는 알지 못합니다. 또한, 이러한 소리 사전을 만드는 것은 비용이 많이 들고 다양한 억양에 맞춰 업데이트하기도 어렵습니다.

SPARCLE의 등장.

SPARCLE을 단순히 글자를 소리로 번역하는 것을 넘어, 글자를 특정 인물이 실제로 그 소리를 어떻게 내는지로 번려하는 "스마트 번역기"라고 생각해 보세요.

작동 원리는 다음과 같은 간단한 비유를 통해 설명할 수 있습니다.

1. 문제점: "일률적인" 사전

영어에서는 같은 글자라도 문맥에 따라 매우 다르게 들릴 수 있습니다. 예를 들어, "read"라는 단어는 과거형일 때는 "reed"처럼 들리고, 현재형일 때는 "red"처럼 들릴 수 있습니다. 표준적인 글자-소리 사전은 여기서 혼란을 겪기 쉽습니다. 이는 마치 레시피 북에 "소금을 넣으시오"라고만 적혀 있고, 냄비의 크기에 따라 얼마만큼의 소금을 넣어야 하는지는 알려주지 않는 것과 같습니다.

2. 해결책: SPARCLE의 "음향적 그림자(Acoustic Shadow)"

연구진은 모든 글자에 "음향적 그림자"를 부여하도록 SPARCLE을 설계했습니다.

비유: 당신이 아이에게 고양이 그리는 법을 가르치고 있다고 상상해 보세요. 단순히 고양이 그림(글자)을 보여주는 대신, 실제 고양이가 움직이고, 가르랑거리고, 몸을 쭉 펴는 영상(소리)을 보여주는 것입니다.
작동 방식: SPARCLE은 글자(예: "a")를 보고 이렇게 묻습니다. "이 특정 사람이 말할 때 이 글자는 어떤 소리가 나는가?" SPARCLE은 이미 수천 시간의 인간 음성을 듣고 소리의 정확한 "형태"를 이해하고 있는 강력한 AI 도구(Wav2Vec2라고 불림)를 사용하여 소리의 정교한 형태를 파악합니다.

3. "매치 게임" (대조 학습)

SPARCLE을 가르치기 위해 연구진은 거대한 매치 게임을 진행했습니다.

텍스트 전사(transcript)에서 글자 하나를 가져옵니다.
오디오 녹음에서 해당 글자가 발음되는 정확한 순간을 찾아냅니다.
그리고 컴퓨터에게 이 특정 글자가 반드시 이 특정 소리 파형과 똑같이 생겨야 한다고 강제로 학습시킵니다.
이 과정을 수백만 번 반복합니다. 컴퓨터는 다음과 같이 학습합니다. "내가 's'라는 글자를 보고, 화자가 이런 식으로 소리를 낸다면, 소리 파형은 저런 모습이어야 한다."

4. "목소리 가면" (화자 인식)

가장 멋진 부분 중 하나는 SPARCLE이 누가 말하고 있는지 안다는 점입니다.

비유: 연극 배우를 상상해 보세요. 만약 그들이 화난 노인 역할을 맡는다면 목소리를 바꿀 것입니다. 만약 행복한 아이 역할을 맡는다면 또 다르게 바꿀 것입니다.
SPARCLE은 "목소리 가면"(음색 임베딩이라고 불림)을 사용합니다. 컴퓨터가 글자를 처리하기 전에, 특정 화자의 "가면"을 씁니다. 이는 컴퓨터에게 다음과 같이 지시합니다. "좋아, 우리는 글자 'a'를 읽고 있지만, 일반적인 로봇 목소리가 아니라 이 특정 사람의 목소리로 말해야 해."

5. 결과: 적은 데이터로 더 나은 음성 구현

연구진은 아주 적은 양의 데이터(예: 10분 또는 1시간의 오디오)만으로 로봇을 가르치는 실험을 통해 이를 테스트했습니다.

기존 방식: 데이터를 아주 적게 주었을 때, 표준 글자를 사용하는 로봇은 발음 실수(높은 단어 오류율)를 하며 심하게 비틀거렸습니다. 이는 책을 딱 한 번만 보고 언어를 배우려는 것과 같았습니다.
SPARCLE 방식: 아주 적은 양의 데이터만 있어도 SPARCLE은 훨씬 더 명확한 음성을 만들어냈습니다. 가장 까다로운 테스트에서 발음 오류를 절반으로 줄였습니다.
이유는 무엇일까요? SPARCLE은 소리가 무엇인지 처음부터 배울 필요가 없었기 때문입니다. 이미 훈련 과정에서 소리의 "느낌"을 배웠습니다. 그것은 단지 그 느낌을 새로운 화자에게 어떻게 적용할지만 배우면 되었습니다.

요약

SPARCLE은 컴퓨터에게 말하는 법을 가르치는 새로운 방법입니다. 경직된 소리 사전을 사용하는 대신, 글자를 화자와 문맥에 따라 변하는 살아있는 소리로 이해하도록 가르칩니다. 이는 텍ming 기반의 지침서에서, 어떻게 하는지 정확히 보고 들을 수 있는 동영상 튜토리얼로 업그레이드하는 것과 같습니다.

이 논문은 이 방식이 특히 훈련을 위한 녹음 시간이 충분하지 않을 때 음성 합성을 훨씬 더 뛰어나게 만들며, 화자가 훈련 데이터와 다른 억양을 가지고 있더라도 잘 작동한다고 주장합니다.

기술 요약: SPARCLE

문제 정의

최근 텍스트 음성 합성(TTS) 기술의 발전은 음소(phoneme) 기반 표현에서 직접적인 그래핌(grapheme, 철자) 모델링으로 전환되었습니다. 음소는 텍스트와 음향 사이의 일대다 매핑 문제를 해결하지만, 그래핌-투-포님(G2P) 변환 시스템에 의존해야 한다는 단점이 있습니다. 이러한 G2P 시스템은 악센트 및 방언을 인식하는 모델이 필요하며, 비용이 많이 드는 음소 레이블이나 수작업으로 제작된 발음 사전에 의존하며, 다양한 화자 도메인(예: 북미 영어 vs 영국 영어)에 걸쳐 확장하거나 일반화하는 데 한계가 있습니다.

반대로, 그래핌 기반 모델은 충분한 학습 데이터가 있을 때는 음소 기반 시스템보다 뛰어난 성능을 보일 수 있지만, 발음의 모호성으로 인해 저자원 환경에서는 어려움을 겪습니다. 단일 그래핌 시퀀스(예: "read")는 문맥, 시제 또는 화자의 정체성에 따라 여러 가지 음향적 실현을 생성할 수 있는데, 표준 그래핌 임베딩은 명시적인 음성 감독 없이는 이러한 미묘한 차이를 포착하지 못합니다.

방법론

저자들은 명시적인 음소 주석 없이도 그래핌 입력에 세밀하고 문맥 특화된 음향 정보를 풍부하게 입히기 위해 설계된 모델인 SPARCLE(SPeaker-aware Aligned Representations via Contrastive Language Embeddings)을 제안합니다.

핵심 아키텍처

SPARCLE은 화자 정체성에 따라 조건화된 음향 표현과 그래핌을 정렬하는 캐릭터 레벨 인코더로 기능합니다. 이 아키텍처는 세 가지 주요 구성 요소로 이루어져 있습니다.

그래핌 정렬 및 음향 추출:
- 모델은 음향 임베딩을 추출하기 위해 Wav2Vec2 계열의 모델을 활용합니다.
- 캐릭터 레벨의 정렬을 달성하기 위해, 전사(transcript)를 오디오에 강제 정렬(forced-align)하여 각 글자를 특정 Wav2Vec2 임베딩 벡터 집합에 매핑합니다.
- 매핑이 본질적으로 일대다(하나의 글자가 여러 음향 프레임에 대응) 관계이므로, **어텐션 풀링 메커니즘(attention pooling mechanism)**을 사용합니다. 학습된 그래핌 임베딩의 투영(projection)을 통해 관련 음향 프레임에 대한 어텐션 가중치를 생성하고, 이를 통해 글자당 하나의 고정된 크기를 가진 풀링된 오디오 임베딩을 생성합니다.
화자 조건화 (Speaker Conditioning):
- 새로운 임베딩 행렬을 학습하여 일반화 능력을 저해하는 대신, 화자 정체성을 포착하기 위해 FaCodec 음색(timbre) 임베딩을 사용합니다.
- 이 임베딩은 사전 학습된 화자 불가지론적(speaker-agnostic) 모델에서 추출되며, 악센트가 있는 음성에서도 강력한 화자 분리 능력을 제공합니다.
- 화자 임베딩은 단위 정규화(unit-normalized)되어 처리 전 그래핌 임베딩 앞에 결합됩니다. 학습 데이터의 화자 집합에 과적합되는 것을 방지하기 위해 화자 토큰에 무작위 드롭아웃( $p=0.5$ )이 적용됩니다.
캐릭터 트랜스포머 (Character Transformer):
- 핵심은 대문자와 공백을 대상으로 작동하는 표준 인코더 스타일 트랜스포머(12개 블록, 12개 어텐션 헤드, 768 차원 임베딩)입니다.
- 국소적 문맥(예: 공조음 효과)을 명시적으로 모델링하기 위해, 그래핌 임베딩에 커널 크기가 3인 1D 컨볼루션이 적용됩니다. 이 짧은 문맥 임베딩은 원래의 그래핌 임베딩과 결로 결합된 후 트랜스포머의 입력 차원으로 투영됩니다.

학습 목표

SPARCLE은 대조 학습(contrastive learning) 목표를 사용하여 학습됩니다. 목표는 (국소 문맥과 화자 조건이 추가된) 그래핌 임베딩을 동결된 Wav2Vec2 모델으로부터 추출된 그에 상응하는 풀링된 음향 임베딩과 정렬하는 것입니다.

긍정 쌍 (Positive Pairs): 하나의 그래핌 임베딩과 그에 대응하는 풀링된 음향 임베딩.
부정 쌍 (Negative Pairs): 배치 내의 다른 모든 그래핌-음향 쌍.
손실 함수는 온도 파라미터 0.1을 사용하는 코사인 유사도를 사용하여 계산됩니다.

주요 기여 및 실험 설정

논문은 SPARCLE을 두 가지 서로 다른 TTS 백엔드인 ParrotTTS(이산 유닛을 예측하는 모듈형 시스템)와 VITS(엔드 투 엔드 모델)에서 표준 그래핌 임베딩의 드롭인 교체 모델로 평가합니다.

사전 학습: SPARCLE은 강제 정렬을 사용하여 글자-음향 쌍을 생성하며 LibriSpeech-960h 데이터셋(미국 영어)에서 사전 학습됩니다.
다운스트림 평가: 도메인 변화 시나리오를 테스트하기 위해 주로 영국 영어인 VCTK v0.92 데이터셋에서 미세 조정(fine-tuning)을 수행합니다.
저자원 환경: 10분에서 10시간까지의 학습 예산을 대상으로 실험을 진행하여 극단적인 저자원 조건을 시뮬레이션합니다.
미세 조정 전략: 저자들은 다음과 같은 다양한 적응 깊이를 평가합니다:
- Frozen (동결): SPARCLE이 고정된 특징 추출기로 작동합니다.
- Partial Fine-tuning (부분 미세 조정): 마지막 $K$ 개의 트랜스포머 블록만 해제됩니다 ( $K \in \{1, 3, 7\}$ ).
- Fully Unfrozen (전체 해제): 모든 SPARCLE 레이어가 TTS 백엔드와 함께 공동으로 학습됩니다.

결과

실험 결과, SPARCLE은 특히 저자원 환경과 화자 조건화가 적용되었을 때 생성 품질을 크게 향상시키는 것으로 나타났습니다.

발음 정확도 (WER):
- SPARCLE은 모든 데이터 예산에 걸쳐 표준 그래핌 임베딩보다 일관되게 우수한 성능을 보입니다.
- 10분 환경에서, SPARCLE은 단어 오류율(WER)을 베이스라인의 **85.7%**에서 (음색 조건화 및 $K=7$ 적용 시) **42.2%**로 낮춥니다.
- 1시간 환경에서, WER은 **24.7%**에서 **7.5%**로 떨어집니다.
- 또한 SPARCLE은 대부분의 저자원 환경에서 음소 기반 모델(표준 G2P 사용)보다 우수한 성능을 보였으며, 특히 북미 중심의 G2P 사전(예: g2pE)이 영국 영어(VCTK) 데이터에서 실패하는 점을 부각했습니다.
화자 일관성 (EER):
- SPARCLE은 등가 오류율(EER)을 개선하여 더 나은 화자 일관성을 보여줍니다.
- 최상의 결과는 부분 미세 조정( $K=7$ )과 음색 조건화를 결합했을 때 나타납니다. 예를 들어, 10시간 데이터 기준 EER은 베이스라인의 **1.17%**에서 **0.76%**로 개선되었습니다.
적응 트레이드오프 (Adaptation Trade-offs):
- 부분 미세 조정은 다운스트림 도메인(VCTK)에 적응하는 것과 사전 학습된 신호(LibriSpeech)를 보존하는 것 사이에서 최적의 균형을 제공합니다. 완전히 해제된 모델은 종종 성능 저하를 보이는데, 이는 과적합 또는 망각 현상을 시사합니다.
- 음색 조건화는 모델이 적응할 수 있을 때(부분 미세 조정) 가장 효과적입니다. SPARCLE이 동결된 상태에서는 음색 조건을 추가하는 것이 때때로 성능을 저하시킬 수 있습니다.
백엔드 범용성:
- VITS는 극단적인 저자원 환경에서 높은 WER(121.7%)을 보였지만, SPARCLE 통합은 여전히 상당한 수준의 화자 일관성 개선(EER이 5.6%에서 3.9%로 감소)을 보여주었습니다. 이는 데이터 부족이 전체적인 명료도를 제한하더라도 개선된 텍스트 표현이 화자 일관성에 도움이 됨을 시사합니다.

의의 및 주장

본 논문은 SPARCLE이 그래핌 표현에 풍부한 음향 정보를 성공적으로 인코딩하여, 최소한의 다운스트림 학습 데이터(화자당 30분 수준)만으로도 고품질 TTS를 가능하게 한다고 주장합니다.

이 연구의 의의에 관한 주요 주장은 다음과 같습니다:

G2P 의존성 제거: SPARCLE은 비용이 많이 드는 방언 특화 G2P 시스템과 발음 사전의 필요성을 제거하며, 이는 확장 및 다국어 적응의 병목 현상을 해결합니다.
도메인 변화에 대한 강건성: 모델은 명시적인 도메인 적응 없이 미국 영어(LibriSpeech)의 음향 지식을 영국 영어(VCTK)로 전달하는 강력한 일반화 능력을 입증했습니다.
향후 방향: 저자들은 SPARCLE이 정렬된 오디오-텍스트 쌍만을 필요로 하기 때문에 다국어 음성으로 쉽게 확장 가능하다고 제안합니다. 또한, 명시적인 ID 없이 화자 정체성에 조건화할 수 있는 능력은 참조 오디오나 기술자를 이용한 제로샷 음성 생성의 길을 열어줍니다. 마지막으로, 저자들은 SPARCLE 임베딩이 이산적 음성 토큰을 자기회귀적으로 생성하는 현대적 음성 언어 모델(예: VALL-E)에 매우 적합하며, 전통적인 G2P 모듈에 대한 학습된 대안이 될 수 있다고 언급했습니다.