⚡ electrical engineering

TokAN: Accent Normalization Using Self-Supervised Speech Tokens

TokAN은 병렬 학습 데이터나 합성된 타겟 없이도 우수한 명료도와 억양 감소를 달성하는, 자기 지도 학습 기반의 토큰 기반 억양 정규화 프레케임워크로, 자기 회귀형 인코더-디코더와 강화 학습을 사용하여 비원어민 음성을 표준 억양으로 변환한다.

원저자: Qibing Bai, Shuai Wang, Yuhan Du, Bohan Li, Yannan Wang, Haizhou Li

게시일 2026-07-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Qibing Bai, Shuai Wang, Yuhan Du, Bohan Li, Yannan Wang, Haizhou Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 TokAN 논문을 일상적인 비유를 사용하여 쉬운 개념으로 나누어 설명한 내용입니다.

핵심 아이디어: "목소리"는 유지하면서 "억양"만 고치기

친구가 이야기를 하고 있는데, 특정 단어를 이해하기 힘들 정도로 강한 억양을 가지고 있다고 상상해 보세요. 당신은 그 친구가 뉴스 앵커처럼 "표준" 영어를 구사하기를 바라지만, 동시에 그 목소리가 로봇이나 다른 사람이 아닌, 여전히 당신의 친구가 이야기하는 것처럼 들리기를 원합니다.

이것이 **억양 정규화(Accent Normalization)**가 해결하고자 하는 문제입니다. 이 논문은 이 작업을 기존 방식보다 더 잘 수행하는 TokAN이라는 새로운 시스템을 소개합니다.

기존 방식의 문제점

TokAN 이전의 억양 수정 방식은 마치 손으로 그림을 모사하는 것과 같았습니다:

"참조(Reference)" 문제: 일부 기존 방식은 가이드로 사용할 똑같은 문장을 말하는 원어민의 녹음본이 필요했습니다. 이는 마치 원본 그림을 똑같이 베끼기 위해 원본 사진이 반드시 필요한 것과 같습니다. 하지만 현실 세계에서는 그런 완벽한 일치 사례를 찾기가 매우 어렵습니다.
"합성(Synthetic)" 문제: 다른 방식들은 컴퓨터로 생성된 음성을 가이드로 사용하려고 했습니다. 하지만 컴퓨터 목소리는 종종 로봇 같거나 타이밍이 이상합니다. 만약 모델을 이러한 "가짜" 목소리로 학습시킨다면, 모델은 그 로봇 같은 오류까지 함께 학습하게 되어 최종 결과물이 부자연스러워집니다.

TokAN의 솔루션: "디지털 레고" 접근 방식

TokAN은 가공되지 않은 생생한 음파(연속적인 오디오 파일)로 작업하는 대신, 음성을 **이산적 토큰(discrete tokens)**으로 분해함으로써 판도를 바꿉니다.

비유:
음성을 매끄러운 강물이 아니라, 모스 부호나 마인크래프트 블록으로 쓰인 문장이라고 생각해보세요.

토큰(Tokens): 이들은 소리(음소)를 나타내는 개별적인 "블록" 또는 "점과 선"입니다.
마법 같은 점: 이 블록들은 단어의 의미는 담고 있지만, 그것이 어떻게 발음되었는지에 대한 지저도한 세부 사항(특정한 억양, 호흡, 정확한 피치 등)은 제거합니다.

TokAN의 작동 원리 (3단계 프로세스)

1. 번역가 (토크나이저, The Tokenizer)

먼저, 시스템은 억양이 있는 음성을 듣고 이를 "블록"(토큰)으로 변환합니다.

혁신: 과거에는 이 블록들이 무작정 할당되었습니다(마치 계획 없이 색깔별로 레고 브릭을 분류하는 것과 같습니다). TokAN은 **결합 학습된 VQ 토크나이저(Jointly Trained VQ Tokenizer)**를 사용합니다.
비유: 숙련된 장인이 단순히 브릭을 분류하는 것이 아니라, 나중에 집을 지을 때 벽이 곧게 서고 지붕이 딱 맞도록 특정 목적에 맞춰 브릭을 설계하는 것과 같습니다. 이 토크나이저는 음성 합성기와 함께 학습되어, 단어를 이해할 수 있을 만큼의 정보는 담되 억양이 데이터에 남지 않도록 완벽한 양의 디테일을 포착합니다.

2. 변환기 (인코더-디코더, The Encoder-Decoder)

이것은 운영의 두뇌입니다. "억양이 있는 블록"을 받아 이를 "표준 블록"으로 재배열합니다.

혁신: 이 시스템은 전체 블록 시퀀스를 한꺼번에 살펴보는 특수한 형태의 AI(자기회귀 인코더-디코더)를 사용합니다.
비유: 이것은 "프랑스 억양이 섞인 영어"로 쓰인 문장을 읽고, 이야기의 내용은 바꾸지 않은 채 "표준 영어"로 다시 쓰는 번역가와 같습니다. 결정적으로, 이 번역가는 **억양 범용적(accent-universal)**입니다. 어떤 억양(중국, 인도, 스페인 등)인지 알 필요 없이, 그저 블록을 보고 스스로 표준 버전을 찾아냅니다.

3. 건축가 (합성기, The Synthesizer)

블록이 "표준"으로 변환되면, 시스템은 이를 다시 소리로 바꿔야 합니다.

혁 혁신: 이 시스템은 **플로우 매칭 합성기(Flow-Matching Synthesizer)**를 사용합니다.
비유: 토큰이 설계도라면, 이것은 건설 현장의 인부들입니다. 이들은 오디오 파형을 만들어냅니다.
"더빙" 기능: 놀라운 기능 중 하나는 **길이 제어(Duration Control)**입니다. 때로는 영화 더빙처럼 음성이 원래 시간과 정확히 일치해야 할 때가 있습니다. TokAN은 음성을 늘리거나 줄여서 특정 시간 제한에 맞추면서도, 목소리가 다람쥐처럼 빨라지거나 나무늘보처럼 느려지지 않게 관리하는 특별한 "시간 관리자"를 가지고 있습니다.

핵심 비법: 강화 학습 (코치, The "Coach")

시스템 학습이 끝난 후, 저자들은 GRPO라고 불리는 방법을 사용하는 강화 학습(Reinforcement Learning, RL) 단계를 추가했습니다.

비유: 열심히 공부했지만(지도 학습 미세 조정) 여전히 작은 실수를 하는 학생을 상상해 보세요. 이제 그에게 코치가 붙습니다.
작동 방식: 시스템은 몇 가지 버전의 음성을 생성합니다. 코치(AI 심판)는 다음 두 가지를 기준으로 점수를 줍니다:
1. 올바른 단어를 말했는가? (낮은 단어 오류율, WER)
2. 원어민처럼 들리는가? (억양 분류기의 확신도)
시스템은 계속해서 다시 시도하며, 더 높은 "점수"를 받기 위해 노력합니다. 이를 통해 시스템은 새로운 인간 데이터 없이도 표준 학습에서 놓쳤던 미묘한 억양 문제를 해결하는 법을 배웁니다.

결과: 왜 중요한가?

논문은 7가지 다양한 억양(중국, 스페인, 한국 등)을 가진 사람들의 영어를 대상으로 TokAN을 테스트했습니다.

명확성 향 향상: 시스템은 이전의 어떤 방식보다 "단어 오류율"(컴퓨터가 음성을 오해하는 빈도)을 크게 줄였습니다.
더 자연스러움: 로봇 같지 않고 원어민처럼 들렸습니다.
정체성 유지: 억양은 바뀌었지만, 청자는 여전히 원래 화자의 목소리를 알아챌 수 있었습니다.

요약

TokAN은 다음과 같이 작동하는 똑똑하고 마법 같은 번역가와 같습니다:

억양 노이즈를 무시하기 위해 음성을 단순한 "블록"으로 분해합니다.
그 블록들을 표준 영어로 재배열합니다.
고품질의 건설팀을 사용하여 소리를 다시 구축합니다.
억양은 사라지되 화자 고유의 목소리는 남도록 코치를 고용하여 연습합니다.

이 기술은 완벽한 매칭 녹음본이 필요하거나 로봇 같은 목소리가 나는 문제를 해결함으로써, 영화 더빙 및 언어 학습 분야에서 큰 진전을 이루었습니다.

기술 요약: TokAN: 자기 지도 학습 기반 음성 토큰을 이용한 억양 정규화

문제 정의

억양 정규화(Accent Normalization, AN) 또는 외국어 억양 변환(Foreign Accent Conversion, FAC)은 비원어민(L2)의 억양 섞인 음성을 원어민(L1)의 표준 음성으로 변환하면서 원래 화자의 정체성을 보존하는 것을 목표로 합니다. 기존 방식들은 다음과 같은 상당한 한계점에 직면해 있습니다:

참조 기반 방식(Reference-based methods): 추론 시 원어민 음성 샘플이 필요하며, 이는 실제 배포를 저해합니다.
참조 불필요 방식(Reference-free methods): 자연스럽게 녹음된 병렬 L1–L2 코퍼스에 의존하는 경우가 많으나, 이러한 데이터는 매우 희귀합니다.
합성 감독 방식(Synthetic supervision methods): (캐스케이드 ASR-TTS 파이프라인을 사용하는 경우) 품질 저하를 겪습니다. 직접적인 음성 감독은 음성 복제 아티팩트와 합성된 타겟의 운율 오류를 전파하며, 합성된 지속 시간 정보는 실제 원어민의 리듬을 반영하지 못하는 경우가 많습니다.
토큰 기반 방식(Token-based methods): 사전 학습된 자기 지도 학습(SSL) 모델과 K-Means 클러스터링을 사용하는 방식은 억양 특이적 음성 콘텐츠에 대해 최적으로 판별적인 코드 할당을 생성하지 못할 수 있습니다. 또한, 교차 엔트로피 손실을 사용한 지도 미세 조정(SFT)은 콘텐츠 보존 및 억양 감소라는 궁극적인 목표를 달성하기에는 약한 신호입니다.

방법론

저자들은 자기 지도 학습 기반의 이산 음성 토큰(discrete speech tokens) 상에서 작동하는 포괄적인 프레임워크인 TokAN을 제안합니다. 이 시스템은 세 가지 주요 구성 요소와 4단계 훈련 파이프라인으로 이루어져 있습니다.

1. 공동 학습된 VQ 토크나이저 (Jointly Trained VQ Tokenizer)

고정된 SSL 특징에 오프라인 K-Means 클러스터링을 적용하는 대신, TokAN은 학습 가능한 벡터 양자화(Vector Quantization, VQ) 코드북을 채택합니다.

아키텍처: 고정된 WavLM-Large SSL 인코더가 프레임 수준의 특징을 추출하며, 이 특징들은 얕은 1-D ResNet과 VQ 병목 구간을 통과하여 이산 토큰을 생성합니다.
공동 학습(Joint Training): 토크나이저는 원어민 영어 음성에 대해 플로우 매칭(flow-matching) 음성 합성기 및 CTC 기반 ASR 모듈과 함께 공동 최적화됩니다. 목적 함수는 VQ 재구성 손실, 합성 손실, 그리고 인식 손실을 결합합니다.
이점: 이를 통해 코드북이 고충실도 재구성과 콘텐츠 보존 모두에 적합한 음성학적으로 풍부한 표현을 캡처하도록 보장하며, 암시적으로 억양 있는 음성의 초기 정규화를 제공합니다.

2. 자기 회귀적 토큰 변환 모델 (Autoregressive Token Conversion Model)

이 모듈은 L2 억양 토큰 시퀀스를 L1 억양 시퀀스로 변환합니다.

아키텍처: 인코더-디코더 트랜스포머 구조입니다. 인코더는 회전 위치 인코딩(Rotary Positional Encodings, RoPE)을 사용하며, 음소 콘텐츠를 강화하기 위해 CTC 음소 예측 손실에 의해 감독됩니다. 디코더는 별도의 크로스 어텐션 레이어를 사용하는 대신 인코더 출력을 접두사(prefix)로 취급하는 자기 주의(self-attention) 전용 구조입니다. 모델은 명시적인 소스 억양 임베딩을 제거하고 음소 콘텐츠에만 의존하도록 하여 **억양 범용적(accent-universal)**으로 설계되었습니다.
훈련:
- 사전 학습(Pre-training): 라벨이 없는 원어민 음성에 대해 BART 스타일의 오염(span masking, insertion)을 적용하여 토큰 분포를 학습합니다.
- 지도 미세 조정(SFT): 반합성 병렬 토큰 쌍(L2 소스 토큰과 TTS로 합성된 L1 타겟 토큰의 쌍)을 사용하여 교차 엔트로피 및 CTC 가이드를 통해 훈련됩니다.
- RL 사후 학습(RL Post-training): **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 사용하는 강화 학습 단계입니다. 디코더는 단어 오류율(WER)과 억양 분류기 신뢰도를 결합한 보상 함수를 사용하여, 쌍이 없는 실제 다중 억양 음성(GLOBE 데이터셋)으로 미세 조정됩니다. 이는 추가적인 쌍 데이터 없이도 태스크 수준의 목표를 직접 최적화합니다.

3. 플로우 매칭 합성기 (Flow-Matching Synthesizer)

비자기 회귀 모델이 변환된 토큰 시퀀스를 멜-스펙트로그램으로 다시 변환합니다.

지속 시간 제어(Duration Control): 플로우 매칭 지속 시간 예측기가 토큰에 지속 시간을 할당합니다. 이는 소스의 평균 토큰 지속 시간을 조건으로 하는 총 지속 시간 인지(total-duration-aware) 모드를 지원합니다. 이를 통해 단순 스케일링보다 더 자연스러운 운율을 유지하면서도, 더빙과 같은 응용 분야에 필수적인 "소스 길이" 보존이 가능합니다.
출력: 사전 학습된 HiFT 보코더가 소스 화자 임베딩을 조건으로 최종 파형을 생성합니다.

주요 기여

공동 학습된 VQ 토크나이저: 컨퍼런스 버전의 HuBERT/K-Means 토크나이저를 합성 및 ASR 모듈과 결합된 공동 학습된 VQ 토크나이저로 대체하여, 음성학적 표현과 재구성 충실도를 체계적으로 최적화했습니다.
억양 범용 아키텍처: RoPE와 자기 주의 전용 디코더를 갖춘 변환 모델을 재설계하여, 소스 억양 임베딩을 제거하고 더 높은 일반화 성능을 구현했습니다.
RL 사후 학습: 쌍이 없는 실제 데이터를 사용하여 콘텐츠 보존(WER)과 억양 감소(억양 분류기)를 직접 최적화하는 GRPO 기반 RL 단계를 도입함으로써, SFT 동작과 배포 기준 사이의 간극을 메웠습니다.
지속 시간 인지 합성: 소스의 평균 지속 시간을 조건으로 하는 플로우 매칭 예측기를 확장하여, 소스 타이밍을 존중하면서도 자연스러운 운율을 제공하는 고품질 합성을 가능하게 했습니다.
포괄적 평가: 더 큰 데이터셋, 더 강력한 베이스라인, 상세한 절제 실험을 통해 컨퍼런스 버전을 넘어 연구 범위를 확장했습니다.

실험 결과

영국 7개 억양(L2-ARCTIC 데이터셋)에 대해 TokAN을 FramAN(frame-to-frame), CosyAccent(직접 플로우 매칭), VEVO(프롬프트 기반 토큰 변환)와 비교하는 실험을 수행했습니다.

명료도(WER): RL 사후 학습 후, TokAN은 9.23%(TokAN-1, 지속 시간 미사용) 및 9.40%(TokAN-2, 소스 길이 유지)의 WER을 달성했습니다. 이는 CosyAccent(12.40%)와 FramAN(17.55%)을 크게 앞서는 수치입니다.
억양 감소: TokAN은 가장 낮은 $\Delta$ PPG(0.2533)와 가장 높은 L1 확률(99.09%)을 기록하여, 원어민에 가까운 발음으로의 우수한 변환을 입증했습니다.
자연스러움: TokAN-1은 가장 높은 주관적 자연스러움 점수(70.73 MUSHRA)를 기록했습니다.
화자 유사도: TokAN은 억양 감소와 화자 유사성 사이의 트레이드오프를 보였으나(기존 연구들과 일치), 경쟁력 있는 유사도 점수를 유지했습니다. 저자들은 현재의 임베딩 조건부 합성기가 프롬프트 기반 접근 방식에 비해 화자 정체성 보존 측면에서 병목이 될 수 있다고 언급했습니다.
절제 실험(Ablation Studies): 각 단계의 필요성을 확인했습니다: RL을 제거하면 WER이 9.89%로 증가하였고, SFT를 제거하면 성능이 재합성 수준으로 저하되었으며, 사전 학습이나 CTC 감독을 제거하는 것 또한 성능에 상당한 악영지 영향을 미쳤습니다.

의의 및 주장

본 논문은 TokAN이 병렬 L1–L2 데이터의 필요성을 효과적으로 제거하고 합성 감독과 관련된 품질 저하를 완화함으로써 억양 정규화 분야에서 중요한 진전을 이루었다고 주장합니다. 토큰 수준에서 작동함으로써 프레임워크는 부수적인 언어적 아티팩트를 추상화하며, 토크나이저의 공동 학습은 이산 표현이 변환 및 합성이라는 특정 다운스트림 태스크에 최적화되도록 보장합니다.

GRPO 기반 RL 사후 학습의 통합은 쌍이 없는 실제 데이터를 사용하여 태스크별 보상(명료도 및 억양 감소)을 바탕으로 모델을 정교화할 수 있게 하는 독창적인 기여로 강조됩니다. 또한, 총 지속 시간 인지 합성은 소스의 타이밍을 존중하면서도 자연스러운 운율을 희생하지 않는 솔루션을 제공하여 더빙과 같은 실무적인 요구 사항을 해결합니다.

저자들은 TokAN이 새로운 SOTA(State-of-the-art)를 설정했음을 겸허히 밝히면서도, 향 la 연구로서 프롬프트 기반 합성기를 탐색하여 억양 감소와 화자 정체성 보존 사이의 균형을 더 잘 맞추고, 모듈형 아키텍처를 비영어권 언어로 확장할 수 있을 것이라고 결론지었습니다.