Content is What Remains: Invariant Speech Tokenization from Parallel Utterances

위대한 음성 필터: 잡담을 순수한 의미로 바꾸다

당신이 친구에게 비밀 메시지를 보내려고 한다고 상상해 보세요. 하지만 당신이 말을 할 때마다 목소리가 변합니다. 때로는 로봇처럼 들리고, 때로는 만화 캐릭터처럼 들리며, 때로는 양철 통을 통해 소리치는 것처럼 들립니다. 만약 친구가 당신이 한 말을 받아 적으려 한다면, 당신이 '무엇을' 말했는지보다 당신의 목소리가 '어떻게' 들리는지 때문에 혼란을 겪을 수 있습니다. 이것이 현재 컴퓨터가 인간의 음성을 이해하는 방식의 무질서한 현실입니다.

인공지능의 세계에는 "음성 토큰화(speech tokenization)"라고 불리는 분야가 있습니다. 이것을 당신의 목소리라는 복잡하고 물결치는 소리를 악보처럼 단순한 숫자나 "토큰"의 목록으로 바꾸는 번역기라고 생각하면 됩니다. 목표는 가사(실제 단어와 의미)를 음악(당신의 고유한 목소리, 기분, 배경 소음)으로부터 분리하는 것입니다. 현재 대부분의 컴퓨터 번역기는 이 분리 작업에 서툽니다. 그들은 당신의 목소리와 방 안의 메아리를 가사에 실수로 섞어버리며, 이로 인해 메시지는 압축하기 어려워지고 AI가 예측하기도 더욱 어렵게 만듭니다. 이 논문은 바로 이 문제를 다룹니다. 어떻게 하면 컴퓨터에게 다른 모든 것을 무시하고 오직 단어만을 듣도록 가르칠 수 있을까요?

문제점: "방해 요소"의 유출

연구진은 간단한 관찰에서 시작했습니다. 현재의 AI 모델은 마치 잘 듣지 못하는 청자 같습니다. 음성을 토큰으로 변환하려고 할 때, "방해 요소(nuisance)" 정보를 코드에 흘려보냅니다. 만약 당신이 "hello"라는 단어를 속삭이거나, 소리치거나, 영국 억양으로 말한다면, 컴퓨터는 종종 이를 세 가지 완전히 다른 것으로 취급합니다. 이는 마치 컴퓨터가 볼륨이 변했다는 이유만으로 "Hello"와 "HELLO!"를 서로 다른 단어라고 생각하는 것과 같습니다.

이러한 유출은 큰 문제입니다. 데이터의 크기를 거대하게 만들고(모든 변형마다 새로운 코드가 필요하기 때문), AI가 패턴을 학습하는 것을 어렵게 만듭니다. 저자들은 음성이 AI에게 진정으로 유용해지려면, 그 단어를 나타내는 토큰이 누가 말하든 어디서 말하든 동일해야 한다고 주장합니다. 오직 실제 음성의 내용만이 코드를 변화시켜야 합니다.

해결책: PINT (병렬 불변 토큰화)

nyra labs 팀이 개발한 새로운 방법인 PINT가 등장했습니다. 그들의 핵심 아이디어는 놀라울 정도로 단순합니다. 서로 다른 사람들이 말하는 동일한 단어를 사용하여 공통점을 찾는 것입니다.

열 명의 학생에게 똑같은 문장을 말하게 하는 교실을 상상해 보세요. 한 명은 빠르게 말하고, 한 명은 느리게 말하며, 한 명은 감기에 걸렸고, 한 명은 노래를 부르고 있습니다. 이 열 개의 녹음본을 모두 살펴본다면, 그들이 공유하는 유일한 것은 문장의 의미입니다. 속도, 목소리, 억양은 모두 다릅니다. PINT는 이 논리를 초능력으로 사용합니다.

연구진은 "병렬 데이터(parallel data)"—즉, 서로 다른 사람들이 같은 단어를 말하는 녹음 그룹—를 사용하여 AI 모델을 훈련시켰습니다. 그들은 AI에게 엄격한 규칙을 가르쳤습니다: "단어가 같다면 코드도 같아야 한다. 만약 코드가 변한다면, 당신은 화자의 목소리나 배경 소음 같은 잘못된 것에 주의를 기울이고 있는 것이다."

그들은 이를 두 단계로 진행했습니다:

1. "같은 단어" 게임: 그들은 서로 다른 목소리가 "cat"이라고 말할 때 동일한 내부 표현을 갖도록 AI를 강제했습니다. 그들은 유사한 단어는 서로 끌어당기고 다른 단어는 밀어내는 특수한 수학적 기법(Soft-DTW 및 contrastive loss라고 불림)을 사용하여, 무질서한 오디오로부터 순수한 의미를 효과적으로 "증류"해냈습니다.
2. "이산적(Discrete)" 잠금: AI가 순수한 의미를 이해하고 나면, 그들은 이 매끄럽고 연속적인 신호를 고정된 토큰 목록(예: 200개의 특정 소리로 이루어진 사전)으로 변환했습니다. AI가 이미 방해 요인을 무시하는 법을 배웠기 때문에, 같은 단어는 매번 항상 동일한 토큰을 얻게 되었습니다.

결과: 대대적인 정리

이 실험의 결과는 극적이었습니다. 팀은 새로운 시스템을 표준 모델(HuBERT 및 WavLM)과 비교 테스트했으며, PINT가 노이즘으로부터 의미를 분리하는 데 있어 게임 체인저임을 발견했습니다.

• 화자 정체성 소멸: 기존 모델에서는 코드를 보고 화자가 누구인지 추측하려고 하면 AI가 **93.1%**의 확률로 맞혔습니다. PINT를 사용하자 그 정확도가 단 **1.2%**로 떨어졌습니다. AI는 누가 말하고 있었는지를 성공적으로 잊었습니다.
• 감정 유출 감소: 마찬가지로, 화자의 감정을 추측하는 능력도 **55.4%**에서 **32.1%**로 떨어졌으며, 이는 목소리의 "기분"이 상당 부분 제거되어 단어만 남았음을 보여줍니다.
• 압축의 마법: 동일한 단어가 항상 동일한 코드를 갖게 됨에 따라 데이터는 믿기 힘들 정도로 콤팩트해졌습니다. 연구진은 PINT가 단순한 run-length encoding(반복되는 항목 세기)을 사용하여 음성을 초당 152 비트까지 압축할 수 있음을 발견했습니다. 이는 기존 모델(246–273 bits/s)보다 텍스트의 효율성(116 bits/s)에 훨씬 더 근접한 수치입니다.
• 빠른 학습: 가장 인상적인 점은, PINT 토큰으로 훈련된 AI 언어 모델이 기존 토큰으로 훈련된 모델보다 27~30% 더 빠르게 학습하고 훨씬 낮은 에러율에 도달했다는 것입니다. 실제로 PINT 모델은 기존 최고의 모델 수준에 도달하는 데 단 1,400 스텝밖에 걸리지 않았는데, 이는 다른 모델들이 필요했던 것보다 23배 적은 단계입니다.

이것이 의미하는 바

이 논문은 AI가 음성을 이해하도록 만드는 병목 현상이 더 크고 화려한 모델을 만드는 데 있는 것이 아니라, 먼저 데이터를 깨끗하게 만드는 데 있다고 시사합니다. "불변성(invariance)"—즉, 화자가 바뀌더라도 단어의 코드가 바뀌지 않도록 강제하는 것—을 적용함으로써, PINT는 기계가 말하기에 훨씬 더 깨끗하고 효율적인 언어를 만들어냅니다.

저자들은 이 접근 방식이 합성 데이터(synthetic data)에서도 작동한다고 언급했는데, 이는 우리가 아직 방대한 인간 녹음 라이브러리가 없는 언어를 AI에게 가르칠 수 있음을 의미합니다. 이 논문이 모든 음성 문제를 해결했다고 주장하는 것은 아니지만, 만약 우리가 AI가 우리 목소리의 내용을 진정으로 이해하게 만들고 싶다면, 먼저 우리의 정체성이라는 소음을 무시하도록 가르쳐야 한다는 점을 강력하게 시사합니다. 음성 AI의 미래는 우리를 더 잘 듣는 것이 아니라, 우리를 더 명확하게 듣는 것에 있을지도 모릅니다.