💬 NLP

UniAudio-Token: Empowering Semantic Speech Tokenizers with General Audio Perception

UniAudio-Token은 구조적 감독을 위한 의미-음향 프리미티브(Semantic-Acoustic Primitives)와 음향적 세부 사항을 복원하기 위한 의미-음향 평형 게이팅(Semantic-Acoustic Equilibrium gating) 메커니즘을 도입함으로써 일반적인 오디오 인지 능력을 통해 의미론적 음성 토크나이저를 강화하며, 이를 통해 이해 및 생성 작업 모두에서 기존의 단일 코드북 베이스라인 모델들을 능가하는 통합된 오디오 인터페이스를 달성한다.

원저자: Yuhan Song, Linhao Zhang, Aiwei Liu, Chuhan Wu, Sijun Zhang, Wei Jia, Yuan Liu, Houfeng Wang, Xiao Zhou

게시일 2026-06-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuhan Song, Linhao Zhang, Aiwei Liu, Chuhan Wu, Sijun Zhang, Wei Jia, Yuan Liu, Houfeng Wang, Xiao Zhou

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇(AI)에게 소리의 세계를 이해하고 말하는 법을 가르치려 한다고 상상해 보세요. 이를 위해 로봇에게는 소리 파동을 읽을 수 있는 단어로 번역해 주는 '사전'이 필요합니다. 이 사전은 **토크나이저(tokenizer)**라고 불립니다.

오랫동안 이러한 사전들은 큰 문제점을 안고 있었습니다. 마치 "인간의 언어"만 할 줄 아는 전문 번역가와 같았기 때문입니다. 그들은 사람이 하는 말은 아주 잘 이해했지만, 개가 짖는 소리, 파도가 부서지는 소리, 혹은 사이렌 소리를 들려주면 귀머거리처럼 변했습니다. 그들은 이런 소리들을 억지로 인간의 언어 패턴에 끼워 맞추려 했고, 그 과정에서 세부 사항을 놓치거나 완전히 무시하곤 했습니다. 논문에서는 이를 **"음향적 맹목(acoustic blindness)"**이라고 부릅니다.

반면에, 모든 것을 다 들을 수 있는 사전(마치 고성능 마이크처럼)들도 있었지만, 그들은 단어 뒤에 숨겨진 '의미'를 이해하는 데는 매우 서툴렀습니다. 목소리의 정확한 높낮이는 들을 수 있어도, 그 사람이 기쁜지 슬픈지, 혹은 실제로 무엇을 말하고 있는지는 알지 못했습니다.

UniAudio-Token은 바로 이 문제를 해결하는 올인원(all-in-one) 사전입니다. 저자들(북경대학교와 텐센트 연구진)은 인간의 언어뿐만 아니라 모든 소리를 위한 범용 번역기 역할을 하는 시스템을 구축했습니다.

그들이 이 일을 어떻게 해냈는지, 두 가지 주요한 "초능력"을 통해 설명하겠습니다.

1. "세 겹의 샌드위치" (의미-음향 프리미티브)

당신이 친구에게 영화 장면을 묘사한다고 상상해 보세요.

기존 방식: 당신은 단순히 "한 남자가 걷고 있다"라고 말합니다. (이것이 언어적 부분입니다). 당신은 그가 빗속에서 걷고 있는지, 빨간 코트를 입었는지, 슬픈 표정인지와 같은 사실은 무시합니다.
UniAudio-Token의 방식: 그들은 **의ink-Acoustic Primitives (SAP)**라고 불리는 새로운 소리 묘사법을 발명했습니다. 이것은 마치 세 겹의 샌드위치와 같습니다:
- 첫 번째 층 (대본): 무엇이 말해지고 있는가? (단어들).
- 두 번째 층 (배우): 어떻게 말해지고 있는가? (목소리가 낮은가? 화가 났는가? 아이인가 아니면 노인인가?).
- 세 번째 층 (무대): 주변에서 무슨 일이 일어나고 있는가? (비가 내리는가? 자동차 엔진 소리가 웅웅거리는가? 문이 쾅 닫히는 소리가 나는가?).

AI가 이 세 가지 층을 동시에 학습하도록 함으로써, AI는 "소음"(예: 빗소리나 음악)을 무시하지 않고 이를 중요한 정보로 취급하기 시작합니다.

2. "스마트 믹서" (의미-음향 평형)

훌륭한 묘사 방법이 있더라도 기술적인 문제가 있었습니다. AI가 소리를 뇌 속에서 더 깊게 처리할수록, 주된 의미에 집중하기 위해 "세부적인 디테일"(예: 목소리의 질감이나 방의 울림)을 버리는 경향이 있다는 점입니다. 이는 마치 책을 너무 빨리 요약하느라 풍경에 대한 아름다운 묘사를 놓치는 것과 같습니다.

이를 해결하기 위해 그들은 스마트 믹서(Smart Mixer)(이름은 SAE)를 만들었습니다.

AI를 하나의 공장 조립 라인이라고 생각해 보세요. 초기 단계의 작업자들은 가공되지 않은 상세한 소리(심층적이지 않은 층)를 봅니다. 후기 단계의 작업자들은 거대한 전체적인 의미(깊은 층)를 봅니다.
보통, 깊은 층의 작업자들은 초기 층에서 보았던 것들을 잊어버립니다.
스마트 믹서는 내용을 감시하는 문지기 역할을 합니다. 만약 AI가 복잡한 노래나 시끄러운 거리의 소리를 듣고 있다면, 문을 활짝 열어 상세한 "가공되지 않은 소리"가 "전체적인 의미"와 다시 섞일 수 있도록 합니다. 반대로 AI가 명확한 대화를 듣고 있다면, 문을 살짝 닫아 단어에 집중합니다.
이 과정은 자동적이고 즉각적으로 일어나며, AI가 의미를 이해하면서도 소리의 "풍미"를 결코 잃지 않도록 보장합니다.

결과: 맥가이버 칼 (Swiss Army Knife)

논문은 이 새로운 시스템이 오디오의 "맥가이버 칼"임을 보여줍니다.

모든 것을 듣습니다: 개가 짖는 소리, 빗소리, 헬리콥터 비행 소리 등을 테스트했을 때, 이 시스템은 이들을 완벽하게 분류해 냈습니다. 기존 시스템들은 이 소리들을 서로 혼동하거나 무시하곤 했습니다.
완벽하게 말합니다: 이러한 비언어적 소리들을 들으면서도, 인간의 언어를 이해하는 능력이 떨어지지 않았습니다. 오히려 인간의 말을 더 실감 나게 만드는 작은 디테일(예: 억양과 숨소리)을 유지하는 법을 배웠기 때문에, 인간의 언어를 생성하는 능력이 더 향상되었습니다.
거대 뇌를 돕습니다: 이 토크나이저를 거대 언어 모델(LLage Model, "뇌")에 연결했을 때, 그 뇌는 음악, 효과음, 그리고 음성에 관한 질문에 훨씬 더 똑똑하게 답할 수 있게 되었으며, 기존의 단일 사전 시스템들을 모두 능가했습니다.

요약하자면: UniAudio-Token은 AI에게 단어, 목소리, 배경 소음 등 세상의 소리 전체를 듣는 법을 가르쳐주는 새로운 도구입니다. 이 도구는 '듣는 것'과 '이해하는 것' 사이의 간극을 메워줍니다.

기술 요약: UniAudio-Token

문제 정의

현재의 오디오 대규모 언어 모델(Audio-LLMs)은 오디오 토큰화 전략에서 심각한 한계에 직면해 있습니다. 기존의 접근 방식은 일반적으로 다음 두 가지 범주로 나뉘며, 두 방식 모두 상당한 트레이드오프를 겪습니다:

의미론적 음성 토크나이저 (Semantic Speech Tokenizers): SpeechTokenizer 및 GLM-4-Voice-Tokenizer와 같은 모델들은 단일 코드북 설계를 사용하며 강력한 언어적 정렬(종종 ASR 인코더로부터 초기화됨)을 특징으로 합니다. 음성 이해 및 생성에는 효과적이지만, "음향적 맹목성(acoustic blindness)"을 보입니다. 언어적 내용 추출을 위해 엄격하게 최적화됨으로써, 이러한 모델들은 음성 신호의 미세한 단서와 청각적 장면의 세부 사항을 노이즈로 간주하여 능동적으로 억제하며, 결과적으로 음악이나 소리 이벤트와 같은 일반적인 오디오 인지 작업에는 부적합합니다.
음향 중심 토크나이저 (Acoustic-Centric Tokenizers): WavTokenizer와 같은 모델들은 단일 코드북 벡터 양자화를 사용하여 파형 재구성 및 일반적인 오디오 세부 사항을 우선시합니다. 그러나 이들은 명시적인 의미론적 가이드가 부족합니다. 결과적으로 이들의 토큰은 의미에 기반한 뚜렷한 범주적 클러스터를 형성하지 못하며, 이로 인해 의미론적으로는 구별되지만 음향적으로는 유사한 소리들(예: 빗소리와 백색 소음)이 중첩된 분포로 붕괴되는 현상이 발생합니다.

이러한 이분법은 오디오-LLM이 음성 전용 작업에 국한되거나, 인지를 위한 연속 인코더와 생성을 위한 이산 토크나이저를 결합한 이질적인 아키텍처에 의존해야 하는 파편화된 패러다임을 강요합니다. 본 논문은 고도의 음성 생성과 고수준의 일반 오디오 인지를 모두 지원할 수 있는 통합된 단일 코드북 토크나이저를 구현하는 것이 중요한 미해결 과제라고 주장합니다.

방법론

기존 토크나이저에 내재된 감독 충돌(supervision conflict)과 아키텍처적 병목 현상을 해결하기 위해, 저자들은 UniAudio-Token을 제안합니다. 이 프레임워크는 의미론적 음성 토크나이저가 음성 능력을 저해하지 않으면서도 일반 오디오 인지 능력을 갖출 수 있도록 설계되었습니다. 이 프레임워크는 두 가지 핵심 혁신을 도입합니다:

1. 의미-음향 프리미티브 (Semantic-Acoustic Primitives, SAP)

감독 충돌을 해결하기 위해, 저자들은 원시 오디오를 세 가지 상호 보완적인 레이어로 분해하여 내용(content)과 스타일(style)을 명시적으로 분리하는 구조화된 감독 프로토콜을 도입합니다:

언어적 내용 (Linguistic Content): 음성을 위한 축자적 전사(verbatim transcript).
음성 속성 (Vocal Attributes): 음성 생성의 특성을 나타내는 6가지 정규화된 필드 (연령, 성별, 감정, 억양, 운율, 음색).
청각적 장면 (Auditory Scene): 일시적 이벤트(예: 문 닫는 소리)와 지속적 이벤트(예: 엔진 소음)를 포함한 음향 환경을 포착.

전통적인 ASR 코퍼스와 달리, SAP는 저엔트로피 감독 타겟을 제공하여 모델이 의미론적 백본을 방해하지 않으면서도 음성 및 음향적 세부 사항을 위한 용량을 할당하도록 강제합니다. 데이터 큐레이션 파이프라인은 대규모 언어 모델(LLM)을 활용하여 풍부한 음향 캡션을 생성하고 대규모 ASR 코퍼스로부터 구조화된 JSON 주석을 합성한 후, 엄격한 품질 검증을 거칩니다.

2. 의미-음향 평형 (Semantic-Acoustic Equilibrium, SAE)

심층적인 의미론적 인코더가 미세한 음향적 단서를 돌이킬 수 없이 상실하는 아키텍처적 병목 현상을 해결하기 위해, 저자들은 콘텐츠 인식 게이팅 메커니즘을 제안합니다.

메커니즘: SAE 모듈은 의미론적으로 풍부한 심층 특징( $H_{deep}$ )과 음향적으로 풍부한 얕은 특징( $H_{shallow}$ )을 적응적으로 융합합니다.
프로세스: 얕은 특징은 학습 가능한 MLP를 통해 심층 특징 공간으로 투영됩니다. 심층 특징과 얕은 특징을 결합하여 시그모이드 활성화 함수가 적용된 MLP를 통과시켜 계산된 게이팅 메커니즘이 융합 가중치를 결정합니다.
기능: 최종 표현식은 $H_{combined} = H_{deep} + g \odot H_{ada\_shallow}$ 입니다. 이를 통해 모델은 필요한 경우(예: 음악이나 노이즈가 있는 환경) 미세한 음향적 세부 사항을 동적으로 주입하는 동시에, 음성을 위한 언어적 추상화를 유지할 수 있습니다.

훈련 전략

모델은 언어적 정렬을 보존하기 위해 whisper-large-v3로부터 초기화됩니다. 훈련은 두 단계로 진행됩니다:

1단계: 벡터 양자화(VQ) 레이어를 우회합니다. SAE 모듈과 디코더는 연속적인 은닉 공간을 구조화된 SAP 타겟에 정렬하기 위해 SAP 예측 손실만을 사용하여 훈련됩니다.
2단계: VQ 레이어를 삽입합니다. 코드북은 SAP와 정렬된 표현을 보존하면서 이산 오디오 토큰을 생성하도록 최적화됩니다. 목적 함수는 SAP 예측 손실과 양자화 및 커밋먼트(commitment) 손실을 결합합니다.

주요 결과

광범한 평가를 통해 UniAudio-Token이 언어적 정렬과 보편적 표현 사이의 간극을 성공적으로 메웠음을 입증했습니다:

잠재 공간 분리 (Latent Space Disentanglement): ESC-50 데이터셋(도메인 외)에서 UniAudio-한히 다양한 오디오 이벤트에 대해 조밀하고 잘 분리된 클러스터를 형성합니다. 정량적 분석 결과, Uni-Audio-Token은 ESC-10 및 ESC-50 모두에서 양의 실루엣 점수(Silhouette Score)를 달성한 유일한 모델인 반면, 베이스라인 모델들은 특징이 엉켜 있음을 나타내는 음의 점수를 보였습니다.
음성 생성 충실도 (Speech Generation Fidelity): 음향적 세부 사항을 추가하는 것이 음성에 해를 끼칠 것이라는 가정과 달리, UniAudio-Token은 재구성 측면에서 특화된 음성 토크나이저보다 뛰어난 성능을 보였습니다. LibriSpeech 및 SEED-TTS에서 가장 낮은 단어 오류율(WER)과 가장 높은 평균 의견 점수(MOS)를 달了했습니다. 저자들은 이를 지나치게 공격적인 의미론적 압축이 일반적으로 버리는 억양 특화 특징 및 음성적 단서(예: 기기음/aspiration)를 유지한 덕분이라고 설명합니다.
다운스트림 오디오-LLM 성능: Qwen2.5 백본과 통합된 UniAudio-Token은 이해 벤치마크(MMAU, MMAR, MMSU)에서 모든 단일 코드북 베이스라인을 능가하며, 특히 소리 및 음악 카테고리에서 상당한 이득을 보여주었습니다. 또한 제어 가능한 텍스트 음성 변환(TTS) 합성에서도 우수한 성능을 입증했습니다.
메커니즘 검증: SAE 게이트 분석을 통해 적응적 동작을 확인했습니다: 게이트 활성화는 신호 대 잡음비(SNR)가 낮아질수록 증가하며, 음성보다 음악에서 훨씬 더 강하게 나타났습니다. 이는 SAE가 정적인 잔차 연결(residual connection)이 아닌 콘텐츠 인식 컨트롤러로서 역할을 수행함을 확인시켜 줍니다.

의의 및 주장

본 논문은 UniAudio-Token이 의미론적 정렬과 음향적 충실도 사이의 역사적 트레이드오프를 해결하는 통합된 이산 인터페이스를 제공한다고 주장합니다. 의미-음향 프리미티브와 의미-음향 평형을 도입함으로써, 음성 생성 품질을 희생하지 않고도 일반 오디오 인지 능력을 의미론적 토크나이저에 부여할 수 있음을 입증했습니다.

저자들은 이 연구를 단일하고 압축된 코드북을 사용하여 음성, 음악, 환경음을 넘나드는 원활한 상호작용이 가능한 진정한 오디오-LLM을 향한 중요한 단계로 위치시킵니다. 비록 모델이 고충실도 음성 재구성과 강력한 일반 오디오 인지를 달성했지만, 복잡한 비음성 오디오에 대한 파형 수준의 재구성은 여전히 특화된 고비트레이트 음향 코덱에 미치지 못하며, 현재 데이터 가용성 문제로 인해 영어와 중국어에 주로 제한되어 있다는 점을 언급했습니다. 그럼에도 불구하고, 이 연구는 이전의 아키텍처적 파편화를 피하는 통합 오디오 토큰화의 새로운 패러다임을 구축했습니다.