Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens
이 논문은 텍스트, 의미론적, 음향 토큰을 통합한 다음 토큰 예측 기반의 네이티브 오디오 파운데이션 모델 'SODA'를 제안하고, 대규모 실험을 통해 최적의 데이터와 모델 크기 간의 스케일링 법칙을 규명하여 다양한 오디오 및 텍스트 작업에 적용 가능한 유연한 아키텍처를 제시합니다.
원저자:Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang
텍스트 중심 AI (LLM 기반): 이 친구들은 글을 읽는 데는 천재지만, 소리를 들으면 "의미만 대충 알아듣고" 소리의 뉘앙스나 목소리 톤은 무시합니다. 마치 책을 읽는 데는 능숙하지만, 노래를 부르면 가사만 외우고 멜로디는 잊어버리는 사람 같습니다.
소리만 듣는 AI: 이 친구들은 소리의 미세한 뉘앙스 (목소리 톤, 배경음 등) 는 잘 이해하지만, "무슨 뜻인지"를 파악하는 언어 능력은 부족합니다. 마치 음악은 잘 들지만 가사가 무슨 뜻인지 모르는 사람 같습니다.
이 연구의 목표: 이 두 가지를 합쳐서, 소리의 의미 (언어) 와 소리의 질감 (음성) 을 동시에 이해하고 만들어낼 수 있는 완벽한 AI를 만드는 것이었습니다.
2. 핵심 비법: "거꾸로 섞어 먹는" 레시피 (Interleaved Tokens)
이 연구는 AI 가 소리와 글을 배울 때, 두 가지를 따로따로 가르치지 않고 섞어서 가르치는 것이 핵심이라고 말합니다.
비유: 우리가 아이에게 "사과"라는 글자를 가르칠 때, "사과"라는 글자만 보여주는 게 아니라, 사과를 먹으면서 "사과"라고 말하는 소리를 동시에 들려주는 것과 같습니다.
실제 방법: AI 가 소리를 들을 때, 소리를 작은 조각 (토큰) 으로 잘게 나누고, 그 조각들 사이에 글자 조각들을 섞어서 한 번에 학습하게 합니다.
결과: AI 는 "이 소리는 '고양이'라는 뜻이고, 동시에 '야옹'이라는 소리를 내는 고양이 목소리다"라고 동시에 배우게 됩니다.
3. 데이터 양과 모델 크기의 황금비율 (스케일링 법칙)
"AI 를 더 크게 만들면 더 똑똑해질까?"라는 질문에 이 연구는 **"데이터 양을 더 많이 늘려야 한다"**고 답했습니다.
기존 상식 (텍스트 AI): 모델 크기를 2 배로 키우면 데이터도 2 배면 충분하다고 생각했습니다.
이 연구의 발견 (소리 AI): 소리는 글자보다 정보가 더 희박합니다. (소리는 1 초에 100 개 조각으로 나뉘지만, 글자는 1 초에 4 개 정도입니다.)
비유:소리는 '물'이고 글자는 '꿀'입니다. 꿀 (글자) 은 한 방울만 먹어도 영양이 많지만, 물 (소리) 은 많이 마셔야 영양을 섭취할 수 있습니다.
그래서 AI 모델 (그릇) 을 키울 때, 데이터 (물) 를 모델 크기보다 훨씬 더 빠르게 늘려야 AI 가 제대로 성장한다는 것을 발견했습니다. (모델을 1.6 배 키우려면 데이터는 그보다 더 많이 줘야 함)
4. 실험 결과: SODA (소다) 프로젝트
연구팀은 이 레시피를 적용해 SODA라는 AI 시리즈를 만들었습니다.
무엇을 했나? 1 억 3 천만 개에서 40 억 개까지 다양한 크기의 모델을 만들어 5000 억 개의 데이터로 훈련시켰습니다.
어떤 일이 가능해졌나?
청각: 소리를 듣고 내용을 이해함 (ASR).
발화: 글을 듣고 자연스러운 목소리로 말함 (TTS).
번역: 외국어 소리를 듣고, 같은 목소리로 한국어로 말해줌 (음성 번역).
특이점: 기존에 "처음부터 가르치는 것 (Cold-start)"과 "이미 글을 아는 AI 에게 소리를 가르치는 것 (Warm-start)"을 비교했는데, 처음부터 가르치는 것이 소리를 배우는 데 더 안정적이고 효과적이었습니다. (이미 글을 잘 아는 AI 는 소리를 배우는 데 혼란을 겪는 경우가 많았음)
5. 왜 이 연구가 중요한가요?
이 연구는 **"소리와 언어를 하나로 통합한 AI"**를 만드는 데 필요한 공식 (데이터 양, 모델 크기, 학습 방법) 을 처음 체계적으로 증명했습니다.
미래의 가능성: 이제 이 AI 는 단순히 "소리를 듣는 기계"를 넘어, 목소리를 유지한 채 다른 언어로 번역해주거나, 영화 대본을 읽어주면서 배우의 연기를 그대로 재현하는 등 훨씬 더 다재다능한 일을 할 수 있는 기반이 되었습니다.
핵심 메시지: 소리를 이해하는 AI 를 키우려면, 글자보다 더 많은 소리를 섞어서 가르치고, 모델보다 데이터에 더 투자해야 한다는 것이 이 연구의 결론입니다.
한 줄 요약:
"AI 가 소리를 제대로 이해하고 말하려면, 글자만 가르치지 말고 소리와 글을 섞어서 많이, 그리고 오랫동안 가르쳐야 한다!"
1. 문제 정의 (Problem)
현재 오디오 언어 모델 (Audio Language Models) 은 다음과 같은 한계를 가지고 있습니다:
텍스트 중심 아키텍처 (Text-First): SALMONN, Qwen3-Omni 등 기존 모델들은 사전 훈련된 텍스트 LLM 을 기반으로 오디오 모듈을 추가합니다. 이는 '의미적 병목 현상 (Semantic Bottleneck)'을 유발하여 정밀한 음향 세부 사항 (acoustic details) 이 손실되거나 일반 오디오 생성 능력이 제한됩니다.
의미만 모델링 (Semantic-Only): TWIST, SpiritLM 등은 음성의 의미 (semantic) 만을 토큰화하여 학습하지만, 고음질 생성이나 정밀한 음향 이해를 위한 음향 정보 (acoustic details) 를 버립니다.
음향 전용 모델 (Native Audio): AudioLM, Moshi 등은 음향 토큰을 직접 모델링하지만, 텍스트 통합이 부족하거나 특정 작업에 국한되어 범용성을 갖추지 못했습니다.
확장 법칙 (Scaling Laws) 부재: 텍스트 LLM 에는 잘 정립된 확장 법칙 (Chinchilla 등) 이 존재하지만, 이산 오디오 (discrete audio) 토큰에 대한 체계적인 확장 연구는 부족했습니다. 오디오 토큰의 정보 밀도가 텍스트보다 낮을 수 있어 최적의 계산 자원 할당 (모델 크기 vs 데이터 양) 이 불명확했습니다.
2. 방법론 (Methodology)
저자들은 단일 백본 (backbone) 에서 의미 (Semantic), 음향 (Acoustic), 텍스트 (Text) 토큰을 통합적으로 모델링하는 네이티브 오디오 파운데이션 모델을 제안합니다.
아키텍처: Qwen3 아키텍처를 기반으로 한 디코더 전용 (decoder-only) 트랜스포머를 사용합니다. 오디오는 Mimi 신경 코덱을 사용하여 이산 토큰화 (discretization) 하며, 첫 번째 코드북은 의미, 나머지 코드북은 음향 세부 사항을 캡처합니다.
토큰 인터리빙 (Interleaving): 문장 단위 (utterance-level) 로 텍스트와 오디오 토큰을 교차 배치합니다. 단어 단위 정렬 오류를 피하고 대규모 데이터셋 (전사본 포함) 을 활용할 수 있게 합니다.
음성 데이터: Yodas (YouTube 기반) 와 Emilia (자발적 대화) 를 주력으로 사용.
텍스트 데이터: 의미 이해와 일반 지식을 향상시키기 위해 Nemotron-CC 웹 코퍼스를 약 5% 비율로 혼합.
확장 법칙 연구 (IsoFLOP Analysis): 64 개의 모델을 3×10¹⁸ ~ 3×10²⁰ FLOPs 범위의 다양한 계산 예산으로 훈련하여 최적의 모델 크기 (N∗) 와 데이터 양 (D∗) 의 관계를 규명했습니다.
3. 주요 기여 (Key Contributions)
검증된 훈련 레시피 확립: 데이터 소스 (Yodas+Emilia), 텍스트 혼합 비율 (5%), 토큰 구성 (의미+음향+텍스트) 을 체계적으로 분석하여 최적의 조합을 제시했습니다.
초기 이산 오디오 모델 확장 법칙 연구: 텍스트 LLM 과는 다른 확장 패턴을 발견했습니다.
결과: 최적의 데이터 양 (D∗) 은 모델 크기 (N∗) 보다 1.6 배 더 빠르게 증가해야 함을 발견 (D∗∝C0.579, N∗∝C0.367). 이는 오디오 토큰의 정보 밀도가 텍스트보다 낮음을 시사합니다.
SODA (Scaling Open Discrete Audio) 모델 시리즈 개발: 135M 에서 4B 파라미터까지 확장된 모델들을 500B 토큰으로 훈련시켰습니다.
Cold-start vs Warm-start: 오디오 태스크에서는 처음부터 훈련하는 (Cold-start) 것이 텍스트 LLM 에서 시작하는 (Warm-start) 것보다 ASR 성능과 훈련 안정성 측면에서 우월함을 증명했습니다.
검증된 유효성 지표: 검증 손실 (Validation NLL) 이 다운스트림 작업 (ASR, TTS 등) 의 성능을 강력하게 예측할 수 있음을 입증했습니다.
4. 실험 결과 (Results)
성능 비교: SODA 는 기존 모델 (SpiritLM, Llama-Mimi 등) 과 비교하여 범용성에서 압도적인 성과를 보였습니다.
의미적 이해 (Semantic): SODA 의 의미 점수는 의미 전용 모델보다 낮았으나, 이는 음향 토큰 포함에 따른 트레이드오프였으며, 순수 의미 모델로 재학습 시 SpiritLM 을 능가함을 확인했습니다.
음향 이해 (Acoustic): Salmon 벤치마크에서 70% 이상의 정확도를 달성했습니다.
크로스모달 (Cross-Modal): 단일 모델로 ASR (음성→텍스트) 과 TTS (텍스트→음성) 를 모두 수행하며, Llama-Mimi 와 달리 크로스모달 능력을 완전히 통합했습니다.
확장 효과:
ASR/TTS: 모델 크기가 커질수록 성능이 급격히 향상되지만, 일정 규모 이후 체감하는 경향 (saturation) 을 보였습니다.
텍스트 지식 (Text Knowledge): HellaSwag 등 텍스트 이해 능력은 모델이 커질수록 지수적으로 향상되는 '도래 현상 (Emergence)'을 보였습니다.
S2ST (음성→음성 번역) 적용: SODA 를 파인튜닝하여 보이스 보존 (voice-preserving) 음성 번역 작업을 수행했습니다. 별도의 인코더/디코더나 화자 임베딩 없이 단순한 다음 토큰 예측 (Next-Token Prediction) 으로만 구현 가능함을 보여주었습니다.
5. 의의 및 결론 (Significance)
범용 오디오 파운데이션 모델의 새로운 패러다임: 텍스트, 의미, 음향 토큰을 통합한 단일 아키텍처가 다양한 오디오/텍스트 작업을 유연하게 처리할 수 있음을 입증했습니다.
확장 법칙의 정립: 오디오 모델 훈련을 위한 계산 자원 할당 가이드라인 (데이터가 모델보다 더 중요함) 을 제시하여 향후 연구의 기준을 마련했습니다.
오픈 소스 기여: 모델 체크포인트, 이산 오디오 데이터, 훈련 코드, 실험 로그를 공개하여 오디오 파운데이션 모델 연구의 민주화를 촉진합니다.
실용적 적용: 음성 번역, 음성 생성, 오디오 이해 등 다양한 응용 분야에서 범용 백본 (backbone) 으로 활용 가능함을 보여주었습니다.
이 논문은 오디오 생성 및 이해를 위한 차세대 파운데이션 모델 개발에 있어 데이터의 양과 품질, 그리고 토큰 구성의 중요성을 강조하며, 텍스트 중심의 접근법을 넘어선 네이티브 오디오 모델링의 가능성을 열었습니다.