기술 요약: 텍스트 지능의 퇴보 없는 통합 오디오 인텔리전스

문제 정의

범용 인공지능(AGI)의 개발에는 오디오와 음성을 이해하고, 추론하며, 생성할 수 있는 모델이 필요합니다. 최근 오디오 대규모 언어 모델(LLM)을 통한 이해 및 생성 연구가 진행되고 있으나, 결정적인 과제가 남아 있습니다: 바로 **멀티모달 퇴보(multimodal regression)**입니다. 멀티모el 입력과 출력이 가능한 모델들은 종종 텍스트 전용 모델에 비해 텍스트 기반 추론, 지식 및 정렬(alignment) 능력에서 상당한 저하를 보입니다. 기존의 오픈 소스 모델들은 멀티모달 생성 능력이 부족한 경우가 많으며, 독점 모델(예: GPT-4o, Gemini 2.5)은 이러한 기능을 통합하고 있지만 가중치를 공개하지 않습니다. 또한, 기존의 통합 모델들은 오디오 생성이 추가될 때 텍-텍 전용 백본의 정교한 추론 및 에이전트 능력을 유지하는 데 어려움을 겪습니다.

방법론

모델 아키텍처

본 논문은 강력한 텍스트 전용 Mixture-of-Experts(MoE) LLM인 Nemotron-Cascade-2-30B-A3B(하이브리드 Mamba2-Transformer 아키텍처 기반, 총 파라미터 30B, 활성화 파라미터 3B)를 기반으로 구축된 통합 오디오-텍스트 LLM인 **Nemotron-Labs-Audex-30B-A3B (Audex)**를 소개합니다.

• 통합 설계: Audex는 단일 Transformer 디코더를 사용합니다. 오디오 입력은 오디오 인코더(파인튜닝된 AF-Whisper)에 의해 처리되며, MLP 어댑터를 통해 텍스트 임베딩 공간으로 투영됩니다.
• 토큰화: 오디오의 이산적(discrete) 토큰을 수용하기 위해 어휘 사전(vocabulary)을 131,072개에서 205,312개로 확장했습니다.
  • 음성(Speech): X-Codec2(50 Hz, 단일 레이어 FSQ, 65,536 어휘)를 사용하여 토큰화합니다.
  • 비음성 오디오(Non-Speech Audio): X-Codec(50 Hz, 4-레이어 RVQ, 4,096 어휘)을 사용하여 토큰화합니다.
  • 생성: 모델은 표준 교차 엔트로피 손실(cross-entropy loss)을 사용하여 텍스트 토큰과 양자화된 오디오 토큰을 균등하게 예측합니다. 특수 토큰(예: <speechgen_start>, <audiogen_end>)은 생성 경계를 관리합니다.
• 디코딩: 비음성 오디오의 경우, 품질을 개선하기 위해 향상된 VAE(BigVGAN-v2 기반)를 사용합니다. 음성의 경우, 더 빠른 추론을 위해 비인과적(non-causal) X-Codec2 디코더 대신 스트리밍 ConvNeXt 디코더를 사용합니다.

학습 전략

학습 파이프라인은 세심한 데이터 큐레이션(오디오 토큰 157.4B, 텍스트 토큰 320.5B)과 다단계 접근 방식을 포함합니다.

1. 지도 미세 조정 (SFT): 저자들은 두 가지 전략을 비교했습니다.
   • 다단계 SFT: 텍스트 전용 SFT로 시작하여, "오디오 워밍업"(어댑터/임베딩만 학습), "오디오 생성 SFT", 그리고 마지막으로 "오디오 이해" 및 ASR/AST 작업을 통합하는 커리큘럼을 따릅니다. 이 방식은 긴 문맥 주의 메커니즘(long-context attention mechanisms)을 보존합니다.
   • 단일 단계 통합 SFT: 모든 데이터 유형을 한 단계에 결합합니다. 비용은 저렴하지만, 이는 NIAH 벤치마크에서 긴 문맥 성능을 크게 저하시키는 것으로 나타났습니다.
   • 결정: 텍스트 추론 능력을 유지하기 위해 최종 모델로는 다단계 SFT 전략이 선택되었습니다.
2. 강화 학습 (RL): 모델은 텍스트 전용 백본의 학습 방식을 모방하여 텍스트 전용 Cascade RL 및 다중 도메인 온-폴리시 증류(MOPD) 과정을 거칩니다. 이 단계는 오디오 능력의 파괴적 망각(catastrophic forgetting) 없이 텍스트 추론과 정렬을 개선합니다.
3. 분류기 없는 가이드 (Classifier-Free Guidance, CFG): 생성 품질을 높이기 위해 모델은 무조건적 샘플(텍스트가 패딩 토큰으로 대체됨)과 함께 학습됩니다. 추론 시에는 특정 하이퍼파라미터와 함께 CFG가 적용됩니다: 텍스트-오디오 생성(TTA)의 경우 $\lambda \approx 3$, 텍스트-음성 생성(TTS)의 경우 $\lambda \approx 1.5$입니다.

주요 기여

1. 퇴보 없는 통합 아키텍처: Audex는 30B MoE 백본의 텍스트 지능을 보존하면서 오디오 이해, 음성 인식, 번역, TTS 및 오디오 생성에서 최첨단(SOTA) 성능을 달s합니다. 다른 통합 모델들과 달리, 추론, 지식 및 에이전트 벤치마크에서 미미하거나 거의 없는 퇴보를 보여줍니다.
2. 오픈 릴리스: 저자들은 30B-A3B 모델과 더 작은 2B 변체(Audex-2B)에 대한 체크포인트를 모두 공개하여 오픈 연구를 촉진합니다.
3. 일반 오디오 생성: Audex는 단일 자기회귀(autoregressive) LLM 프레임워크 내에서 텍스트-오디오와 텍스트-음성을 통합하여 일반 오디오 생성(비음성)을 지원하는 데 입증된 유일한 강력한 오픈 모델입니다.
4. 학습 레시피: 본 논문은 복잡한 오디오 생성 작업을 추론 능력이 있는 LLM에 성공적으로 통합하면서도 긴 문맥 능력이나 추론 능력을 깨뜨리지 않는 구체적인 커리큘럼(다단계 SFT 후 텍스트 전용 RL)을 상세히 설명합니다.

결과

텍스트 능력

Audex-30B-A3B는 주요 벤치마크에서 텍스트 전용 백본(Nemotron-Cascade-2)과 일치하거나 이를 약간 상회하는 성능을 보입니다.

• 추론: AIME 2025에서 91.2%, HMMT Feb25에서 92.2%를 달성하여, 상당한 저하를 보인 Qwen3-Omni-30B-A3B-Thinking을 능가했습니다.
• 긴 문맥 (Long Context): NIAH에서 높은 성능을 유지합니다 (256K에서 99.4%, 1M에서 83.4%). 반면, 단일 단계 SFT 모델들은 거의 0에 가깝게 떨어졌습니다.
• 에이전트 및 정렬: $\tau^2$-Bench에서 57.2, ArenaHard v2에서 81.6을 기록하여 텍스트 전용 베이스라인과 대등한 수준을 보였습니다.

오디오 능력

• 음성 인식: OpenASR(평균 WER 6.82%) 및 노이즈가 있는 LibriSpeech에서 오픈 모델 중 SOTA를 달성하였으며, Step-Audio-R1.1 및 Qwen3-Omni-30B-A3B-Thinking을 능가했습니다.
• 오디오 이해: MMAU(75.6)에서 강력한 베이스라인과 일치하며, 오디오 함의(Audio Entailment, 95.0) 및 CMM 환각 탐지에서 우수한 신뢰성을 입증했습니다.
• 생성:
  • TTS: 고정된 목소리에 대해 Seed-TTS-Eval에서 1.70 WER을 달성했습니다.
  • TTA: 공개 데이터 모델 중 AudioCaps(66.9 OpenL3 FD) 및 SongDescriber(62.7 OpenL3 FD)에서 SOTA 결과를 달성하며, AudioLDM2 및 Stable Audio Open과 같은 확산(diffusion) 기반 모델들을 능가했습니다.

의의

본 논문은 텍est 지능을 타협하지 않고도 이해와 생성이 모두 가능한 네이티브 멀티모달 LLM을 구축할 수 있음을 입증함으로써 Audex가 AGI를 향한 중요한 단계임을 주장합니다. 정교하게 큐레이션된 다단계 학습 레시피를 통해 추론 능력이 있는 MoE 백본에 오디오 생성을 성공적으로 통합함으로써, Audex는 전문화된 오디오 모델과 범용 추론 엔진 사이의 간극을 메웁니다. 저자들은 이 접근 방식이 다른 통합 모델에서 보이는 "퇴보"를 피한다는 점을 강조하며, 오디오 능력을 추가하면서도 핵심적인 추론, 지식 및 에이전트 강점을 유지할 수 있음을 증명했습니다.