Resumo Técnico: Inteligência de Áudio Unificada Sem Regressão na Inteligência de Texto

Declaração do Problema

O desenvolvimento da Inteligência Artificial Geral (AGI) requer modelos capazes de compreender, raciocinar sobre e gerar áudio e fala. Embora esforços recentes tenham produzido LLMs de áudio para compreensão e geração, um desafio crítico permanece: a regressão multimodal. Modelos capazes de entradas e saídas multimodais frequentemente exibem uma degradação significativa no raciocínio baseado em texto, conhecimento e alinhamento em comparação com seus equivalentes apenas de texto. Os modelos de código aberto existentes muitas vezes carecem de capacidades de geração multimodal, enquanto modelos proprietários (ex: GPT-4o, Gemini 2.5) integram esses recursos, mas não liberam os pesos. Além além disso, os modelos unificados existentes frequentemente lutam para manter as capacidades sofisticadas de raciocínio e agência de seus backbones de apenas texto quando a geração de áudio é adicionada.

Metodologia

Arquitetura do Modelo

O artigo apresenta o Nemotron-Labs-Audex-30B-A3B (Audex), um LLM unificado de áudio-texto construído sobre o Nemotron-Cascade-2-30B-A3B, um forte LLM de Mistura de Especialistas (MoE) apenas de texto baseado em uma arquitetura híbrida Mamba2-Transformer (30B de parâmetros totais, 3B ativados).

• Design Unificado: O Audex utiliza um único decodificador Transformer. As entradas de áudio são processadas por um Codificador de Áudio (AF-Whisper finetunado) e projetadas no espaço de embedding de texto via adaptadores MLP.
• Tokenização: O vocabulário foi estendido de 131.072 para 205.312 tokens para acomodar tokens de áudio discretos.
  • Fala: Tokenizada usando X-Codec2 (50 Hz, FSQ de camada única, vocabulário de 65.536).
  • Áudio Não-Falado: Tokenizado usando X-Codec (50 Hz, RVQ de 4 camadas, vocabulário de 4.096).
  • Geração: O modelo prevê tokens de texto e tokens de áudio quantizados uniformemente usando perda de entropia cruzada padrão. Tokens especiais (ex: <speechgen_start>, <audiogen_end>) gerenciam os limites de geração.
• Decodificação: Para áudio não-falado, um VAE de aprimoramento (baseado em BigVGAN-v2) melhora a qualidade. Para fala, um decodificador ConvNeXt de streaming substitui o decodificador X-Codec2 não-causal para uma inferência mais rápida.

Estratégia de Treinamento

O pipeline de treinamento envolve curadoria meticulosa de dados (157,4B de tokens de áudio, 320,5B de tokens de texto) e uma abordagem de múltiplos estágios:

1. Ajuste Fino Supervisionado (SFT): Os autores comparam duas estratégias:
   • SFT de Múltiplos Estágios: Um currículo começando com SFT apenas de texto, seguido por um "Aquecimento de Áudio" (treinando apenas adaptadores/embeddings), depois "SFT de Geração de Áudio" e, finalmente, integrando "Compreensão de Áudio" e tarefas de ASR/AST. Esta abordagem preserva os mecanismos de atenção de contexto longo.
   • SFT Consolidado de Estágio Único: Combina todos os tipos de dados em um único estágio. Embora seja mais barato, descobriu-se que isso degrada significativamente o desempenho de contexto longo (benchmark NIAH).
   • Decisão: A estratégia de SFT de Múltiplos Estágios foi selecionada para o modelo final para manter as capacidades de raciocínio de texto.
2. Aprendizado por Reforço (RL): O modelo passa por RL apenas de texto do Cascade e Destilação On-policy Multidomínio (MOPD), espelhando o treinamento do backbone apenas de texto. Este estágio melhora o raciocínio de texto e o alinhamento sem causar esquecimento catastrófico das capacidades de áudio.
3. Orientação Livre de Classificador (CFG): Para melhorar a qualidade da geração, o modelo é treinado com amostras incondicionais (texto substituído por tokens de preenchimento/padding). Na inferência, o CFG é aplicado com hiperparâmetros específicos: $\lambda \approx 3$ para Text-to-Audio (TTA) e $\lambda \approx 1,5$ para Text-to-Speech (TTS).

Principais Contribuições

1. Arquitetura Unificada sem Regressão: O Audex alcança desempenho de estado da arte (SOTA) em compreensão de áudio, reconhecimento de fala, tradução, TTS e geração de áudio, enquanto preserva a inteligência de texto de seu backbone MoE de 30B. Diferente de outros modelos unificados, ele mostra uma regressão marginal ou nula em benchmarks de raciocínio, conhecimento e agência.
2. Lançamento Aberto: Os autores liberam os checkpoints do modelo tanto para a versão 30B-A3B quanto para uma variante menor de 2B (Audex-2B), facilitando a pesquisa aberta.
3. Geração de Áudio Geral: O Audex é o único modelo forte aberto demonstrado a suportar geração de áudio geral (não-falado) ao lado de fala, unificando text-to-audio e text-to-speech dentro de um único framework LLM autorregressivo.
4. Receita de Treinamento: O artigo detalha um currículo específico (SFT de múltiplos estágios seguido de RL apenas de texto) que integra com sucesso tarefas complexas de geração de áudio em um LLM capaz de raciocínio sem quebrar suas habilidades de contexto longo ou de raciocínio.

Resultados

Capacidades de Texto

O Audex-30B-A3B iguala ou supera ligeiramente seu backbone apenas de texto (Nemotron-Cascade-2) em benchmarks chave:

• Raciocínio: Alcança 91,2% no AIME 2025 e 92,2% no HMMT Feb25, superando o Qwen3-Omni-30B-A3B-Thinking, que mostrou degradação significativa.
• Contexto Longo: Mantém alto desempenho no NIAH (99,4% em 256K, 83,4% em 1M), enquanto modelos de SFT de estágio único caíram para quase zero.
• Agência e Alinhamento: Pontua 57,2 no $\tau^2$-Bench e 81,6 no ArenaHard v2, comparável ao baseline apenas de texto.

Capacidades de Áudio

• Reconhecimento de Fala: Alcança SOTA entre modelos abertos no OpenASR (média de 6,82% WER) e LibriSpeech ruidoso, superando o Step-Audio-R1.1 e o Qwen3-Omni-30B-A3B-Thinking.
• Compreensão de Áudio: Iguala baselines fortes no MMAU (75,6) e demonstra superioridade em confiabilidade na Implicação de Áudio (95,0) e detecção de alucinação CMM.
• Geração:
  • TTS: Alcança 1,70 WER no Seed-TTS-Eval (voz fixa).
  • TTA: Alcança resultados SOTA entre modelos de dados públicos no AudioCaps (66,9 OpenL3 FD) e SongDescriber (62,7 OpenL3 FD), superando baselines de difusão como AudioLDM2 e Stable Audio Open.

Significância

O artigo afirma que o Audex representa um passo crítico em direção à AGI ao demonstrar que LLMs multimodais nativos, capazes de compreensão e geração, podem ser construídos sem comprometer a inteligência de texto. Ao integrar com sucesso a geração de áudio em um backbone MoE de alto raciocínio através de uma receita de treinamento de múltiplos estágios cuidadosamente curada, o Audex preenche a lacuna entre modelos de áudio especializados e motores de raciocínio de propósito geral. Os autores enfatizam que sua abordagem evita a "regressão" vista em outros modelos unificados, provando que capacidades de áudio podem ser adicionadas a LLMs de fronteira enquanto se retêm suas forças centrais de raciocínio, conhecimento e agência.