Resumen Técnico: Inteligencia de Audio Unificada Sin Regresión en la Inteligencia de Texto

Declaración del Problema

El desarrollo de la Inteligencia Artificial General (AGI) requiere modelos capaces de comprender, razonar sobre y generar audio y voz. Si bien los esfuerzos recientes han producido modelos de lenguaje de gran escala (LLM) de audio para la comprensión y generación, un desafío crítico persiste: la regresión multimodal. Los modelos capaces de entradas y salidas multimodales a menudo exhiben una degradación significativa en el razonamiento basado en texto, el conocimiento y la alineación en comparación con sus contrapartes de solo texto. Los modelos de código abierto existentes suelen carecer de capacidades de generación multimodal, mientras que los modelos propietarios (por ejemplo, GPT-4o, Gemini 2.5) integran estas características pero no liberan sus pesos. Además, los modelos unificados existentes a menudo luchan por mantener las sofisticadas capacidades de razonamiento y agénticas de sus backbones de solo texto cuando se añade la generación de audio.

Metodología

Arquitectura del Modelo

El artículo presenta Nemotron-Labs-Audex-30B-A3B (Audex), un LLM unificado de audio-texto construido sobre el Nemotron-Cascade-2-30B-A3B, un sólido LLM de solo texto basado en Mixture-of-Experts (MoE) con una arquitectura híbrida Mamba2-Transformer (30B de parámetros totales, 3B activados).

• Diseño Unificado: Audex utiliza un único decodificador Transformer. Las entradas de audio son procesadas por un Codificador de Audio (AF-Whisper ajustado) y proyectadas en el espacio de embeddings de texto mediante adaptadores MLP.
• Tokenización: El vocabulario se amplía de 131,072 a 205,312 tokens para dar cabida a tokens de audio discretos.
  • Voz (Speech): Tokenizada usando X-Codec2 (50 Hz, FSQ de una capa, vocabulario de 65,536).
  • Audio No Vocal (Non-Speech Audio): Tokenizada usando X-Codec (50 Hz, RVQ de 4 capas, vocabulario de 4,096).
  • Generación: El modelo predice tokens de texto y tokens de audio cuantizados de manera uniforme utilizando una pérdida de entropía cruzada estándar. Los tokens especiales (por ejemplo, <speechgen_start>, <audiogen_end>) gestionan los límites de generación.
• Decodificación: Para el audio no vocal, un VAE de mejora (basado en BigVGAN-v2) mejora la calidad. Para la voz, un decodificador ConvNeXt de flujo continuo (streaming) reemplaza al decodificador X-Codec2 no causal para una inferencia más rápida.

Estrategia de Entrenamiento

El pipeline de entrenamiento involucra una curación meticulosa de datos (157.4B de tokens de audio, 320.5B de tokens de texto) y un enfoque de múltiples etapas:

1. Ajuste Fino Supervisado (SFT): Los autores comparan dos estrategias:
   • SFT de múltiples etapas: Un currículo que comienza con SFT de solo texto, seguido de un "Calentamiento de Audio" (entrenamiento solo de adaptadores/embeddings), luego "SFT de Generación de Audio", y finalmente la integración de "Comprensión de Audio" y tareas de ASR/AST. Este enfoque preserva los mecanismos de atención de contexto largo.
   • SFT Consolidado de etapa única: Combina todos los tipos de datos en una sola etapa. Aunque es más económico, se descubrió que degrada significativamente el rendimiento de contexto largo (benchmark NIAH).
   • Decisión: Se seleccionó la estrategia de SFT de múltiples etapas para el modelo final con el fin de mantener las capacidades de razonamiento de texto.
2. Aprendizaje por Refuerzo (RL): El modelo se somete a Cascade RL de solo texto y a Destilación On-policy Multidominio (MOPD), imitando el entrenamiento del backbone de solo texto. Esta etapa mejora el razonamiento de texto y la alineación sin causar un olvido catastrófico de las capacidades de audio.
3. Guía Libre de Clasificador (CFG): Para mejorar la calidad de la generación, el modelo se entrena con muestras incondicionales (el texto es reemplazado por tokens de relleno). En la inferencia, se aplica CFG con hiperparámetros específicos: $\lambda \approx 3$ para Text-to-Audio (TTA) y $\lambda \approx 1.5$ para Text-to-Speech (TTS).

Contribuciones Clave

1. Arquitectura Unificada sin Regresión: Audex logra un rendimiento de estado del arte (SOTA) en comprensión de audio, reconocimiento de voz, traducción, TTS y generación de audio, mientras preserva la inteligencia de texto de su backbone MoE de 30B. A diferencia de otros modelos unificados, muestra una regresión marginal o nula en benchmarks de razonamiento, conocimiento y capacidad agéntica.
2. Lanzamiento Abierto: Los autores liberan los checkpoints del modelo tanto para la variante 30B-A3B como para una versión más pequeña de 2B (Audex-2B), facilitando la investigación abierta.
3. Generación de Audio General: Audex es el único modelo abierto fuerte demostrado que soporta la generación de audio general (no vocal) junto con la voz, unificando text-to-audio y text-to-speech dentro de un único marco de LLM autorregresivo.
4. Receta de Entrenamiento: El artículo detalla un currículo específico (SFT de múltiples etapas seguido de RL de solo texto) que integra con éxito tareas complejas de generación de audio en un LLM con capacidad de razonamiento sin romper sus habilidades de contexto largo o razonamiento.

Resultados

Capacidades de Texto

Audex-30B-A3B iguala o supera ligeramente a su backbone de solo texto (Nemotron-Cascade-2) en benchmarks clave:

• Razonamiento: Logra un 91.2% en AIME 2025 y un 92.2% en HMMT Feb25, superando a Qwen3-Omni-30B-A3B-Thinking, que mostró una degradación significativa.
• Contexto Largo: Mantiene un alto rendimiento en NIAH (99.4% en 256K, 83.4% en 1M), mientras que los modelos de SFT de etapa única cayeron a casi cero.
• Agente y Alineación: Obtiene 57.2 en $\tau^2$-Bench y 81.6 en ArenaHard v2, comparable al baseline de solo texto.

Capacidades de Audio

• Reconocimiento de Voz: Logra el SOTA entre modelos abiertos en OpenASR (promedio de 6.82% WER) y LibriSpeech con ruido, superando a Step-Audio-R1.1 y Qwen3-Omni-30B-A3B-Thinking.
• Comprensión de Audio: Iguala a baselines fuertes en MMAU (75.6) y demuestra una confiabilidad superior en la detección de implicación de audio (95.0) y alucinaciones de CMM.
• Generación:
  • TTS: Logra un 1.70 WER en Seed-TTS-Eval (voz fija).
  • TTA: Logra resultados SOTA entre modelos de datos públicos en AudioCaps (66.9 OpenL3 FD) y SongDescriber (62.7 OpenL3 FD), superando a baselines de difusión como AudioLDM2 y Stable Audio Open.

Significado

El artículo afirma que Audex representa un paso crítico hacia la AGI al demostrar que se pueden construir modelos de lenguaje multimodales nativos, capaces tanto de comprensión como de generación, sin comprometer la inteligencia de texto. Al integrar con éxito la generación de audio en un backbone MoE de alto razonamiento mediante una receta de entrenamiento de múltiples etapas cuidadosamente curada, Audex cierra la brecha entre los modelos de audio especializados y los motores de razonamiento de propósito general. Los autores enfatizan que su enfoque evita la "regresión" vista en otros modelos unificados, probando que las capacidades de audio pueden añadirse a los LLM de frontera manteniendo sus fortalezas centrales de razonamiento, conocimiento y capacidad agéntica.