⚡ electrical engineering

Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens

Este artículo presenta un estudio empírico sistemático sobre modelos fundacionales de audio nativos que utilizan tokens discretos intercalados (semánticos, acústicos y de texto), estableciendo leyes de escalado y una receta de entrenamiento validada para desarrollar la serie de modelos SODA, los cuales demuestran capacidades unificadas para tareas de generación y traducción de audio.

Autores originales: Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang

Publicado 2026-02-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Potsawee Manakul, Woody Haosheng Gan, Martijn Bartelds, Guangzhi Sun, William Held, Diyi Yang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Claro que sí! Imagina que este paper es como la receta secreta para construir un "Cocinero Universal de Sonido".

Antes de este trabajo, los modelos de inteligencia artificial que entendían audio eran como chefs muy especializados pero limitados:

Unos solo sabían leer recetas (texto) y luego intentaban adivinar cómo sonaba el plato (audio), pero les faltaba el "sabor" real.
Otros solo sabían cocinar (generar audio) pero no entendían las instrucciones escritas.
Y otros entendían el significado de lo que se decía, pero no la voz, el tono o el ruido de fondo (la "acústica").

Los autores de este paper decidieron crear un Cocinero Maestro que pueda hacer de todo: entender lo que se dice, escuchar cómo se dice, leer instrucciones y generar nuevos sonidos, todo al mismo tiempo.

Aquí te explico sus descubrimientos clave con analogías sencillas:

1. La Mezcla Perfecta: Texto, Significado y Sonido

Imagina que el audio es una canción.

Texto: Son las letras de la canción.
Significado (Semántica): Es la historia que cuenta la canción.
Sonido (Acústica): Es la voz del cantante, el eco de la sala, el ruido de fondo.

Antes, los modelos solo aprendían la historia o solo la voz. Este paper dice: "¡Necesitamos aprender las tres cosas a la vez!".
Lo hicieron "entrelazando" los datos. Imagina que en lugar de leer un libro y luego escuchar un disco, el modelo lee una frase, luego escucha el sonido de esa frase, luego otra frase, luego otro sonido, todo mezclado en una sola secuencia. Esto permite que el modelo entienda que la palabra "gato" y el sonido de un maullido son parte de la misma realidad.

2. La Receta de Ingredientes (Datos)

Para entrenar a este cocinero, probaron muchos ingredientes:

Libros de audio (MLS): Eran muy limpios pero aburridos y repetitivos. El modelo aprendía mal a entender conversaciones reales.
Videos de YouTube (Yodas y Emilia): ¡Estos eran los ganadores! Tenían gente hablando de todo, con ruido de fondo, gritos, susurros y espontaneidad.
Texto puro: Descubrieron que si mezclaban un poco de texto puro (como noticias o libros) con el audio, el modelo se volvía mucho más inteligente en cuanto a conocimientos generales, sin perder su habilidad para el sonido.
- La analogía: Es como si al cocinero le dieras un poco de teoría culinaria (texto) además de práctica en la cocina (audio). Se vuelve un chef más completo.

La receta ganadora: 95% de audio real (YouTube) + 5% de texto de alta calidad.

3. La Ley de la Escala (¿Más grande es mejor?)

En el mundo de la IA, hay una pregunta constante: "¿Debería hacer el cerebro (modelo) más grande o darle más libros para leer (datos)?".
Para los textos, la regla era: hazlos del mismo tamaño. Pero para el audio, descubrieron algo curioso:

El audio es "menos denso" que el texto. Una palabra escrita contiene mucha información, pero un segundo de audio (que se convierte en muchos "trozos" o tokens) contiene menos información por trozo.
El descubrimiento: Para que el modelo aprenda bien, necesita mucho más "comida" (datos) que "cerebro" (tamaño).
- Analogía: Si quieres aprender a tocar el piano, no basta con tener un piano gigante (modelo grande); necesitas practicar horas y horas (muchos datos). Si solo tienes un piano pequeño, practicarás menos. El paper descubrió que para el audio, la práctica (datos) debe crecer mucho más rápido que el tamaño del piano.

4. ¿Nacer de cero o heredar conocimientos?

Muchos modelos empiezan "calentando" (Warm-start): toman un modelo que ya sabe leer (como un LLM) y le enseñan a hablar.

El problema: Es como intentar enseñar a un experto en literatura a hablar con acento extranjero. A veces, su conocimiento previo de la literatura le estorba para aprender el sonido puro. El modelo se vuelve inestable y a veces olvida cómo entender el audio.
La solución: Empezar de cero (Cold-start). Entrenar al modelo desde el principio solo con audio y texto mezclado.
- Resultado: El modelo que nace de cero aprende a entender el audio mucho mejor y es más estable, aunque al principio sepa menos "cultura general". Pero eso se puede arreglar después.

5. El Resultado Final: SODA

Llamaron a su creación SODA (Scaling Open Discrete Audio). Es una familia de modelos que van desde pequeños (como un teléfono) hasta gigantes (como un superordenador).

¿Qué pueden hacer?
- Traducción de voz a voz: Puedes hablar en español y el modelo te responde en inglés, pero manteniendo tu propia voz. ¡No suena como un robot, suena como tú hablando en otro idioma!
- Entender el contexto: Si dices "¡Qué frío!", entiende que hace frío, no solo que dijiste esas palabras.
- Generar audio: Puede crear sonidos realistas.

En resumen

Este paper nos dice que para crear una Inteligencia Artificial que realmente "escuche" y "hable" como un humano, no debemos solo pegar un módulo de audio a un modelo de texto. Debemos:

Mezclar audio y texto desde el principio.
Usar datos reales y caóticos (como YouTube) en lugar de libros perfectos.
Darle muchísimos datos de entrenamiento, incluso si el modelo es pequeño.
Entrenarlo desde cero para que no tenga "vicios" previos.

Es un paso gigante hacia una IA que no solo lee tus mensajes, sino que realmente escucha el mundo.

1. Problema y Motivación

Los modelos de lenguaje actuales para audio (Audio LLMs) presentan limitaciones significativas que impiden un modelado general de audio de alta fidelidad:

Enfoque "Texto-Primero": Arquitecturas como SALMONN o Qwen3-Omni extienden LLMs de texto preentrenados añadiendo módulos de audio. Esto crea un "cuello de botella semántico" donde los detalles acústicos finos se comprimen o pierden, limitando la generación y comprensión de audio nativo.
Modelos Solo Semánticos: Enfoques como TWIST o SpiritLM utilizan tokens discretos de habla pero se centran únicamente en el contenido semántico (unidades HuBERT), descartando los detalles acústicos necesarios para una generación de alta fidelidad.
Modelos Nativos Específicos: Modelos como Moshi o Llama-Mimi modelan tokens acústicos directamente, pero a menudo carecen de integración de texto o se centran en tareas específicas sin un estudio sistemático de las recetas de entrenamiento o las leyes de escalado.

El objetivo de este trabajo es cerrar esta brecha mediante el desarrollo de modelos fundacionales nativos de audio que utilicen la predicción de siguiente token (Next-Token Prediction, NTP) para modelar conjuntamente contenido semántico, detalles acústicos y texto en un solo marco unificado, estableciendo las primeras recetas de entrenamiento y leyes de escalado para este dominio.

2. Metodología

Los autores proponen un enfoque sistemático basado en tres pilares principales:

A. Arquitectura y Tokenización

Modelo: Se utilizan Transformers decodificador-puro (basados en la arquitectura Qwen3) con inicialización aleatoria (cold-start), evitando la dependencia de LLMs de texto preentrenados.
Tokenización: Se emplea el codec neuronal Mimi (12.5 Hz).
- El primer libro de códigos (codebook) captura el contenido semántico.
- Los siguientes 7 libros de códigos capturan los detalles acústicos.
- Se entrelazan tokens de audio (semánticos + acústicos) con tokens de texto a nivel de enunciado (utterance-level), evitando errores de alineación a nivel de palabra.
Formato de Datos: Se utilizan dos variantes para cada instancia: "Audio-primero" y "Texto-primero", permitiendo capacidades bidireccionales (ASR y TTS) en un solo modelo.

B. Diseño de Datos y Receta de Entrenamiento

Se realizaron estudios empíricos para optimizar la mezcla de datos:

Corpus de Habla: Se compararon Yodas, Emilia y MLS. Se concluyó que Yodas + Emilia ofrecen el mejor equilibrio (Yodas aporta conocimiento de texto, Emilia mejora la generación de voz). MLS fue descartado por su pobre rendimiento en tareas cruzadas debido a transcripciones sin mayúsculas/puntuación y fragmentos de longitud fija.
Mezcla de Texto: Se determinó que una mezcla de 5% de datos de texto puro (Nemotron-CC) y 95% de datos de habla maximiza el conocimiento textual sin degradar significativamente las habilidades de audio.
Composición de Tokens: Se validó que la combinación Semántico + Acústico + Texto es superior para un modelo de propósito general, aunque conlleva un ligero compromiso en la comprensión semántica pura frente a modelos solo semánticos, a cambio de obtener capacidades de alta fidelidad y multimodales.

C. Estudio de Leyes de Escalado (Scaling Laws)

Se realizó el primer estudio de leyes de escalado para modelos de audio discretos mediante un análisis IsoFLOP en 64 modelos que abarcan desde $3 \times 10^{18}$ hasta $3 \times 10^{20}$ FLOPs.
Se analizó la relación óptima entre el tamaño del modelo ( $N$ ) y la cantidad de datos de entrenamiento ( $D$ ) para minimizar la pérdida de validación.

3. Contribuciones Clave

Receta de Entrenamiento Validada: Establecimiento de una configuración óptima que combina tokens semánticos, acústicos y texto entrelazados, junto con una mezcla de datos de 95% habla / 5% texto.
Leyes de Escalado para Audio: Descubrimiento de que, a diferencia de los LLMs de texto (donde $N$ $N$ y $D$ $D$ escalan igual, $C^{0.5}$ $C^{0.5}$ ), en el audio la cantidad de datos óptima crece más rápido que el tamaño del modelo:
- $N^* \propto C^{0.367}$
- $D^* \propto C^{0.579}$
- Esto implica que los tokens de audio tienen una densidad de información menor que los tokens de texto, requiriendo más datos para lograr el mismo aprendizaje efectivo.
SODA (Scaling Open Discrete Audio): Entrenamiento de una suite de modelos (de 135M a 4B parámetros) en 500B tokens, demostrando que el escalado funciona y que el enfoque cold-start es superior al warm-start (inicialización desde LLMs de texto) para tareas de audio.
Validación de Métricas: Demostración de que la Pérdida de Validación (NLL) es un predictor fiable del rendimiento en tareas posteriores (ASR, TTS, comprensión semántica), incluso a gran escala.

4. Resultados Principales

Rendimiento General: Los modelos SODA logran un rendimiento competitivo en benchmarks de audio y multimodales.
- ASR (Reconocimiento de Voz): El modelo de 4B parámetros alcanza un WER (Tasa de Error de Palabra) de 5.0% en LibriSpeech-clean, superando a modelos especializados y de warm-start.
- TTS (Síntesis de Voz): Logra alta fidelidad y preservación de la voz (SIM $\approx$ 0.56), superando a modelos semánticos puros que no pueden preservar la voz.
- Comprensión: Muestra mejoras en comprensión semántica y acústica a medida que escala, aunque la comprensión acústica tiende a saturarse antes que el conocimiento textual.
Cold-Start vs. Warm-Start:
- El entrenamiento desde cero (Cold-Start) es más estable y produce mejores resultados en ASR y capacidades de audio nativo.
- La inicialización desde LLMs de texto (Warm-Start) ofrece una ventaja inicial en conocimiento textual, pero sufre de inestabilidad en el entrenamiento (picos de pérdida) y no recupera completamente las habilidades de audio, degradando el ASR.
Capacidad de Adaptación (S2ST): Se demostró la flexibilidad del modelo al afinarlo (fine-tuning) para traducción de voz a voz con preservación de voz (S2ST) utilizando la misma arquitectura y objetivo de predicción de tokens, sin necesidad de arquitecturas especializadas complejas.

5. Significancia e Impacto

Paradigma Unificado: Este trabajo valida que es posible construir un modelo fundacional único que maneje comprensión, generación y traducción de audio/texto mediante un solo mecanismo de predicción de tokens, eliminando la necesidad de arquitecturas híbridas complejas (codificadores/decodificadores separados).
Guía para la Industria: Las leyes de escalado derivadas ( $D^* \propto C^{0.579}$ ) proporcionan una hoja de ruta crucial para investigadores y empresas que buscan entrenar modelos de audio eficientes, indicando que invertir en más datos es más rentable que simplemente aumentar el tamaño del modelo en este dominio.
Reproducibilidad y Acceso: Los autores liberan los checkpoints, los datos de audio discretos, el código y los registros experimentales, democratizando la investigación en modelos fundacionales de audio y permitiendo que otros construyan sobre esta base.
Limitaciones y Futuro: Aunque el modelo es versátil, las habilidades emergentes en audio puro son menos pronunciadas que en LLMs de texto. El trabajo sugiere que el equilibrio entre tokens semánticos y acústicos es un compromiso de diseño que puede optimizarse en futuras investigaciones.

En resumen, el artículo establece un nuevo estándar para el entrenamiento de modelos fundacionales de audio nativos, demostrando que el escalado sistemático con una receta de datos y tokens adecuada permite lograr capacidades de vanguardia en tareas de audio y multimodales.