💬 NLP

UniAudio-Token: Empowering Semantic Speech Tokenizers with General Audio Perception

'Audio-Token mejora los tokenizadores de habla semánticos con capacidades de percepción de audio general mediante la introducción de Primitivas Semántico-Acústicas para una supervisión estructurada y un mecanismo de compuerta de Equilibrio Semántico-Acústico para restaurar los detalles acústicos, logrando así una interfaz de audio unificada que supera a las líneas base existentes de código único tanto en tareas de comprensión como de generación.

Autores originales: Yuhan Song, Linhao Zhang, Aiwei Liu, Chuhan Wu, Sijun Zhang, Wei Jia, Yuan Liu, Houfeng Wang, Xiao Zhou

Publicado 2026-06-01

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yuhan Song, Linhao Zhang, Aiwei Liu, Chuhan Wu, Sijun Zhang, Wei Jia, Yuan Liu, Houfeng Wang, Xiao Zhou

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot súper inteligente (una IA) cómo entender y hablar el mundo del sonido. Para hacerlo, el robot necesita un "diccionario" para traducir las ondas sonoras en palabras que pueda leer. Este diccionario se llama tokenizador.

Durante mucho tiempo, estos diccionarios tuvieron un problema importante: eran como traductores especializados que solo hablaban "lenguaje humano". Eran excelentes para entender lo que decía una persona, pero si reproducías la grabación de un perro ladrando, una ola rompiendo o una sirena, se quedaban sordos. Intentaban forzar esos sonidos en patrones de habla, lo que a menudo resultaba en errores o en ignorar los detalles por completo. Esto es lo que el artículo llama "ceguera acústica".

Por otro lado, había otros diccionarios diseñados para escucharlo todo (como un micrófono de alta fidelidad), pero eran pésimos para entender el significado detrás de las palabras. Podían escuchar el tono exacto de una voz, pero no podían decirte si la persona estaba feliz o triste, o qué era lo que realmente estaba diciendo.

UniAudio-Token es el nuevo diccionario "todo en uno" que soluciona esto. Los autores (de la Universidad de Pekín y Tencent) construyeron un sistema que actúa como un traductor universal para todos los sonidos, no solo para el habla humana.

Así es como lo hicieron, utilizando dos "superpoderes" principales:

1. El "Sándwich de Tres Capas" (Primitivas Semántico-Acústicas)

Imagina que le estás describiendo una escena de una película a un amigo.

La forma antigua: Solo dices: "Un hombre está caminando". (Esta es la parte lingüística). Ignoras el hecho de que está caminando bajo la lluvia, vistiendo un abrigo rojo y con aspecto triste.
La forma de UniAudio-Token: Inventaron una nueva manera de describir el sonido llamada Primitivas Semántico-Acústicas (SAP). Es como un sándwich de tres capas:
- Capa 1 (El Guion): ¿Qué se está diciendo? (Las palabras).
- Capa 2 (El Actor): ¿Cómo se está diciendo? (¿Es una voz profunda? ¿La persona está enfadada? ¿Es un niño o un anciano?).
- Capa 3 (El Escenario): ¿Qué está pasando alrededor? (¿Está lloviendo? ¿Hay un motor de coche zumbando? ¿Se cierra una puerta de golpe?).

Al obligar a la IA a aprender estas tres capas al mismo tiempo, deja de ignorar el "ruido" (como la lluvia o la música) y comienza a tratarlo como información importante.

2. El "Mezclador Inteligente" (Equilibrio Semántico-Acústico)

Incluso con una gran descripción, había un problema técnico. A medida que la IA procesa el sonido más profundamente en su cerebro, tiende a desechar los "detalles finos" (como la textura de una voz o el eco de una habitación) para centrarse en el significado principal. Es como resumir un libro tan rápido que pierdes las hermosas descripciones del paisaje.

Para solucionar esto, construyeron un Mezclador Inteligente (llamado SAE).

Piensa en la IA como una línea de montaje de una fábrica. Las estaciones tempranas ven el sonido bruto y detallado (las capas "superficiales"). Las estaciones posteriores ven el significado de la imagen general (las capas "profundas").
Normalmente, las capas profundas olvidan lo que vieron las capas tempranas.
El Mezclador Inteligente es un guardián que observa el contenido. Si la IA está escuchando una canción compleja o una calle ruidosa, la puerta se abre de par en par para dejar que el "sonido bruto" detallado regrese para mezclarse con la "imagen general". Si la IA está escuchando un habla clara, la puerta se cierra un poco para centrarse en las palabras.
Esto sucede de forma automática e instantánea, asegurando que la IA nunca pierda el "sabor" del sonido mientras sigue comprendiendo el significado.

Los Resultados: Una Navaja Suiza

El artículo demuestra que este nuevo sistema es una "navaja suiza" del audio:

Escucha todo: Cuando se probó con sonidos como perros ladrando, lluvia cayendo o helicópteros volando, los agrupó perfectamente. Los sistemas antiguos confundirían estos sonidos o los ignorarían.
Habla perfectamente: A pesar de escuchar todos estos sonidos no verbales, no empeoró su comprensión del habla humana. De hecho, mejoró su capacidad de generar habla humana porque aprendió a mantener los pequeños detalles (como acentos y respiraciones) que hacen que el habla suene real.
Ayuda al "gran cerebro": Cuando conectaron este tokenizador a un Modelo de Lenguaje Grande (el "cerebro"), ese cerebro se volvió mucho más inteligente al responder preguntas sobre música, efectos de sonido y el habla, superando a todos los sistemas de diccionario único anteriores.

En resumen: UniAudio-Token es una nueva herramienta que enseña a la IA a escuchar el mundo entero de los sonidos —palabras, voces y ruido de fondo por igual— sin perder la capacidad de entender o hablar con claridad. Cierra la brecha entre "oír" y "comprender".

Resumen Técnico: UniAudio-Token

Planteamiento del Problema

Los modelos de lenguaje de gran escala para audio actuales (Audio-LLMs) enfrentan una limitación crítica en sus estrategias de tokenización de audio. Los enfoques existentes generalmente se dividen en dos categorías, ambas con importantes compensaciones (trade-offs):

Tokenizadores de habla semántica: Modelos como SpeechTokenizer y GLM-4-Voice-Tokenizer utilizan un diseño de libro de códigos (codebook) único y una fuerte alineación lingüística (a menudo inicializada desde codificadores ASR). Aunque son efectivos para la comprensión y generación de habla, exhiben "ceguera acústica". Al optimizar estrictamente para la extracción de contenido lingüístico, estos modelos suprimen activamente las señales vocales y los detalles de la escena auditiva considerándolos ruido, lo que los hace ineficaces para tareas generales de percepción de audio (por ejemplo, música, eventos sonoros).
Tokenizadores centrados en lo acústico: Modelos como WavTokenizer priorizan la reconstrucción de la forma de onda y los detalles generales del audio utilizando cuantización de vectores de libro de códigos único. Sin embargo, carecen de una guía semántica explícita. En consecuencia, sus tokens no logran formar grupos categóricos distintos basados en el significado, lo que provoca que sonidos semánticamente distintos pero acústicamente similares (por ejemplo, lluvia frente a ruido blanco) colapsen en distribuciones superpuestas.

Esta dicotomía fuerza un paradigma fragmentado donde los Audio-LLMs están confinados a tareas exclusivas de habla o dependen de arquitecturas heterogéneas que combinan codificadores continuos para la percepción y tokenizadores discretos para la generación. El artículo postula que un tokenizador unificado de libro de códigos único, capaz de soportar tanto la generación de habla de alta fidelidad como la comprensión de audio general de alto nivel, es un problema crítico aún sin resolver.

Metodología

Para abordar el conflicto de supervisión y los cuellos de botella arquitectónicos inherentes a los tokenizadores existentes, los autores proponen UniAudio-Token, un marco diseñado para dotar a los tokenizadores de habla semántica de la percepción de audio general sin comprometer las capacidades de habla. El marco introduce dos innovaciones principales:

1. Primitivas Semántico-Acústicas (SAP)

Para resolver el conflicto de supervisión, los autores introducen un protocolo de supervisión estructurado que descompone el audio bruto en tres capas complementarias, desvinculando explícitamente el contenido del estilo:

Contenido Lingüístico: La transcripción literal para el habla.
Atributos Vocales: Seis campos normalizados que caracterizan la producción del habla (Edad, Género, Emoción, Acento, Prosodia, Timbre).
Escena Auditiva: Captura el entorno acústico, incluyendo Eventos Transitorios (p. ej., portazos) y Eventos Persistentes (p. ej., el rugido de un motor).

A diferencia de los corpus ASR tradicionales, SAP proporciona objetivos de supervisión de baja entropía que obligan al modelo a asignar capacidad para los detalles vocales y acústicos sin interferir con la base semántica. Un flujo de curación de datos utiliza modelos de lenguaje extensos (LLMs) para generar subtítulos acústicos ricos y sintetizar anotaciones JSON estructuradas a partir de corpus ASR a gran escala, seguidos de una riguroosa validación de calidad.

2. Equilibrio Semántico-Acústico (SAE)

Para abordar el cuello de botella arquitectónico donde los codificadores semánticos profundos pierden irreversiblemente las pistas acústicas finas, los autores proponen un mecanismo de compuerta (gating) sensible al contenido.

Mecanismo: El módulo SAE fusiona adaptativamente características profundas semánticamente ricas ( $H_{deep}$ ) con características superficiales acústicamente ricas ( $H_{shallow}$ ).
Proceso: Las características superficiales se proyectan en el espacio de características profundas mediante un MLP aprendible. Un mecanismo de compuerta, computado mediante la concatenación de las características profundas y superficiales y su paso a través de un MLP con activación sigmoide, determina el peso de fusión.
Función: La representación final es $H_{combined} = H_{deep} + g \odot H_{ada\_shallow}$ . Esto permite al modelo inyectar dinámicamente detalles acústicos finos cuando sea necesario (p. ej., para música o entornos ruidosos) mientras preserva la abstracción lingüística para el habla.

Estrategia de Entrenamiento

El modelo se inicializa a partir de whisper-large-v3 para preservar la alineación lingüística. El entrenamiento ocurre en dos etapas:

Etapa 1: Se omite la capa de Cuantización de Vectores (VQ). El módulo SAE y el decodificador se entrenan utilizando únicamente la pérdida de predicción SAP para alinear el espacio oculto continuo con los objetivos SAP estructurados.
Etapa 2: Se inserta la capa VQ. El libro de códigos se optimiza para producir tokens de audio discretos mientras preserva la representación alineada con SAP. La función objetivo combina la pérdida de predicción SAP con las pérdidas de cuantización y compromiso (commitment losses).

Resultados Clave

Evaluaciones extensas demuestran que UniAudio-Token logra cerrar la brecha entre la alineación lingüística y la representación universal:

Desacoplamiento del Espacio Latente: En el conjunto de datos ESC-50 (fuera de dominio), UniAudio-Token forma grupos compactos y bien separados para diversos eventos de audio. El análisis cuantitativo muestra que es el único modelo que logra puntuaciones de Silueta (Silhouette Scores) positivas tanto en ESC-10 como en ESC-50, mientras que los modelos de referencia exhiben puntuaciones negativas que indican el entrelazamiento de características.
Fidelidad de Generación de Habla: Contrario a la suposición de que añadir detalle acústico perjudica el habla, UniAudio-Token supera a los tokenizadores de habla especializados en reconstrucción. En LibriSpeech y SEED-TTS, logra la menor Tasa de Error de Palabra (WER) y el mayor Puntaje de Opinión Media (MOS). Los autores atribuyen esto a la retención de rasgos específicos de acento y pistas fonéticas (p. ej., aspiración) que la compresión semántica excesivamente agresiva suele descartar.
Rendimiento de Audio-LLM en Aplicaciones Posteriores: Integrado con arquitecturas Qwen2.5, UniAudio-Token supera a todos los modelos de referencia de libro de códigos único en pruebas de comprensión (MMAU, MMAR, MMSU), mostrando ganancias significativas en las categorías de sonido y música. También demuestra un rendimiento superior en la síntesis de Texto-a-Voz (TTS) controlable.
Validación del Mecanismo: El análisis de la compuerta SAE revela un comportamiento adaptativo: la activación de la compuerta aumenta a medida que la Relación Señal-Ruido (SNR) disminuye y es significativamente más fuerte para la música que para el habla, confirmando su rol como un controlador sensible al contenido en lugar de una conexión residual estática.

Significación y Reivindicaciones

El artículo afirma que UniAudio-Token proporciona una interfaz discreta unificada que resuelve el compromiso histórico entre la alineación semántica y la fidelidad acústica. Al introducir las Primitivas Semántico-Acústicas y el Equilibrio Semántico-Acústico, el marco demuestra que es posible dotar a los tokenizadores semánticos de la percepción de audio general sin sacrificar la calidad de la generación de habla.

Los autores posicionan este trabajo como un paso crítico hacia verdaderos Audio-LLMs capaces de una interacción fluida a través de habla, música y sonidos ambientales utilizando un único y compacto libro de códigos. Señalan que, si bien el modelo logra una reconstrucción de habla de alta fidelidad y una fuerte percepción de audio general, su reconstrucción a nivel de forma de onda para audio complejo no perteneciente al habla aún está por debajo de los códecs acústicos especializados de alta tasa de bits, y su cobertura actual se limita principalmente al inglés y al chino debido a la disponibilidad de datos. No obstante, el trabajo establece un nuevo paradigma para la tokenización de audio unificada que evita la fragmentación arquitectónica de los enfoques anteriores.