Resumen Técnico de Covo-Audio

A continuación se presenta un resumen detallado del informe técnico de Covo-Audio, un modelo de lenguaje de audio grande (LALM) desarrollado por Tencent.

1. El Problema

La interacción por voz es la forma más natural de comunicación humana, pero los sistemas actuales enfrentan compromisos significativos entre tres pilares: inteligencia (razonamiento semántico profundo), naturalidad (cues paralingüísticos y emocionales) y eficiencia (interacción dúplex completa con baja latencia).

• Arquitecturas en Cascada: Los sistemas tradicionales combinan módulos independientes (ASR, LLM, TTS). Esto provoca pérdida de información, propagación de errores y una experiencia conversacional menos fluida.
• Limitaciones de los Modelos Actuales:
  • Modelos como Qwen2.5-Omni o Qwen3-Omni utilizan arquitecturas "Thinker-Talker" (pensador-hablante) que insertan un paso de razonamiento textual intermedio. Aunque preservan la inteligencia, sacrifican la capacidad de seguir instrucciones de voz de extremo a extremo y la controlabilidad directa en la conversación.
  • Los modelos de extremo a extremo (E2E) existentes a menudo sufren de un acoplamiento profundo entre inteligencia y voz. Esto significa que para cambiar la voz de un asistente conversacional, se requiere recopilar grandes cantidades de datos de diálogo de alta calidad para ese hablante específico, lo cual es costoso y difícil de escalar.
  • La interacción dúplex completa (escuchar y hablar simultáneamente) es difícil de lograr sin alineación texto-habla a nivel de palabra, limitando la capacidad de manejar interrupciones y pausas de forma natural.

2. Metodología

Covo-Audio es un modelo de 7 mil millones de parámetros diseñado para procesar entradas de audio continuas y generar salidas de audio dentro de una única arquitectura unificada.

Arquitectura del Modelo

• Codificador de Audio: Utiliza Whisper-large-v3 preentrenado para extraer características acústicas continuas robustas ante ruido y acentos.
• Adaptador: Reduce la tasa de cuadros de 50 Hz a 6.25 Hz para alinear el audio con el LLM.
• Backbone LLM: Basado en Qwen2.5-7B-Base, extendido para manejar tokens de audio discretos.
• Tokenizador de Voz: Basado en WavLM-large con una capa de Cuantización Vectorial (VQ), generando tokens discretos a 25 Hz.
• Decodificador de Voz: Un marco jerárquico de dos etapas: primero transforma tokens discretos en latentes continuos mediante Flow-Matching, y luego reconstruye la forma de onda de 24 kHz usando un vocoder BigVGAN.
• Entrada/Salida: El modelo procesa secuencias entrelazadas de características acústicas continuas y tokens de texto, generando una secuencia unificada de texto y audio.

Estrategias de Entrenamiento Clave

A. Interleaving Tri-modal Jerárquico

Se propone un marco que fusiona tres modalidades en una sola secuencia: características acústicas continuas ($a_c$), tokens de audio discretos ($a_d$) y texto natural ($t$).

• Interleaving Secuencial y Paralelo: Estructuras como $a_c \to t \to a_d$ o $a_c \to t|a_d$ permiten alinear matices acústicos de alta fidelidad con unidades semánticas robustas.
• Escala Jerárquica: A diferencia de métodos anteriores que intercalan a nivel de palabra, Covo-Audio intercala fragmentos a nivel de frase y oración para preservar la integridad semántica global y el flujo prosódico.

B. Desacoplamiento Inteligencia-Voz (Intelligence-Speaker Decoupling)

Para resolver el problema del alto costo de personalización de voces:

• Se entrena el modelo con miles de voces diferentes para separar las características del hablante de la inteligencia del diálogo.
• Se utiliza una técnica de adaptación contextual: se toman datos de TTS de alta calidad, se convierten en pseudo-conversaciones y se entrena el modelo enmascarando la pérdida en la respuesta de texto. Esto permite transferir la naturalidad de una voz TTS específica al modelo de diálogo sin degradar su capacidad de razonamiento, evitando la necesidad de recopilar grandes corpus de diálogo para cada voz.

C. Interacción Dúplex Completa Nativa

Covo-Audio-Chat-FD evoluciona el modelo para soportar dúplex completo:

• Se introduce un flujo de entrada de audio en "chunks" (fragmentos) y una intercalación de flujo de usuario y modelo (1:4).
• Se utilizan tokens especiales (THINK, SHIFT, BREAK) para gestionar estados de escucha, habla y transiciones.
• El modelo aprende a manejar interrupciones (barge-in), pausas y retroalimentación (backchanneling) directamente durante la fase de pre-entrenamiento a gran escala, sin necesidad de alineación texto-habla fina.

D. Comprensión de Audio y Razonamiento

• Comprensión Paralingüística: Entrenamiento multitarea para reconocer emociones, género, edad y número de hablantes.
• Razonamiento Cadena de Pensamiento (CoT): Se utiliza un conjunto de datos mejorado con CoT y optimización de política relativa grupal (GRPO) con una función de recompensa compuesta (precisión, formato, consistencia y calidad del pensamiento) para mejorar el razonamiento en tareas de audio complejas.

3. Resultados Clave

Covo-Audio ha sido evaluado en múltiples benchmarks, mostrando un rendimiento de vanguardia (SOTA) o altamente competitivo en su escala (7B):

• Modelado Voz-Texto: Supera a modelos de referencia como GLM-4-Voice-Base y Qwen2.5-Omni en tareas de continuación de historias (StoryCloze), integridad gramatical (sBLIMP) y consistencia cross-modal.
• Diálogo Oral (URO-Bench y VCB Bench):
  • Logra los puntajes más altos en razonamiento y diálogo oral en tracks de chino e inglés.
  • Destaca en robustez (variación de hablante, ruido ambiental, variación de contenido), superando a modelos cerrados como GPT-4o Audio en métricas de robustez.
• Empatía (VStyle Benchmark): Obtiene resultados SOTA en chino para emociones como ira, tristeza y ansiedad, demostrando una capacidad superior para generar respuestas empáticas y contextualmente apropiadas.
• Interacción Dúplex (Covo-Audio-Chat-FD):
  • Supera significativamente a Moshi y Freeze-Omni en manejo de turnos (99.7%) y manejo de pausas (97.6%).
  • Mantiene un rendimiento de diálogo oral comparable al modelo dúplex simple, con una ligera caída debido a respuestas prematuras en pausas cortas.
• Comprensión de Audio:
  • ASR: Logra un WER promedio de 4.71, competitivo con modelos comerciales.
  • MMAU y MMSU: Alcanza el mejor rendimiento entre modelos de código abierto de 7B en comprensión de audio (75.30% en MMAU) y supera a todos los modelos evaluados (incluidos cerrados) en MMSU (66.64%), destacando especialmente en comprensión musical y percepción.

4. Contribuciones Principales

1. Interleaving Tri-modal Jerárquico: Un marco novedoso que alinea características continuas, tokens discretos y texto a múltiples escalas (frase y oración) para una fusión profunda de modalidades.
2. Técnica de Desacoplamiento Inteligencia-Voz: Permite la personalización de voces de alta fidelidad utilizando datos TTS ligeros sin sacrificar la inteligencia del diálogo, resolviendo un cuello de botella crítico en la implementación de bots conversacionales.
3. Interacción Dúplex Completa Nativa: Implementa la interacción dúplex directamente en el pre-entrenamiento, logrando un manejo robusto de interrupciones y turnos sin depender de arquitecturas de dos etapas o alineaciones forzadas.
4. Rendimiento Eficiente: Demuestra que un modelo de 7B parámetros puede igualar o superar a sistemas mucho más grandes (hasta 30B) en tareas complejas de audio y razonamiento, ofreciendo una ruta escalable y eficiente.

5. Significado e Impacto

Covo-Audio representa un avance significativo hacia agentes conversacionales verdaderamente humanos. Al unificar la inteligencia semántica, la naturalidad emocional y la eficiencia de la interacción dúplex en un solo modelo compacto, aborda las limitaciones de las arquitecturas modulares y los enfoques de razonamiento intermedio.

La propuesta de desacoplamiento inteligencia-voz es particularmente relevante para la industria, ya que reduce drásticamente los costos de despliegue y permite una personalización de voces flexible y económica. Además, la demostración de que un modelo de 7B puede lograr un razonamiento semántico sofisticado junto con una inteligencia de audio de alta fidelidad sugiere un camino viable para la próxima generación de LALMs versátiles y eficientes.

El modelo Covo-Audio-Chat y su variante dúplex Covo-Audio-Chat-FD han sido de código abierto, junto con su pipeline de inferencia, facilitando la investigación y adopción en la comunidad.