Sommelier: Scalable Open Multi-turn Audio Pre-processing for Full-duplex Speech Language Models

Este artículo presenta Sommelier, una pipeline de código abierto, robusta y escalable para el preprocesamiento de datos conversacionales de múltiples hablantes, diseñada para superar las limitaciones actuales en el desarrollo de Modelos de Lenguaje de Voz (SLM) full-duplex que requieren interacción natural y en tiempo real.

Lo esencial

¡Hola! Imagina que quieres enseñar a un robot a tener una conversación tan natural como la que tienes con un amigo mientras caminan por la ciudad. El problema es que, hasta ahora, la mayoría de los robots de voz funcionan como un tenis de mesa muy estricto: tú golpeas la pelota (hablas), el robot espera a que la pelota caiga en su lado (silencio), y luego él golpea de vuelta. Si intentas hablar mientras él habla, ¡se confunde o te ignora!

Los investigadores de este paper (llamado Sommelier, que en francés significa "sumiller" o experto en vinos) han creado una herramienta mágica para solucionar esto. Su objetivo es entrenar a robots para que sean full-duplex, es decir, que puedan escuchar y hablar al mismo tiempo, como lo hacemos los humanos.

Aquí te explico cómo lo hacen usando analogías sencillas:

1. El Problema: El "Ruido" de la Vida Real

Para entrenar a estos robots, necesitan millones de horas de conversaciones reales. Pero las conversaciones reales son un caos:

• La gente se interrumpe.
• Hablan al mismo tiempo (superposición).
• Hay música de fondo o ruidos extraños.
• A veces la gente solo dice "ajá" o "claro" mientras el otro sigue hablando (esto se llama backchanneling).

Los sistemas actuales de transcripción (los que convierten voz a texto) suelen fallar aquí. Si dos personas hablan a la vez, el robot piensa que es un solo ruido y escribe cosas sin sentido o se pierde. Es como intentar leer un libro donde dos personas están gritando encima de las páginas al mismo tiempo.

2. La Solución: La "Bodega" Sommelier

El equipo ha creado una tubería de procesamiento (un pipeline) que actúa como un bombero experto y un editor de cine combinados. Su trabajo es tomar ese audio caótico y limpiarlo sin perder la esencia de la conversación.

Aquí están sus 4 trucos principales:

A. El Cortador de Silencios (VAD)

Primero, el sistema escucha el audio y corta los trozos donde nadie habla. Imagina que tienes una cinta de audio de 2 horas, pero solo hay 20 minutos de gente hablando. El sistema corta los 1 hora y 40 minutos de silencio para no perder tiempo procesando "nada".

B. El Detective de Voces (Diarización)

Aquí es donde el sistema se vuelve un detective. En una conversación, a veces no sabemos quién es quién. El sistema usa una IA avanzada (llamada Sortformer) para decir: "¡Espera! Esta voz corta y rápida es la de María, y esa voz larga es la de Juan".

• La analogía: Imagina una fiesta donde todos hablan. Un humano normal se pierde, pero este detective tiene gafas mágicas que le dicen exactamente quién está hablando en cada segundo, incluso si hablan muy rápido.

C. El Separador de Hilo (Manejo de Superposiciones)

Este es el truco más genial. Cuando Juan y María hablan al mismo tiempo, el sistema no los ignora. Los separa.

• La analogía: Imagina una sopa donde se mezclaron dos tipos de fideos. La mayoría de los sistemas solo te darían la sopa mezclada. El sistema Sommelier, en cambio, tiene un tenedor mágico que separa los fideos de Juan de los de María y los pone en dos platos diferentes, pero manteniendo el momento exacto en que se cruzaron. Así, el robot aprende que "Juan dijo X mientras María decía Y".

D. El Panel de Sabios (Ensamble de ASR)

Para escribir lo que se dijo, no confían en un solo robot. Usan tres robots expertos (Whisper, Canary y Parakeet) que escuchan al mismo tiempo.

• La analogía: Es como tener un jurado de tres jueces. Si dos dicen que la palabra fue "gato" y uno dice "pato", el sistema decide que fue "gato". Además, si un robot empieza a alucinar y repetir "gato, gato, gato" sin sentido, el sistema lo detecta y lo corrige usando la opinión de los otros dos.

3. El Resultado: Un Robot con "Oído Humano"

Después de pasar todo el audio por este proceso, tienen un dataset (una base de datos) súper limpio pero realista. Entrenaron a un modelo llamado Moshi con estos datos y el resultado fue increíble:

• Ya no se ahoga: Si le interrumpes, el robot sabe que debe callarse y escucharte.
• Sabe decir "ajá": Si tú hablas mucho, el robot puede decir "sí, sí, entiendo" mientras tú sigues hablando, sin cortarte.
• Respuesta rápida: El tiempo de espera entre que tú terminas y él empieza a hablar es casi instantáneo.

En Resumen

Sommelier es como un chef de alta cocina que toma ingredientes crudos, sucios y desordenados (conversaciones reales con ruido y superposiciones) y los transforma en un plato exquisito y listo para comer (datos perfectos para entrenar a robots).

Gracias a esto, estamos un paso más cerca de tener asistentes de voz que no sean como robots torpes que esperan su turno, sino como verdaderos compañeros de conversación que pueden charlar, interrumpir y responder en tiempo real, tal como lo hacemos nosotros.

Resumen técnico

Resumen Técnico: Sommelier

1. El Problema

El paradigma de la Inteligencia Artificial está evolucionando desde Modelos de Lenguaje (LLM) basados en texto hacia Modelos de Lenguaje de Voz (SLM) capaces de interacciones naturales y en tiempo real. Sin embargo, el desarrollo de sistemas duplex completos (full-duplex), que permiten escuchar y hablar simultáneamente, se ve frenado por la falta de datos de entrenamiento de alta calidad.

Los desafíos principales identificados son:

• Escasez de datos conversacionales: Los recursos existentes son mayoritariamente de un solo hablante o tienen volúmenes insuficientes para el ajuste fino (SFT).
• Complejidad de la dinámica natural: Las conversaciones reales incluyen solapamientos de voz, interrupciones y retroalimentación (back-channeling), elementos que los sistemas actuales (basados en pipelines cascada ASR-TTS) suelen descartar o manejar mal.
• Errores en el procesamiento estándar: Las tuberías de procesamiento actuales sufren de errores en la diarización (identificación de hablantes) y alucinaciones en la Transcripción Automática de Voz (ASR), especialmente en audio ruidoso o con música de fondo.
• Limitaciones de los datasets actuales: Muchos conjuntos de datos grandes (como los de podcasts o radio) no están optimizados para la interacción duplex, tratando el solapamiento como ruido en lugar de una característica a modelar.

2. Metodología: El Pipeline Sommelier

Los autores proponen Sommelier, un pipeline de código abierto, robusto y escalable diseñado para transformar audio conversacional "salvaje" (in-the-wild) en corpus de entrenamiento de alta fidelidad para SLMs duplex. A diferencia de los enfoques tradicionales que limpian el audio eliminando solapamientos, Sommelier preserva la dinámica caótica pero rica de la conversación humana.

El pipeline modular consta de las siguientes etapas clave:

1. Estandarización de Audio: Conversión de formatos diversos a un estándar unificado (16kHz, mono, 16-bit) y normalización de volumen (-20dBFS).
2. Detección de Actividad de Voz (VAD) y Diarización:
   • Se divide el audio en fragmentos de menos de 5 minutos para evitar desbordamientos de memoria.
   • Se utiliza el modelo Sortformer (de NVIDIA) en lugar del estándar Pyannote 3.1. Sortformer demuestra una superioridad significativa en la detección de utterances muy cortos (como retroalimentaciones o "back-channels") y en la gestión de cambios rápidos de turno.
3. Manejo de Voz Solapada (Overlap Separation):
   • Se identifica el solapamiento y se aplica un modelo de separación de habla (SepReformer) específicamente en las regiones superpuestas.
   • Se utiliza una estrategia de Case 4: se permite que ambos segmentos contengan la superposición, pero se separan las fuentes.
   • Se calculan similitudes de embeddings de hablantes para asignar correctamente las partes separadas a sus respectivos oradores, reconstruyendo segmentos de un solo hablante que mantienen la información semántica completa.
4. Eliminación de Música de Fondo (BGM):
   • Se utiliza PANNs para detectar la presencia de música. Si la probabilidad supera un umbral, se aplica Demucs para extraer la pista vocal.
   • Se procesan chunks de 2 minutos completos para mejorar la calidad de la separación, extrayendo luego solo las partes necesarias.
5. Transcripción por Ensamble (Ensemble ASR):
   • Para mitigar las alucinaciones (textos repetitivos o sin sentido) comunes en modelos como Whisper, se emplea una estrategia ROVER (Recognizer Output Voting Error Reduction).
   • Se combinan las salidas de tres modelos SOTA (Whisper, Canary y Parakeet).
   • Se aplica votación mayoritaria a nivel de palabra y un filtro de repetición (n-gram) para eliminar artefactos.
   • Se extraen marcas de tiempo a nivel de palabra para una sincronización estricta entre audio y texto.

3. Contribuciones Clave

• Primera Pipeline Escalable para SLMs Duplex: Sommelier es la primera solución de código abierto diseñada específicamente para curar datos de conversación multi-turno aptos para entrenamiento duplex.
• Estrategia de Alta Fidelidad para Solapamientos: Introduce un método riguroso que separa voces superpuestas sin perder información semántica, preservando la autenticidad de la interacción humana.
• Reducción de Alucinaciones: El uso de ensamblaje de modelos y filtrado de n-gramas reduce drásticamente los errores de transcripción en segmentos silenciosos o ruidosos.
• Validación Práctica: Demuestra la eficacia del pipeline al ajustar finamente el modelo Moshi (un modelo duplex de vanguardia) utilizando datos procesados por Sommelier.

4. Resultados Experimentales

Los autores validaron el pipeline mediante varios experimentos:

• Rendimiento del Modelo Duplex (Moshi):
  • Al ajustar finamente Moshi con 83 horas de datos procesados por Sommelier, se observaron mejoras significativas en el Full-Duplex-Bench 1.0.
  • Mejoras notables en: Retroalimentación (Backchanneling), Turnos Suaves (Smooth Turn-Taking) y Manejo de Interrupciones.
  • La latencia aumentó ligeramente, lo cual se interpreta positivamente: indica que el modelo está procesando activamente la entrada del usuario y preparando respuestas adecuadas, en lugar de ignorar la entrada como hacía el modelo base.
• Diarización: Sortformer superó a Pyannote 3.1 en todas las métricas (DER y JER), especialmente en segmentos cortos (<1s) y cambios de turno rápidos.
• Calidad de Separación de Voz:
  • En pruebas de solapamiento (SIR 0-10 dB), el método de separación propuesto superó consistentemente al enfoque de línea base (extraer directamente del audio mezclado).
  • La métrica de calidad perceptual UTMOS se acercó a los límites superiores (Oracle), demostrando que la voz separada mantiene la naturalidad y la inteligibilidad.
• Rendimiento de ASR:
  • El enfoque de ensamblaje redujo la Tasa de Error de Palabra (WER) en un 37% en comparación con Whisper-large-v3 solo (de 6.26% a 3.92% en LibriSpeech Test-Other).
  • La corrección de alucinaciones (ej. "Yeah, Yeah, Yeah..." corregido a "Yeah, big decision for Dan") fue efectiva.
• Eficiencia Computacional:
  • El pipeline tiene un factor de tiempo real (RTF) de 0.1746 en una sola GPU A100.
  • Es escalable: procesar 10,000 horas de audio tomaría aproximadamente 55 horas utilizando 8 GPUs A100, lo que lo hace viable para la industria.

5. Significado e Impacto

El trabajo de Sommelier es fundamental para el avance de la interacción humano-IA natural. Al proporcionar una metodología abierta y reproducible para generar datos de entrenamiento de alta calidad que incluyen solapamientos y dinámicas conversacionales complejas, elimina uno de los principales cuellos de botella en el desarrollo de SLMs duplex.

Esto permite que la comunidad de investigación y la industria:

1. Entrenen modelos que no solo "escuchan y hablan", sino que interactúan fluidamente como humanos, manejando interrupciones y retroalimentación en tiempo real.
2. Superen las limitaciones de los datos existentes, que a menudo son demasiado limpios o artificiales para modelar la realidad.
3. Aceleren la creación de asistentes de voz más naturales, empáticos y eficientes, sentando las bases para la próxima generación de interfaces de voz conversacionales.

El código y los recursos están disponibles públicamente en sommelier.github.io, fomentando la investigación abierta y la colaboración en el campo de la inteligencia artificial de voz.