How Should LLMs Listen While Speaking? A Study of User-Stream Routing in Full-Duplex Spoken Dialogue

Resumen Técnico: ¿Cómo deben escuchar los LLMs mientras hablan? Un estudio de enrutamiento de flujos de usuario en diálogos hablados dúplex

Enunciado del Problema
El diálogo hablado dúplex, donde un usuario y un sistema pueden hablar y escuchar simultáneamente, es esencial para la interacción natural entre humanos y máquinas. Sin embargo, los Modelos de Lenguaje Grandes (LLM) estándar están preentrenados para extender una única secuencia coherente de tokens y no admiten de forma nativa el procesamiento de entradas externas del usuario mientras generan una respuesta. Esto crea un desafío arquitectónico crítico: ¿cómo debe enrutarse el flujo de voz entrante del usuario hacia el LLM durante la generación en curso? Los enfoques existentes o entrelazan los flujos (aumentando la longitud de la secuencia y la latencia) o fusionan los canales (arriesgando la corrupción del contexto cuando los flujos se superponen). El modo de fallo específico de "corrupción del contexto", donde la voz superpuesta del usuario interfiere con el contexto de generación del modelo si este no logra detenerse a tiempo, no ha sido caracterizado sistemáticamente ni comparado con estrategias de enrutamiento alternativas.

Metodología
Los autores proponen un marco unificado para extender un LLM de solo texto a un sistema de diálogo hablado dúplex completo, permitiendo una comparación controlada de dos estrategias distintas de enrutamiento de flujos de usuario bajo una misma tubería de entrenamiento:

1. Arquitectura del Sistema: El sistema comprende un codificador de voz en streaming (adaptado de Whisper), un adaptador de voz, un núcleo LLM de solo texto (Qwen3-1.7B), un decodificador de audio (cabeza de audio) y un módulo de enrutamiento de flujos de usuario. El sistema opera en una línea de tiempo dúplex compartida con tokens especiales para espera (<USER_WAIT>, <TEXT_WAIT>, <AUDIO_WAIT>) e interrupción (<TEXT_INT>, <AUDIO_INT>).
2. Estrategias de Enrutamiento:
   • Fusión de Canales (CF-Duplex): Las incrustaciones del flujo de usuario se fusionan directamente con los flujos de texto y audio del modelo en cada paso de tiempo utilizando un mecanismo de puerta (puerta sigmoide + MLP). Esto proporciona acceso directo y alineado en el tiempo a la entrada del usuario, pero fusiona el flujo del usuario en el mismo contexto utilizado para la generación.
   • Enrutamiento por Atención Cruzada (XA-Duplex): El flujo de usuario se mantiene como una memoria externa separada (claves y valores). El LLM accede a esta memoria mediante adaptadores de atención cruzada (similar a Flamingo) mientras mantiene su contexto nativo de generación autoregresiva separado.
3. Plan de Entrenamiento: Ambos modelos pasan por un proceso de entrenamiento de tres etapas:
   • Etapa 1: Reconocimiento automático de voz (ASR) y síntesis de voz en streaming (TTS).
   • Etapa 2: Diálogo hablado por turnos (S2TD y S2TSD).
   • Etapa 3: Entrenamiento de diálogo dúplex completo, simulando explícitamente interrupciones del usuario y canales de retorno con rangos de superposición dinámicos.
4. Construcción de Datos: El estudio utiliza un conjunto de datos masivo (217 mil horas de ASR, 104 mil horas de TTS) y construye ejemplos dúplex completos simulando interrupciones (dependientes e independientes del contexto) y canales de retorno sobre diálogos por turnos.

Resultados Clave
Los experimentos en preguntas y respuestas habladas (QA) y en benchmarks de interacción dúplex completa (Full-Duplex-Bench v1.0 & v1.5) revelan una compensación clara entre las dos estrategias de enrutamiento:

• Anclaje Semántico vs. Robustez del Contexto:
  • CF-Duplex logra un rendimiento significativamente superior en preguntas y respuestas habladas en todos los conjuntos de datos (LLaMAQ, TriviaQ, WebQ, AlpacaEval). Demuestra un mejor anclaje semántico a partir de la entrada de voz.
  • XA-Duplex tiene un rendimiento inferior en tareas de QA, pero exhibe una robustez superior al manejar voz superpuesta.
• Manejo de Interrupciones:
  • En Full-Duplex-Bench, CF-Duplex logra resultados de vanguardia o competitivos en la tasa de toma de control (TOR) y la calidad de la respuesta.
  • Sin embargo, el análisis cualitativo de los casos de "interrupción no detectada" (donde el modelo no logra dejar de hablar) muestra una divergencia crítica. Cuando CF-Duplex falla en detenerse, el flujo de usuario fusionado corrompe el contexto de generación, lo que lleva a continuaciones semánticamente incoherentes que mezclan la interrupción con la respuesta en curso.
  • Por el contrario, cuando XA-Duplex falla en detenerse, preserva en gran medida la coherencia de su respuesta original, ya que el flujo del usuario permanece en una memoria separada y no contamina el contexto de generación.
• Dinámicas de Entrenamiento: La brecha de rendimiento emerge temprano en la Etapa 2 (entrenamiento de diálogo), donde CF-Duplex supera consistentemente a XA-Duplex en tareas semánticas, mientras que XA-Duplex mantiene una mejor separación estructural.

Significado y Afirmaciones
El artículo establece el enrutamiento de flujos de usuario como un eje central de diseño para el diálogo hablado dúplex. Los autores afirman que la elección entre fusión de canales y enrutamiento por atención cruzada no es meramente un detalle de implementación, sino una decisión arquitectónica fundamental que dicta la compensación entre:

1. Integración Semántica: La capacidad de comprender y responder profundamente a la entrada del usuario (favorecida por la Fusión de Canales).
2. Robustez del Contexto: La capacidad de mantener estados de generación coherentes cuando el modelo falla en detectar una interrupción (favorecida por la Atención Cruzada).

El estudio proporciona orientación práctica: si la prioridad es una comprensión semántica de alta calidad y el sistema puede confiar en una detección robusta de interrupciones, la fusión de canales es preferible. Si la prioridad es asegurar que la generación permanezca coherente incluso cuando falla la detección de interrupciones, el enrutamiento por atención cruzada ofrece una alternativa más segura y robusta. El trabajo destaca que los sistemas dúplex actuales a menudo eligen implícitamente una estrategia sobre la otra sin comprender estos modos de fallo específicos.

Limitaciones
Los autores señalan que el estudio se limita a dos estrategias de enrutamiento dentro de un único marco y a una escala de modelo específica (núcleo de 1.7B). Las compensaciones observadas pueden evolucionar con escalas de modelo mayores o diseños arquitectónicos diferentes, lo que requiere una investigación adicional.