Discourse-Aware Dual-Track Streaming Response for Low-Latency Spoken Dialogue Systems

1. El Problema: La Dilema de la Latencia en Sistemas Cascada

Los sistemas de diálogo oral (SDS) convencionales suelen seguir una arquitectura cascada secuencial (ASR $\rightarrow$ LLM $\rightarrow$ TTS). En este paradigma:

• El reconocimiento de voz (ASR) debe completarse totalmente antes de que el modelo de lenguaje (LLM) comience a razonar.
• El LLM debe generar la respuesta completa antes de que el sintetizador de voz (TTS) pueda comenzar a producir audio.
• Consecuencia: Esto genera una alta latencia de respuesta (a menudo superior a 1 segundo), lo que rompe el flujo natural de la conversación humana, donde los turnos de habla suelen comenzar en menos de 200 ms.
• Limitación de modelos End-to-End: Aunque los modelos de voz a voz (end-to-end) prometen menor latencia, son computacionalmente costosos, difíciles de entrenar y carecen de la modularidad y control de las arquitecturas cascada.

El objetivo es lograr una responsividad similar a la humana ("pensar mientras se habla") manteniendo la calidad y modularidad de los sistemas cascada.

2. Metodología: Marco DDTSR

Los autores proponen DDTSR (Discourse-Aware Dual-Track Streaming Response), una arquitectura de baja latencia que descompone la generación de respuestas en dos vías paralelas y utiliza mecanismos de colaboración cruzada.

A. Sinergia Modelo Pequeño-Modelo Grande Guiada por Conectores

En lugar de esperar a que un modelo grande genere toda la respuesta, DDTSR divide la tarea:

1. Generación de Conectores (Modelo Ligero): Un modelo pequeño ($f_s$) genera inmediatamente prefijos de discurso seguros y de bajo compromiso (ej. "Bueno", "Vale", "Entiendo"). Estos conectores no requieren razonamiento profundo ni conllevan riesgo de alucinación factual.
2. Generación de Respuesta Principal (Modelo Grande): Un modelo grande ($f_l$) realiza el razonamiento intensivo en paralelo para generar el contenido sustantivo de la respuesta.
3. Salida Temporal: El audio final se construye concatenando secuencialmente la voz del conectivo (generada primero) con la voz de la respuesta principal.

B. Colaboración Cruzada Basada en Streaming

DDTSR reestructura el flujo temporal para superponer las etapas:

• Emisión Temprana durante ASR: El sistema no espera al transcripto final. Utiliza hipótesis parciales del ASR en tiempo real. El modelo ligero analiza estas hipótesis parciales y decide cuándo es seguro emitir un conectivo (señal de compromiso binaria), a menudo antes de que el usuario termine de hablar.
• Ejecución Paralela: Mientras el modelo ligero emite el audio del conectivo (TTS), el modelo grande continúa razonando en segundo plano sobre el transcripto finalizado. En cuanto termina el audio del conectivo, el sistema transiciona suavemente al audio generado por el modelo grande.

C. Mejora de la Continuidad del Discurso (Aprendizaje Curricular)

Para asegurar que los conectores emitidos tempranamente no contradigan la respuesta final, se introduce un mecanismo de entrenamiento:

• Entrenamiento Conjunto: El modelo ligero se entrena para predecir conectores que anticipen la trayectoria discursiva de la respuesta del modelo grande.
• Funciones de Pérdida: Se utilizan tres objetivos:
  1. Pérdida de consistencia de estilo: Asegura que el estilo del conector coincida con la continuación semántica.
  2. Pérdida de coherencia: Minimiza la brecha de perplejidad entre el par conector-respuesta y la respuesta original.
  3. Regularización de prior: Evita el sobreajuste manteniendo la distribución original de conectores.
• Selección Basada en Confianza: Durante la inferencia, se calcula la entropía predictiva de los tokens del conector. Solo se emite el conector si la confianza supera un umbral, garantizando que la emisión temprana sea segura.

3. Contribuciones Clave

1. Reformulación del Problema: Identifican la latencia en sistemas cascada como un problema de reorganización temporal y proponen decouplar la generación temprana de conectores del razonamiento profundo.
2. Arquitectura DDTSR: Un marco de doble vía que permite "escuchar mientras se piensa" y "hablar mientras se piensa", utilizando sinergia entre modelos pequeños y grandes.
3. Módulo Plug-and-Play: El sistema funciona como un módulo compatible con diversos backbones de LLM y no requiere modificar los módulos ASR o TTS existentes.
4. Validación Empírica: Demostración de que es posible reducir drásticamente la latencia sin sacrificar la calidad del discurso.

4. Resultados Experimentales

El sistema se evaluó en dos benchmarks de diálogo oral (SD-Eval y SpokenNativQA) comparando con sistemas cascada estándar (SSC, SDC) y modelos comerciales end-to-end.

• Reducción de Latencia:
  • DDTSR reduce la latencia de espera (Waiting Latency) entre un 19% y un 51% en comparación con los sistemas cascada tradicionales.
  • Logra tiempos de inicio de respuesta subsegundarios (ej. ~548 ms en SD-Eval con modelo 8B, frente a 1003 ms del estándar).
  • La latencia de percepción cae drásticamente (hasta ~89 ms) porque el sistema comienza a procesar y emitir conectores mientras el usuario aún habla.
• Calidad de Salida:
  • La calidad del texto (coherencia y consistencia) y la naturalidad del habla (UTMOSv2) se mantienen comparables a los sistemas cascada estándar y a los estándares de oro.
  • No se observa degradación perceptible al concatenar el audio de dos vías diferentes.
• Escalabilidad:
  • El rendimiento es robusto independientemente del tamaño del modelo grande (8B vs 32B), ya que la latencia inicial depende principalmente del modelo ligero.
  • Los beneficios son más pronunciados en entradas de audio más largas.

5. Significado e Impacto

Este trabajo es significativo porque:

• Cierra la brecha de latencia: Permite que los sistemas cascada, que son más prácticos y controlables, alcancen niveles de responsividad cercanos a los humanos, algo que antes solo se asociaba a modelos end-to-end costosos.
• Inspiración Cognitiva: Aplica principios psicolingüísticos (el uso de marcadores discursivos para mantener el turno mientras se piensa) a la ingeniería de sistemas.
• Viabilidad Práctica: Ofrece una solución escalable y modular para asistentes de voz en tiempo real, mejorando la experiencia de usuario en aplicaciones que van desde asistentes personales hasta tecnologías de accesibilidad, sin requerir un rediseño completo de la infraestructura de IA existente.

En resumen, DDTSR demuestra que la coordinación temporal inteligente y el uso estratégico de conectores discursivos pueden resolver el cuello de botella de latencia en los sistemas de diálogo oral modernos.