Discourse-Aware Dual-Track Streaming Response for Low-Latency Spoken Dialogue Systems

1. O Problema

Os sistemas de diálogo falado (SDS) convencionais baseados em arquitetura em cascata (ASR → LLM → TTS) sofrem de uma latência de resposta excessiva.

• Paradigma Sequencial: Nesses sistemas, a síntese de fala (TTS) só pode começar após a conclusão total da transcrição (ASR) e do raciocínio completo do modelo de linguagem (LLM).
• Consequência: Isso resulta em tempos de espera (latência percebida) que frequentemente excedem o regime de sub-segundo necessário para uma interação natural e humana, quebrando o fluxo conversacional.
• Dilema: Existe um conflito entre a necessidade de modularidade e controle das arquiteturas em cascata e a exigência de baixa latência para uma interação em tempo real.

2. Metodologia: Framework DDTSR

Os autores propõem o DDTSR (Discourse-Aware Dual-Track Streaming Response), uma arquitetura que permite ao sistema "pensar enquanto ouve" e "falar enquanto pensa". O framework é baseado em três mecanismos principais:

A. Sinergia entre Modelos Pequenos e Grandes Guiada por Conectivos

O sistema desacopla a geração da resposta em duas funções complementares:

1. Geração de Conectivos (Modelo Leve): Um modelo pequeno e rápido ($f_s$) gera prefixos de discurso seguros e de baixo compromisso (ex: "Bem...", "Entendi...", "Ok..."). Estes conectivos não carregam conteúdo factual denso, permitindo emissão imediata.
2. Raciocínio Intenso (Modelo Grande): Um LLM grande ($f_l$) executa o raciocínio profundo e gera o conteúdo principal da resposta em paralelo.

• Saída Final: A fala do usuário é construída concatenando o áudio do conectivo (gerado rapidamente) com o áudio da resposta principal (gerado em segundo plano).

B. Colaboração Cross-Modal Baseada em Streaming

O DDTSR reestrutura o fluxo temporal para sobrepor as etapas:

• Emissão Precoce durante o ASR: Em vez de esperar a transcrição final, o sistema opera sobre hipóteses parciais do ASR em streaming. O modelo leve analisa essas hipóteses parciais e decide o momento mais cedo e seguro para emitir um conectivo.
• Execução Paralela: Enquanto o áudio do conectivo é sintetizado e reproduzido, o LLM grande continua processando a transcrição finalizada e gerando a resposta substantiva. O sistema transita suavemente do áudio do conectivo para o áudio da resposta principal assim que este estiver pronto.

C. Melhoria da Continuidade de Discurso via Aprendizado de Currículo

Para garantir que a resposta inicial (conectivo) não contradiga a resposta final (raciocínio), o sistema emprega:

• Treinamento Conjunto Orientado a Discurso: O modelo leve é treinado para antecipar a trajetória discursiva da resposta do modelo grande.
• Objetivos de Perda: Incluem perda de consistência de estilo, perda de coerência (transferindo coerência do par conectivo-resposta) e regularização de prior.
• Seleção Baseada em Confiança: Durante a inferência, o sistema calcula a incerteza (entropia) dos tokens do conectivo. A emissão só ocorre se a confiança superar um limiar, evitando erros de coerência.

3. Contribuições Principais

1. Reformulação do Problema: Identificam a latência em sistemas em cascata como um problema de reorganização temporal, focando no "momento de início da resposta" (response-onset).
2. Arquitetura DDTSR: Propõem um framework de dupla trilha que desacopla a geração de conectivos iniciais do raciocínio profundo, utilizando sinergia entre modelos e colaboração cross-modal.
3. Módulo Plug-and-Play: Demonstram que a solução é modular, compatível com diversos backbones de LLM e não requer a substituição de módulos ASR ou TTS existentes.

4. Resultados Experimentais

Os experimentos foram realizados em dois benchmarks de diálogo falado: SD-Eval e SpokenNativQA, comparando com sistemas em cascata padrão (SSC), cascata dupla (SDC) e modelos end-to-end comerciais.

• Redução de Latência:
  • O DDTSR reduziu a latência de espera (percepção + reação) em 19% a 51% em comparação com sistemas em cascata convencionais.
  • Em cenários otimizados, a latência de espera caiu para ~500ms (ex: 548ms no SD-Eval com modelo 8B), aproximando-se do regime de sub-segundo.
  • A latência de percepção (tempo até o primeiro áudio) foi drasticamente reduzida para cerca de 100ms, pois o sistema começa a responder enquanto o usuário ainda está falando.
• Qualidade da Resposta:
  • A qualidade do texto (coerência e consistência) e a naturalidade da fala (medida por UTMOSv2) foram mantidas em níveis comparáveis aos sistemas em cascata padrão, demonstrando que a emissão precoce não degrada a qualidade.
• Robustez:
  • O desempenho foi consistente entre diferentes escalas de modelos (8B e 32B) e tamanhos de entrada. A vantagem de latência aumentou para entradas mais longas.

5. Significado e Impacto

O trabalho do DDTSR é significativo por oferecer uma solução prática para o "dilema latência-qualidade" em sistemas de diálogo falado:

• Humanização da Interação: Ao permitir que o sistema emita sinais de engajamento (conectivos) enquanto processa a resposta complexa, o sistema imita o comportamento humano de "falar enquanto pensa", tornando a interação mais natural e fluida.
• Viabilidade Prática: Diferente de modelos end-to-end monolíticos que são caros e difíceis de treinar, o DDTSR funciona como um módulo de software que pode ser integrado a sistemas existentes, preservando a modularidade e o controle.
• Escalabilidade: A arquitetura é escalável e robusta, tornando-se uma solução viável para assistentes de voz em tempo real, acessibilidade e aplicações que exigem baixa latência.

Em resumo, o DDTSR demonstra que é possível superar as limitações de latência das arquiteturas em cascata tradicionais sem sacrificar a qualidade da resposta, através de uma reorganização inteligente do fluxo de processamento baseada em pistas discursivas.