How Should LLMs Listen While Speaking? A Study of User-Stream Routing in Full-Duplex Spoken Dialogue

Resumo Técnico: Como os LLMs Devem Ouvir Enquanto Falam? Um Estudo de Roteamento de Fluxo de Usuário em Diálogo Falado Full-Duplex

Declaração do Problema
O diálogo falado full-duplex, onde um usuário e um sistema podem falar e ouvir simultaneamente, é essencial para a interação natural entre humano e máquina. No entanto, os Modelos de Linguagem de Grande Porte (LLMs) padrão são pré-treinados para extender uma única sequência coerente de tokens e não suportam nativamente o processamento de entrada externa do usuário enquanto geram uma resposta. Isso cria um desafio arquitetônico crítico: como o fluxo de fala do usuário entrante deve ser roteado para o LLM durante a geração em andamento? Abordagens existentes ou intercalam fluxos (aumentando o comprimento da sequência e a latência) ou fundem canais (arriscando corrupção de contexto quando os fluxos se sobrepõem). O modo de falha específico de "corrupção de contexto" — onde a fala sobreposta do usuário interfere no contexto de geração do modelo se este não parar a tempo — não foi sistematicamente caracterizado ou comparado contra estratégias de roteamento alternativas.

Metodologia
Os autores propõem um framework unificado para estender um LLM apenas de texto em um sistema de diálogo falado full-duplex, permitindo uma comparação controlada de duas estratégias distintas de roteamento de fluxo de usuário sob um pipeline de treinamento compartilhado:

1. Arquitetura do Sistema: O sistema compreende um codificador de fala em streaming (adaptado do Whisper), um adaptador de fala, um backbone de LLM apenas de texto (Qwen3-1.7B), um decodificador de áudio (cabeça de áudio) e um módulo de roteamento de fluxo de usuário. O sistema opera em uma linha do tempo duplex compartilhada com tokens especiais para espera (<USER_WAIT>, <TEXT_WAIT>, <AUDIO_WAIT>) e interrupção (<TEXT_INT>, <AUDIO_INT>).
2. Estratégias de Roteamento:
   • Fusão de Canais (CF-Duplex): Os embeddings do fluxo do usuário são diretamente fundidos com os fluxos de texto e áudio do modelo em cada passo de tempo usando um mecanismo de porta (porta sigmoide + MLP). Isso fornece acesso direto e alinhado no tempo à entrada do usuário, mas mescla o fluxo do usuário no mesmo contexto usado para geração.
   • Roteamento por Atenção Cruzada (XA-Duplex): O fluxo do usuário é mantido como uma memória externa separada (chaves e valores). O LLM acessa essa memória por meio de adaptadores de atenção cruzada (semelhante ao Flamingo), mantendo seu contexto nativo de geração autoregressiva separado.
3. Currículo de Treinamento: Ambos os modelos passam por um processo de treinamento em três estágios:
   • Estágio 1: ASR e TTS em streaming.
   • Estágio 2: Diálogo falado baseado em turnos (S2TD e S2TSD).
   • Estágio 3: Treinamento de diálogo full-duplex, simulando explicitamente interrupções do usuário e backchannels com faixas de sobreposição dinâmicas.
4. Construção de Dados: O estudo utiliza um conjunto de dados massivo (217 mil horas de ASR, 104 mil horas de TTS) e constrói exemplos full-duplex simulando interrupções (dependentes e independentes de contexto) e backchannels sobre diálogos baseados em turnos.

Principais Resultados
Experimentos em respostas a perguntas faladas (QA) e benchmarks de interação full-duplex (Full-Duplex-Bench v1.0 & v1.5) revelam uma clara compensação entre as duas estratégias de roteamento:

• Fundamentação Semântica vs. Robustez de Contexto:
  • CF-Duplex alcança desempenho significativamente superior em respostas a perguntas faladas em todos os conjuntos de dados (LLaMAQ, TriviaQ, WebQ, AlpacaEval). Demonstra melhor fundamentação semântica a partir da entrada de fala.
  • XA-Duplex tem desempenho inferior em tarefas de QA, mas exibe robustez superior no tratamento de fala sobreposta.
• Tratamento de Interrupções:
  • No Full-Duplex-Bench, o CF-Duplex alcança resultados state-of-the-art ou competitivos na taxa de retomada (TOR) e na qualidade da resposta.
  • No entanto, a análise qualitativa de casos de "interrupção perdida" (onde o modelo falha em parar de falar) mostra uma divergência crítica. Quando o CF-Duplex falha em parar, o fluxo do usuário fundido corrompe o contexto de geração, levando a continuações semanticamente incoerentes que misturam a interrupção com a resposta em andamento.
  • Em contraste, quando o XA-Duplex falha em parar, ele preserva em grande parte a coerência de sua resposta original, pois o fluxo do usuário permanece em uma memória separada e não contamina o contexto de geração.
• Dinâmicas de Treinamento: A lacuna de desempenho surge cedo no Estágio 2 (treinamento de diálogo), onde o CF-Duplex consistentemente supera o XA-Duplex em tarefas semânticas, enquanto o XA-Duplex mantém uma melhor separação estrutural.

Significado e Afirmativas
O artigo estabelece o roteamento de fluxo de usuário como um eixo central de design para diálogo falado full-duplex. Os autores afirmam que a escolha entre fusão de canais e roteamento por atenção cruzada não é meramente um detalhe de implementação, mas uma decisão arquitetônica fundamental que dita a compensação entre:

1. Integração Semântica: A capacidade de compreender profundamente e responder à entrada do usuário (favorecida pela Fusão de Canais).
2. Robustez de Contexto: A capacidade de manter estados de geração coerentes quando o modelo falha em detectar uma interrupção (favorecida pela Atenção Cruzada).

O estudo fornece orientações práticas: se a prioridade é a compreensão semântica de alta qualidade e o sistema pode confiar em detecção robusta de interrupções, a fusão de canais é preferível. Se a prioridade é garantir que a geração permaneça coerente mesmo quando a detecção de interrupção falha, o roteamento por atenção cruzada oferece uma alternativa mais segura e robusta. O trabalho destaca que os sistemas full-duplex atuais frequentemente escolhem implicitamente uma estratégia sobre a outra sem compreender esses modos de falha específicos.

Limitações
Os autores observam que o estudo está limitado a duas estratégias de roteamento dentro de um único framework e a uma escala específica de modelo (backbone de 1,7B). As compensações observadas podem evoluir com escalas de modelo maiores ou designs arquitetônicos diferentes, o que requer investigação adicional.