Unit-Based Agent for Semi-Cascaded Full-Duplex Dialogue Systems

Resumo Técnico: Agente Baseado em Unidades para Sistemas de Diálogo Full-Duplex Semi-Cascata

Definição do Problema
A interação de voz no mundo real continua sendo um desafio significativo, particularmente para alcançar uma comunicação natural e full-duplex, onde usuários e máquinas podem falar simultaneamente. As abordagens existentes geralmente se dividem em dois paradigmas: modelos end-to-end e pipelines cascata. Enquanto os modelos end-to-end preservam pistas paralinguísticas (como emoção e prosódia) ao processar o áudio de forma conjunta, eles demandam grandes volumes de dados e treinamento extensivo. Por outro lado, os pipelines cascata tradicionais (combinando ASR, LLM, TTS e verificação de locutor) são mais fáceis de implementar e integrar, mas sofrem com latência e perda de pistas acústicas devido ao seu design de múltiplos estágios. Além disso, os sistemas cascata existentes frequentemente têm dificuldade em gerenciar efetivamente os sinais de tomada de turno e os estados de enunciação do usuário dentro de um espaço de decisão unificado.

Metodologia
Os autores propõem um framework train-free (sem necessidade de treinamento) e plug-and-play, que decompõe diálogos complexos em "unidades conversacionais" mínimas. Este sistema é instanciado como um sistema de diálogo full-duplex semi-cascata centrado em um Modelo de Linguagem Grande Multimodal (MLLM). O framework opera através de quatro componentes modulares:

1. Módulo de Aquisição de Áudio: Captura continuamente o fluxo de fala do usuário. Ele utiliza Detecção de Atividade de Voz (VAD) para monitorar a atividade e, opcionalmente, utiliza Verificação de Locutor (SV) para filtrar vozes que não sejam o alvo.
2. Módulo de Contexto: Utiliza um sistema de Reconhecimento Automático de Fala (ASR) assíncrono para gerar transcrições. Essas transcrições são armazenadas em cache e utilizadas como aumento semântico no próximo ciclo de decisão, em vez de serem a entrada primária para a lógica central.
3. Módulo de Decisão (MLLM): Alimentado por um MLLM multimodal (especificamente o Qwen3-Omni nos experimentos), este módulo recebe o fluxo de áudio bruto e prompts específicos de estado como entrada. Ele unifica os sinais de tomada de turno e os estados de enunciação do usuário em um único espaço de decisão. O MLLM emite uma de duas ações para conduzir as transições de estado:
   • Continue (Continuar): Mantém o sistema no estado atual (ouvindo ou falando).
   • Switch (Alternar): Transiciona o sistema para o outro estado.
   • Lógica: No estado de ouvir (listen), o modelo determina se uma enunciação é semanticamente completa (alternar para falar) ou incompleta (continuar ouvindo). No estado de falar (speak), ele distingue entre backchannels do usuário (continuar falando) e interrupções genuínas (alternar de volta para ouvir).
4. Módulo de Geração de Fala: Sintetiza a resposta do assistente usando Text-to-Speech (TTS) com suporte a streaming. Se ocorrer uma interrupção durante a reprodução, o TTS é imediatamente interrompido e o sistema retorna ao estado de escuta para iniciar uma nova unidade.

O sistema é projetado para ser "semi-cascata" porque depende do raciocínio multimodal intrínseco do MLLM para processar o áudio diretamente, utilizando as transcrições do ASR apenas como aumento contextual, em vez de como um passo intermediário obrigatório.

Principais Contribuições

• Decomposição Baseada em Unidades: O framework quebra o diálogo em unidades discretas, permitindo que o sistema processe cada unidade de forma independente e preveja transições dinamicamente.
• Espaço de Decisão Unificado: Unifica o controle de tomada de turno e a classificação de estado de enunciação (ex: completa, incompleta, backchannel, interrupção) em um único processo de decisão impulsionado pelo MLLM.
• Operação Train-Free: O sistema não requer ajuste fino (fine-tuning) do MLLM subjacente, operando de maneira plug-and-play com os componentes de fala existentes (VAD, ASR, TTS).
• Arquitetura Semi-Cascata: Ao aproveitar a capacidade do MLLM de raciocinar sobre o áudio bruto, o sistema captura pistas paralinguísticas enquanto mantém a modularidade de um pipeline cascata.

Resultados Experimentais
O framework foi avaliado no dataset HumDial como parte do Desafio de Sistemas de Diálogo Falados Semelhantes aos Humanos (Track 2: Interação Full-Duplex).

• Desempenho: O sistema proposto ficou em segundo lugar entre todas as equipes no conjunto de teste.
• Métricas: No conjunto de desenvolvimento, o sistema alcançou um Atraso de Primeira Resposta (First Response Delay) de 1,528s (comparado a uma linha de base de 2,753s), uma Pontuação Total de Interrupção (Interruption Total Score) de 50,0 e um Atraso Total de 1,698s. No conjunto de teste, a Pontuação Total de Interrupção melhorou para 57,8, com um Atraso Total de 1,632s.
• Implementação: O sistema foi construído utilizando componentes de código aberto (Silero VAD, CAM++, Paraformer ASR, Qwen3-Omni MLLM e IndexTTS) e implantado via WebSocket e FastAPI para simular interações do mundo real.

Significância e Alegações
O artigo afirma que este framework demonstra a eficácia do uso de um MLLM para controlar diretamente as transições de estado no nível da unidade, substituindo a tradicional cascata ASR-para-LLM. Ao raciocinar diretamente sobre o áudio do usuário, o sistema consegue capturar pistas paralinguísticas, reduzir a latência de resposta e produzir respostas mais informadas. Os autores enfatizam que esta abordagem alcança inferência semântica e de estado de interação de ponta, mantendo-se modular e compatível com tecnologias de fala existentes. O trabalho sugere que os MLLMs podem servir como o "cérebro" central para o diálogo full-duplex, simplificando o pipeline enquanto aumentam a naturalidade e a responsividade.