Low-Latency Turn-Taking via Context-Aware Preface Generation in a Real-World Dialogue Robot

Resumo Técnico: Alternância de Turnos de Baixa Latência via Geração de Prefácio Sensível ao Contexto

Declaração do Problema
Sistemas de diálogo baseados em Grandes Modelos de Linguagem (LLMs), particularmente aqueles que utilizam pipelines cascata ASR–LLM–TTS, sofrem com atrasos significativos na resposta porque a geração tipicamente começa apenas após o reconhecimento completo da fala do usuário. Embora preenchimentos conversacionais (ex: "uh-huh", "entendo") sejam comumente usados para mascarar esses atrasos, eles podem se tornar não naturais com o tempo se forem genéricos ou repetitivos. O desafio central reside em equilibrar a velocidade de resposta com a qualidade da geração: a geração incremental ingênua pode degradar a consistência, contudo, esperar pelo reconhecimento total da enunciação cria uma latência perceptível. Os sistemas requerem um mecanismo para manter o controle da vez de falar com respostas preliminares contextualmente apropriadas enquanto a resposta substantiva está sendo formulada.

Metodologia
Os autores propõem um framework de resposta incremental em dois estágios projetado para desacoplar a preparação da resposta do início da fala. A arquitetura do sistema consiste nos seguintes componentes:

1. Detecção de Prontidão de Intenção: Um modelo de classificação binária determina se a intenção do usuário tornou-se suficientemente previsível a partir do prefixo atual da enunciação (condicionado à enunciação anterior do sistema).

   • Treinamento: O modelo foi treinado em dois estágios: primeiro em um corpus rotulado por pseudo-LLM (765 mil instâncias) e depois ajustado em um corpus anotado por humanos (30 mil instâncias). Ambos os conjuntos de dados foram diversificados para incluir hesitações e autorreparações.
   • Arquitetura: Baseado em um codificador Japanese ModernBERT 30M com uma cabeça de classificação binária, utilizando perda focal (focal loss) para lidar com o desequilíbrio de classes.
   • Gatilho: Quando a pontuação de prontidão de intenção excede um limiar (0,35), o sistema aciona a geração de uma resposta prefatória curta.

2. Geração em Dois Estágios:

   • Estágio 1 (Resposta Prefatória): Uma vez detectada a prontidão da intenção, o sistema gera uma resposta prefatória curta e sensível ao contexto (ex: "A loja de hambúrguer..."). Restrições rigorosas são aplicadas: as respostas são limitadas a 10 caracteres japoneses, não devem introduzir novos fatos, fazer declarações definitivas ou expressar concordância forte.
   • Estágio 2 (Resposta Principal): Concomitantemente, o sistema gera a resposta principal completa e relevante para a tarefa, baseada na enunciação completa do usuário.

3. Controle de Alternância de Turnos: Um modelo de Projeção de Atividade de Voz (VAP) estima independentemente quando o usuário está cedendo o turno. Se uma resposta prefatória estiver pronta quando o VAP prevê uma transição de turno, o sistema a entrega imediatamente. A resposta principal segue assim que o resultado completo do STT estiver disponível.

Principais Contribuições

• Arquitetura Desacoplada: O artigo introduz um framework que separa o tempo do início da fala (controlado pelo VAP) da preparação da resposta (controlada pela Detecção de Prontidão de Intenção).
• Prefácios Sensíveis ao Contexto: Diferente de preenchimentos fixos, o sistema gera respostas preliminares condicionadas à intenção emergente do usuário, preenchendo a lacuna entre a previsão de alternância de turno e a geração da resposta substantiva.
• Restrições de Segurança: O sistema impõe restrições estritas de comprimento e semântica às respostas prefatórias para mitigar os riscos de erros de previsão precoce e alucinações em implantações no mundo real.

Resultados Experimentais
O framework foi avaliado em um experimento de campo usando um robô de orientação de rotas em um shopping center japonês. Três condições foram comparadas: sem preenchimento (no-filler), preenchimento fixo (ex: "sim") e prefácio contextual (contextual-preface).

• Latência de Resposta Inicial: Tanto a condição de preenchimento fixo quanto a de prefácio contextual reduziram significativamente a latência de resposta inicial em comparação com a linha de base sem preenchimento. No entanto, a condição de preenchimento fixo teve uma latência inicial significativamente menor do que a condição de prefácio contextual.
• Intervalo Inicial-Principal: A condição de prefácio contextual demonstrou um intervalo significativamente menor entre a resposta inicial e a resposta principal em comparação com a condição de preenchimento fixo. Isso indica que, embora o prefácio leve um pouco mais de tempo para ser gerado do que um preenchimento fixo, ele permite que a resposta principal seja entregue mais cedo em relação ao início da interação.
• Tempo de Gatilho: Na condição de prefácio contextual, o detector de prontidão de intenção disparou, em média, após 5,53 caracteres (69,2% do comprimento da enunciação final), sendo acionado antes do usuário terminar de falar em 58,2% dos casos.
• Rupturas de Diálogo: Aproximadamente 8% das respostas prefatórias foram anotadas como rupturas (ex: fragmentos ou perguntas genéricas), primariamente devido a truncamento de saída ou fundamentação contextual fraca.
• Avaliações Subjetivas: Questionários exploratórios pós-interação (30 por condição) mostraram que não houve diferenças estatisticamente significativas entre as quatro condições em relação ao ritmo conversacional, naturalidade, adequação ou satisfação.

Significância e Alegações
O artigo alega que respostas prefatórias sensíveis ao contexto oferecem um compromisso prático para robôs de diálogo no mundo real. Embora não alcancem a latência inicial absolutamente mais baixa dos preenchimentos fixos, elas reduzem significativamente o atraso antes que a resposta substantiva seja entregue, melhorando assim o fluxo de informações sem depender de preenchimentos não naturais e repetitivos.

Os autores concluem modestamente que, embora o método melhore a praticidade da geração de respostas ao preencher o tempo de espera pós-turno, a falta de diferenças significativas nas avaliações subjetivas sugere que estudos maiores e direcionados são necessários para determinar o impacto na experiência geral do usuário. O estudo destaca que a geração estável e contextualmente fundamentada de prefácios curtos continua sendo um gargalo fundamental, e o trabalho futuro deve focar em melhorar a continuidade semântica e prosódica entre o prefácio e a resposta principal.