Syn-TurnTurk: A Synthetic Dataset for Turn-Taking Prediction in Turkish Dialogues

1. Problema Identificado

O gerenciamento do tempo em diálogos naturais é um desafio crítico para chatbots baseados em voz. A maioria dos sistemas atuais depende de uma detecção simples de silêncio (ex: esperar X segundos de silêncio para assumir que o turno acabou). Essa abordagem é falha porque os padrões de fala humana envolvem pausas irregulares, hesitações e interrupções. Quando o bot interpreta erroneamente uma pausa como o fim da fala, ele interrompe o usuário, quebrando o fluxo conversacional e tornando a interação mecânica.

O problema é agravado para idiomas como o turco, que carecem de conjuntos de dados (datasets) de alta qualidade e rotulados especificamente para a previsão de troca de turnos. A estrutura única do turco (aglutinante e baseada em sufixos) faz com que modelos treinados em inglês não capturem adequadamente as nuances linguísticas necessárias para prever o fim de um turno com precisão.

2. Metodologia

Os autores propuseram uma abordagem baseada na geração sintética de dados para superar a escassez de recursos reais:

• Geração do Dataset (Syn-TurnTurk):
  • Foram utilizados cinco modelos de Linguagem de Grande Escala (LLMs) da família Qwen (incluindo versões como qwen3-max, qwen3.5-35b, qwen3.5-plus, qwen3.5-397b e qwen3.5-flash) via chamadas de API.
  • Diversidade: Foram definidos 79 tópicos únicos para evitar repetição semântica.
  • Realismo: Os modelos foram instruídos a incorporar características de fala humana, como sobreposições (overlaps), silêncios estratégicos e interjeições do dia a dia.
  • Parâmetros: A temperatura foi ajustada (majoritariamente em 0,7) para equilibrar coerência e espontaneidade.
• Estrutura do Dataset:
  • O corpus final contém 1.625 diálogos com 12.560 mudanças de falante.
  • Inclui 5.305 instâncias documentadas de sobreposição (fala simultânea), totalizando mais de 2.200 segundos de fala concorrente.
  • Métricas temporais como Floor Transfer Offset (FTO) foram calculadas para capturar nuances temporais (ex: média de FTO de 0,286s, mas com uma distribuição assimétrica indicando pausas longas e transições rápidas).
• Modelagem e Avaliação:
  • Pré-processamento: O texto foi representado usando o modelo de embeddings intfloat/multilingual-e5-large, otimizado para nuances semânticas e estruturais do turco.
  • Rotulagem: Para cada transição de turno, o último terço do texto foi rotulado como "1" (fim de turno) e segmentos aleatórios do restante como "0" (continuação). O conjunto de dados foi balanceado via downsampling.
  • Arquiteturas Testadas: Foram avaliados modelos tradicionais (Árvore de Decisão, Random Forest, Regressão Logística) e modelos de Deep Learning (LSTM e Bi-LSTM), além de um modelo de Ensemble (combinação de Regressão Logística + Random Forest).
  • Validação: Utilizou-se validação cruzada de 5 dobras (5-fold cross-validation).

3. Principais Contribuições

1. Syn-TurnTurk: A criação do primeiro dataset sintético de alta qualidade focado especificamente na previsão de troca de turnos em diálogos em turco.
2. Abordagem Sintética Robusta: Demonstração de que LLMs podem gerar dados realistas que incluem fenômenos complexos como sobreposições e pausas estratégicas, essenciais para treinar sistemas de voz.
3. Análise de Arquiteturas: Uma comparação abrangente de modelos clássicos versus redes neurais recorrentes (RNNs) para a tarefa de previsão de turnos em turco.
4. Disponibilidade Pública: O dataset foi hospedado no Hugging Face para fomentar pesquisas futuras na área de processamento de linguagem natural (PLN) para o turco.

4. Resultados

Os experimentos demonstraram que modelos avançados superam abordagens simples:

• Desempenho Geral: Os modelos Bi-LSTM e o Ensemble (LR+RF) apresentaram os melhores resultados.
  • Bi-LSTM: Alcançou a maior acurácia de 0,839 e um AUC de 0,905.
  • Ensemble (LR+RF): Alcançou o melhor AUC de 0,910 e uma acurácia de 0,836.
• Comparação por Modelo Gerador: O desempenho variou ligeiramente dependendo do modelo Qwen que gerou os dados. O subconjunto gerado pelo modelo mais complexo (qwen3.5-397b-a17b) apresentou desempenho ligeiramente inferior na previsão, sugerindo que a maior complexidade linguística e o fluxo mais natural desses modelos tornam os pontos de troca de turno mais difíceis de classificar para os algoritmos.
• Importância do Contexto Linguístico: A superioridade dos modelos baseados em LSTM confirma que a compreensão do fluxo linguístico e estrutural é fundamental para gerenciar transições em turco, superando a simples detecção de silêncio.

5. Significado e Impacto

Este trabalho é significativo por preencher uma lacuna crítica nos recursos de dados para o idioma turco, permitindo o desenvolvimento de assistentes de voz mais naturais e menos intrusivos. Ao demonstrar que dados sintéticos gerados por LLMs podem ser eficazes para treinar modelos de previsão de turnos, o artigo oferece um caminho viável para idiomas com poucos dados rotulados.

Os resultados indicam que a transição de sistemas baseados em regras de silêncio para modelos que entendem cues linguísticos (pistas linguísticas) e estrutura gramatical é essencial para melhorar a interação humano-máquina. O dataset Syn-TurnTurk serve como uma base sólida para futuras pesquisas em sistemas de diálogo multimodais e em tempo real.