Syn-TurnTurk: A Synthetic Dataset for Turn-Taking Prediction in Turkish Dialogues

Resumen Técnico: Syn-TurnTurk

1. El Problema

La gestión del tiempo en diálogos naturales es un desafío crítico para los chatbots basados en voz. La mayoría de los sistemas actuales dependen de la detección simple de silencio para determinar cuándo un usuario ha terminado su turno. Este enfoque es ineficaz porque los patrones de habla humana incluyen pausas irregulares dentro de las oraciones o entre palabras. Como resultado, los bots a menudo interrumpen a los usuarios, rompiendo el flujo conversacional y haciendo que la interacción se sienta mecánica.

Este problema se agrava en idiomas como el turco, que carecen de conjuntos de datos (datasets) de alta calidad y etiquetados para la predicción de cambios de turno. La estructura sintáctica única del turco y su gramática basada en sufijos hacen que los modelos entrenados en inglés no capturen adecuadamente los matices del diálogo turco, lo que limita el desarrollo de sistemas de voz naturales en esta región.

2. Metodología

Los autores abordan esta carencia mediante la creación y evaluación de un nuevo recurso y una serie de modelos predictivos:

• Generación del Dataset (Syn-TurnTurk):

  • Se creó un corpus sintético de diálogos turcos utilizando cinco modelos diferentes de LLM de la familia Qwen (vía API), incluyendo versiones como qwen3-max, qwen3.5-35b, qwen3.5-plus, qwen3.5-397b y qwen3.5-flash.
  • Se generaron 1.625 diálogos únicos cubriendo 79 temas distintos para evitar el sobreajuste semántico.
  • Los modelos fueron instruidos para imitar características humanas, como solapamientos (overlaps), silencios estratégicos y interjecciones cotidianas.
  • El parámetro de temperatura se ajustó (principalmente a 0.7) para equilibrar la coherencia y la espontaneidad.
  • El dataset final contiene 12.560 cambios de turno, con 5.305 instancias documentadas de solapamiento y una distribución temporal asimétrica que refleja la realidad.

• Modelado y Evaluación:

  • Se entrenaron y compararon varios arquitecturas, desde algoritmos tradicionales hasta aprendizaje profundo:
    • Tradicionales: Árbol de Decisión (DT), Bosque Aleatorio (RF), Regresión Logística (LR).
    • Profundos: LSTM y BI-LSTM (Long Short-Term Memory Bidireccional).
    • Ensemble: Una combinación de LR + RF.
  • Representación de texto: Se utilizó el modelo de embeddings intfloat/multilingual-e5-large, optimizado para capturar matices semánticos y estructurales del turco.
  • Etiquetado: Se etiquetó el último tercio de la secuencia de texto como "fin de turno" (1) y se seleccionaron segmentos aleatorios del resto como "continuidad" (0).
  • Se empleó validación cruzada de 5 pliegues (5-fold cross-validation).

3. Contribuciones Clave

• Syn-TurnTurk: El primer dataset sintético de alta calidad diseñado específicamente para la predicción de cambios de turno en turco, que incluye características complejas como solapamientos y pausas no terminales.
• Análisis de Modelos LLM Sintéticos: Demostración de cómo diferentes modelos Qwen (desde versiones ligeras hasta grandes) pueden generar datos de entrenamiento viables para tareas de diálogo.
• Validación de Enfoques Híbridos: Evidencia de que los modelos que entienden el flujo lingüístico (como BI-LSTM) superan a los métodos basados únicamente en reglas de silencio.

4. Resultados

Los experimentos mostraron un rendimiento sólido en la predicción de cambios de turno:

• Mejores Modelos: Los modelos BI-LSTM y el Ensemble (LR+RF) obtuvieron los mejores resultados globales.
  • BI-LSTM: Logró la mayor precisión (Accuracy) de 0.839 y un AUC de 0.907.
  • Ensemble (LR+RF): Alcanzó el AUC más alto de 0.910 con una precisión de 0.836.
• Impacto de la Complejidad del Modelo Generador: Se observó que el subconjunto generado por el modelo más complejo (qwen3.5-397b-a17b) presentó un rendimiento ligeramente inferior en la clasificación. Esto sugiere que los diálogos generados por modelos más avanzados tienen un flujo conversacional más natural y complejo, lo que hace que los puntos de cambio de turno sean más difíciles de predecir para los clasificadores.
• Importancia del Contexto Lingüístico: Los modelos basados en LSTM demostraron que entender la estructura lingüística es crucial para gestionar las transiciones en el habla turca, superando a modelos más simples como el Árbol de Decisión.

5. Significado e Impacto

Este trabajo representa un avance significativo para la interacción humano-máquina en turco. Al proporcionar un dataset sintético robusto y demostrar que los modelos de aprendizaje profundo pueden aprender a distinguir entre pausas naturales y finales de turno reales, el estudio:

1. Reduce la dependencia de la detección de silencio, que es propensa a errores.
2. Permite el desarrollo de chatbots de voz más naturales y menos intrusivos para hablantes de turco.
3. Establece una base para futuras investigaciones en idiomas con recursos limitados, demostrando que la generación sintética de datos de alta calidad es una solución viable cuando faltan datos reales etiquetados.

En conclusión, Syn-TurnTurk no solo llena un vacío de datos, sino que valida la eficacia de arquitecturas avanzadas para predecir el comportamiento conversacional en un contexto lingüístico específico, mejorando la experiencia del usuario en sistemas de voz.