A Semi-Automated System for Generating Dialogue-Based TTS Lessons Using Large Language Models: An Exploratory Study of Educational Potential

Resumen Técnico: Generación Semi-Automatizada de Lecciones de TTS Basadas en Diálogo utilizando LLMs

Planteamiento del Problema
La producción de contenido educativo de alta calidad, particularmente para modelos de aula invertida (flipped classroom), demanda un tiempo significativo y habilidades especializadas de los educadores, lo que crea una alta barrera de entrada. Si bien la generación de contenido totalmente automatizada mediante IA Generativa y Conversión de Texto a Voz (TTS, por sus siglas en inglés) ha emergido, estas soluciones suelen carecer de matices pedagógicos, precisión fáctica y optimización para la "capacidad de escucha" (listenability). El contenido generado por LLM conlleva riesgos de alucinaciones, lo que requiere supervisión humana. Los sistemas automatizados existentes se centran típicamente en la evaluación técnica o en la simple lectura en voz alta, fallando al validar la efectividad educativa en entornos de aula reales o al no aprovechar las capacidades únicas del TTS para la instrucción basada en el diálogo.

Metodología
El estudio propone y valida un sistema semi-automatizado con intervención humana (human-in-the-loop) diseñado para aumentar, en lugar de reemplazar, a los educadores. El sistema opera a través de un flujo de trabajo de tres etapas:

1. Generación de Diapositivas Estructuradas: Un texto no estructurado (ej. libros de texto) es procesado por un LLM (Claude 3.5 Sonnet) para generar diapositivas en formato Marp. Los educadores revisan estas para la verificación de hechos, el flujo pedagógico y el refinamiento visual.
2. Generación de Narración Optimizada para TTS: El LLM genera guiones de narración optimizados para la "capacidad de escucha" del TTS. El estudio introduce un novedoso formato de diálogo Experto-×-Novato, inspirado en la teoría del aprendizaje por tutoría (cognitive apprenticeship). En este modo, el LLM crea un guion donde un "Experto" aporta conocimiento y un "Novato" hace preguntas, parafrasea conceptos y confirma la comprensión. Esta estructura está diseñada para andamiar el aprendizaje e inducir efectos de autoexplicación. Los educadores revisan estos guiones para asegurar la precisión y claridad.
3. Síntesis de Voz e Integración: Utilizando la API de Gemini TTS, el sistema sintetiza el audio para los guiones. Se admiten dos modos: un solo hablante (tipo profesor) y diálogo (voces de Experto y Novato). El audio se sincroniza con las imágenes de las diapositivas (renderizadas vía Selenium) y se integra en los archivos de video finales utilizando MoviePy.

Validación Empírica
El potencial educativo del sistema fue evaluado mediante un cuasi-experimento con 245 estudiantes de primer año de secundaria en Japón. Los participantes experimentaron secuencialmente tres formatos de lección:

1. Video con voz de instructor (Control).
2. Lección de TTS de un solo hablante.
3. Lección de TTS de diálogo (Experto-×-Novato).

Nota: Debido al orden fijo y al contenido variable entre sesiones, el estudio reconoce las limitaciones para separar los efectos del formato de los efectos del contenido y del orden.

La recolección de datos incluyó comparaciones retrospectivas intra-sujeto (comparando los tres formatos) y comparaciones entre grupos transversales repetidas (TTS de un solo hablante vs. TTS de diálogo). Las métricas de evaluación se fundamentaron en el modelo ARCS (motivación), la Teoría de la Carga Cognitiva (carga extrínseca vs. germinal) y la teoría del compromiso con el aprendizaje.

Resultados Clave

• RQ1: ¿Degrada el TTS la experiencia de aprendizaje?
  El análisis intra-sujeto de las métricas principales (comprensión, concentración, evaluación general) encontró no hubo diferencias significativas entre la voz del instructor, el TTS de un solo hablante y el TTS de diálogo. La prueba de equivalencia TOST (límites $\Delta = \pm 0.5$) confirmó que todas las métricas se encontraban dentro del rango de equivalencia. Esto sugiere que el audio TTS no menoscaba la experiencia de aprendizaje fundamental en comparación con la voz humana.

• RQ2: ¿Es el formato de diálogo pedagógicamente superior?
  La comparación entre TTS de un solo hablante vs. TTS de diálogo reveló un intercambio (trade-off):

  • Ventajas del TTS de Diálogo: Puntuaciones significativamente más altas en comprensión ($p=.006$) y compromiso cognitivo ($p=.019$). Los estudiantes se sintieron más seguros en su capacidad para explicar el contenido a otros. Un análisis suplementario utilizando un modelo de proporciones ordenadas (controlando el conocimiento previo) confirmó que estas ventajas no se debieron únicamente a desequilibrios en el conocimiento previo.
  • Ventajas del TTS de un Solo Hablante: Puntuaciones significativamente más altas en naturalidad de audio ($p < .001$). El formato de diálogo introdujo una mayor carga cognitiva extrínseca, probablemente debido a las variaciones en la calidad del audio entre los hablantes y las páginas.
  • Preferencia: El TTS de diálogo fue seleccionado como el "más agradable para aprender" por el 66.9% de los participantes, superando significativamente a los otros formatos.

Contribuciones Clave

1. Arquitectura del Sistema: Un flujo de trabajo práctico de tres etapas con intervención humana que equilibra la automatización de LLM con el control de calidad del educador, diseñado específicamente para generar guiones optimizados para TTS.
2. Metodología Novedosa: El establecimiento de un método automatizado de generación de diálogos de Experto-×-Novato inspirado en la teoría del aprendizaje por tutoría, adaptado para la capacidad de escucha del TTS.
3. Evidencia Empírica: El primer estudio que integra la automatización de LLM, la aceptabilidad del audio TTS y el diseño de formato de diálogo en un entorno cuasi-experimental con estudiantes reales. Proporciona evidencia de que el TTS basado en diálogos puede mejorar la comprensión y el compromiso, a pesar de los posibles compromisos en la calidad del audio.

Significancia y Reivindicaciones
El artículo afirma proporcionar una base teórica y empírica para la aceptabilidad educativa del audio TTS y principios de diseño específicos para formatos de lecciones de TTS.

• Demuestra que el audio TTS no degrada inherentemente el aprendizaje en comparación con la voz humana, reduciendo la barrera para la producción de contenido.
• Sugiere que aprovechar la flexibilidad del TTS para crear lecciones basadas en el diálogo puede mejorar la autocomprensión y el compromiso cognitivo, siempre que se gestionen los compromisos de calidad de audio.
• Los autores declaran explícitamente que estos hallazgos se basan en un cuasi-experimento con restricciones de orden fijo y contenido variable. Por lo tanto, no reclaman efectos causales definitivos del formato de la lección por sí solo, sino que ofrecen implicaciones de diseño y patrones observados. Enfatizan que el trabajo futuro requiere diseños de cruce aleatorizados y pruebas de aprendizaje objetivas para confirmar las relaciones causales.