A Semi-Automated System for Generating Dialogue-Based TTS Lessons Using Large Language Models: An Exploratory Study of Educational Potential

Résumé technique : Génération semi-automatisée de leçons de synthèse vocale (TTS) basées sur le dialogue à l'aide de LLM

Énoncé du problème
La production de contenus éducatifs de haute qualité, particulièrement pour les modèles de classe inversée, exige un temps et des compétences spécialisées importants de la part des éducateurs, créant ainsi une barrière à l'entrée élevée. Bien que la génération de contenu entièrement automatisée utilisant l'IA générative et la synthèse vocale (TTS) ait émergé, ces solutions manquent souvent de nuance pédagogique, de précision factuelle et d'optimisation pour la « capacité d'écoute » (listenability). De plus, le contenu généré par les LLM comporte des risques d'hallucinations, nécessitant une supervision humaine. Les systèmes automatisés existants se concentrent généralement sur l'évaluation technique ou la simple lecture à voix haute, échouant à valider l'efficacité éducative dans des contextes de classe réels ou à exploiter les capacités uniques de la TTS pour l'instruction basée sur le dialogue.

Méthodologie
L'étude propose et valide un système semi-automatisé, avec intervention humaine (human-in-the-loop), conçu pour augmenter, plutôt que remplacer, les éducateurs. Le système fonctionne via un flux de travail en trois étapes :

1. Génération de diapositives structurées : Un texte non structuré (ex. : manuels scolaires) est traité par un LLM (Claude 3.5 Sonnet) pour générer des diapositives au format Marp. Les éducateurs examinent ces dernières pour la vérification des faits, le flux pédagogique et le raffinement visuel.
2. Génération de narration optimisée pour la TTS : Le LLM génère des scripts de narration optimisés pour la « capacité d'écoute » de la TTS. L'étude introduit un nouveau format de dialogue Expert-×-Novice, inspiré de la théorie de l'apprentissage cognitif (cognitive apprenticeship). Dans ce mode, le LLM crée un script où un « Expert » apporte des connaissances et un « Novice » pose des questions, reformule les concepts et confirme sa compréhension. Cette structure est conçue pour étayer l'apprentissage et induire des effets d'auto-explication. Les éducateurs examinent ces scripts pour la précision et la clarté.
3. Synthèse vocale et intégration : En utilisant l'API Gemini TTS, le système synthétise l'audio pour les scripts. Deux modes sont supportés : locuteur unique (type enseignant) et dialogue (voix de l'Expert et du Novice). L'audio est synchronisé avec les images des diapositives (rendues via Selenium) et intégré dans les fichiers vidéo finaux à l'aide de MoviePy.

Validation empirique
Le potentiel éducatif du système a été évalué par une quasi-expérience impliquant 245 élèves de première année de lycée au Japon. Les participants ont expérimenté séquentiellement trois formats de leçons :

1. Vidéo avec voix d'instructeur (Contrôle).
2. Leçon TTS à locuteur unique.
3. Leçon TTS de dialogue (Expert-×-Novice).

Note : En raison de l'ordre fixe et de la variation du contenu entre les sessions, l'étude reconnaît les contraintes liées à la séparation des effets de format et des effets de contenu ou d'ordre.

La collecte de données comprenait des comparaisons rétrospectives intra-sujets (comparant les trois formats) et des comparaisons transversales répétées entre groupes (TTS simple vs TTS de dialogue). Les métriques d'évaluation étaient fondées sur le modèle ARCS (motivation), la théorie de la charge cognitive (charge extrinsèque vs germane) et la théorie de l'engagement dans l'apprentissage.

Résultats clés

• RQ1 : La TTS dégrade-t-elle l'expérience d'apprentissage ?
  L'analyse intra-sujet des métriques clés (compréhension, concentration, évaluation globale) n'a montré aucune différence significative entre la voix de l'instructeur, la TTS simple et la TTS de dialogue. Les tests d'équivalence TOST (bornes $\Delta = \pm 0,5$) ont confirmé que toutes les métriques se situaient dans la plage d'équivalence. Cela suggère que l'audio TTS ne compromet pas l'expérience d'apprentissage fondamentale par rapport à la voix humaine.

• RQ2 : Le format de dialogue est-il pédagogiquement supérieur ?
  La comparaison entre la TTS simple et la TTS de dialogue a révélé un arbitrage :

  • Avantages de la TTS de dialogue : Scores significativement plus élevés en compréhension ($p=.006$) et en engagement cognitif ($p=.019$). Les apprenants se sentaient plus confiants dans leur capacité à expliquer le contenu à autrui. Une analyse supplémentaire utilisant un modèle de proportions ordonnées (contrôlant les connaissances préalables) a confirmé que ces avantages n'étaient pas uniquement dus aux déséquilibres de connaissances préalables.
  • Avantages de la TTS simple : Scores significativement plus élevés en naturel de l'audio ($p < .001$). Le format de dialogue a introduit une charge cognitive extrinsèque plus élevée, probablement due aux variations de la qualité audio entre les locuteurs et les pages.
  • Préférence : La TTS de dialogue a été choisie comme le format « le plus agréable pour apprendre » par 66,9 % des participants, surpassant significativement les autres formats.

Principales contributions

1. Architecture du système : Un flux de travail pratique en trois étapes avec intervention humaine qui équilibre l'automatisation par LLM et le contrôle de qualité par l'éducateur, spécifiquement conçu pour générer des scripts optimisés pour la TTS.
2. Méthodologie novatrice : L'établissement d'une méthode de génération de dialogue Expert-×-Novice automatisée, inspirée de la théorie de l'apprentissage cognitif et adaptée à la capacité d'écoute de la TTS.
3. Preuve empirique : La première étude intégrant l'automatisation par LLM, l'acceptabilité de l'audio TTS et la conception de formats de dialogue dans un cadre quasi-expérimental avec de véritables apprenants. Elle fournit la preuve que les leçons basées sur le dialogue peuvent améliorer la compréhension et l'engagement malgré les compromis potentiels de qualité audio.

Signification et affirmations
L'article affirme fournir une base théorique et empirique pour l'acceptabilité éducative de l'audio TTS et des principes de conception spécifiques pour les formats de leçons TTS.

• Il démontre que l'audio TTS ne dégrade pas intrinsèquement l'apprentissage par rapport à la voix humaine, abaissant ainsi la barrière à la production de contenu.
• Il suggère que l'exploitation de la flexibilité de la TTS pour créer des leçons basées sur le dialogue peut améliorer l'auto-évaluation de la compréhension et l'engagement cognitif, à condition que les compromis de qualité audio soient gérés.
• Les auteurs déclarent explicitement que ces résultats sont basés sur une quasi-expérience avec des contraintes d'ordre fixe et de contenu variable. Par conséquent, ils ne revendiquent pas d'effets causaux définitifs du seul format de leçon, mais proposent plutôt des implications de conception et des modèles observés. Ils soulignent que les travaux futurs nécessiteront des conceptions croisées randomisées et des tests d'apprentissage objectifs pour confirmer les relations de causalité.