A Semi-Automated System for Generating Dialogue-Based TTS Lessons Using Large Language Models: An Exploratory Study of Educational Potential

Technische Samenvatting: Semi-geautomatiseerde Generatie van Dialooggebaseerde TTS-lessen met behulp van LLM's

Probleemstelling
De productie van hoogwaardige educatieve content, met name voor flipped classroom-modellen, vereist aanzienlijke tijd en gespecialiseerde vaardigheden van docenten, wat een hoge drempel tot instap creëert. Hoewel volledig geautomatiseerde contentgeneratie met behulp van Generatieve AI en Text-to-Speech (TTS) is opgekomen, missen deze oplossingen vaak pedagogische nuance, feitelijke nauwkeurigheid en optimalisatie voor "luisterbaarheid". Bovendien brengt door LLM gegenereerde content risico's op hallucinaties met zich mee, wat menselijk toezicht noodzakelijk maakt. Bestaande geautomatiseerde systemen richten zich doorgaans op technische evaluatie of eenvoudige voorleesfuncties, en falen in het valideren van de educatieve effectiviteit in werkelijke klaslokalen of het benutten van de unieke mogelijkheden van TTS voor dialooggebaseerde instructie.

Methodologie
De studie stelt een semi-geautomatiseerd, human-in-the-loop systeem voor en valideert dit, dat ontworpen is om docenten te versterken in plaats van te vervangen. Het systeem werkt via een workflow bestaande uit drie stadia:

1. Gestructureerde Dia-generatie: Ongestructureerde tekst (bijv. tekstboeken) wordt verwerkt door een LLM (Claude 3.5 Sonnet) om Marp-formaat dia's te genereren. Docenten beoordelen deze op feitelijke juistheid, pedagogische flow en visuele verfijning.
2. TTS-geoptimaliseerde Narratie-generatie: De LLM genereert narratie-scripts die geoptimaliseerd zijn voor TTS "luisterbaarheid". De studie introduceert een nieuw Expert-×-Novice dialoogformaat, geïnspireerd door de cognitieve meester-gezel theorie (cognitive apprenticeship theory). In deze modus creëert de LLM een script waarin een "Expert" kennis verstrekt en een "Novice" vragen stelt, concepten herformuleert en begrip bevestigt. Deze structuur is ontworpen om leren te ondersteunen (scaffolding) en het effect van zelfverklaring te induceren. Docenten beoordelen deze scripts op nauwkeurigheid en helderheid.
3. Spraaksynthese en Integratie: Met behulp van de Gemini TTS API synthetiseert het systeem audio voor de scripts. Twee modi worden ondersteund: single-speaker (docent-achtig) en dialoog (Expert en Novice stemmen). De audio wordt gesynchroniseerd met dia-afbeeldingen (gerenderd via Selenium) en geïntegreerd in definitieve videobestanden met behulp van MoviePy.

Empirische Validatie
Het educatieve potentieel van het systeem werd geëvalueerd via een quasi-experiment met 245 eerstejaars scholieren in Japan. Deelnemers ervoeren opeenvolgend drie lesformaten:

1. Video met instructeurstem (Controle).
2. Single-speaker TTS-les.
3. Dialoog TTS-les (Expert-×-Novice).

Opmerking: Vanwege de vaste volgorde en variërende inhoud per sessie, erkent de studie de beperkingen bij het scheiden van format-effecten van inhoud- en volgorde-effecten.

Dataverzameling omvatte retrospectieve binnen-onderwerp vergelijkingen (vergelijking van alle drie de formaten) en herhaalde cross-sectionele tussen-groep vergelijkingen (Single TTS versus Dialoog TTS). Evaluatiemetrieken waren gebaseerd op het ARCS-model (motivatie), Cognitive Load Theory (extraneous vs. germane load) en leerbetrokkenheidstheorie.

Belangrijkste Resultaten

• RQ1: Verslechtert TTS de leerervaring?
  Binnen-onderwerp analyse van kernmetrieken (begrip, concentratie, algemene evaluatie) vond geen significante verschillen tussen de instructeurstem, single-speaker TTS en dialoog TTS. TOST-equivalentietesten (grenzen $\Delta = \pm 0.5$) bevestigden dat alle metrieken binnen het equivalentiebereik vielen. Dit suggereert dat TTS-audio de fundamentele leerervaring niet ondermijnt in vergelijking met de menselijke stem.

• RQ2: Is het dialoogformaat educatief superieur?
  Het vergelijken van Single TTS met Dialoog TTS onthulde een trade-off:

  • Voordelen van Dialoog TTS: Significante hogere scores in begrip ($p=.006$) en cognitieve betrokkenheid ($p=.019$). Leerders voelden meer vertrouwen in hun vermogen om de inhoud aan anderen uit te leggen. Aanvullende analyse met een proportionele odds-model (waarbij werd gecontroleerd voor voorkennis) bevestigde dat deze voordelen niet uitsluitend toe te schrijven waren aan onbalans in voorkennis.
  • Voordelen van Single TTS: Significante hogere scores in audio-naturaliteit ($p < .001$). Het dialoogformaat introduceerde een hogere extrinsieke cognitieve belasting (extraneous cognitive load), waarschijnlijk door variaties in audiokwaliteit tussen sprekers en pagina's.
  • Voorkeur: Dialoog TTS werd door 66,9% van de deelnemers gekozen als de "meest plezierige vorm om van te leren", waarmee het de andere formaten significant overtrof.

Belangrijkste Bijdragen

1. Systeemarchitectuur: Een praktische, drie-staps human-in-the-loop workflow die de balans bewaart tussen LLM-automatisering en kwaliteitscontrole door de docent, specifiek ontworpen voor het genereren van TTS-geoptimaliseerde scripts.
2. Nieuwe Methodologie: De vestiging van een geautomatiseerde Expert-×-Novice dialooggeneratie methode geïnspireerd door de cognitieve meester-gezel theorie, afgestemd op de luisterbaarheid van TTS.
3. Empirisch Bewijs: De eerste studie die LLM-automatisering, de acceptatie van TTS-audio en dialoogformaat-ontwerp integreert in een quasi-experimentele setting met werkelijke leerlingen. Het levert bewijs dat dialooggebaseerde TTS het begrip en de betrokkenheid kan verbeteren, ondanks potentiële trade-offs in audiokwaliteit.

Betekenis en Claims
Het artikel beweert een theoretische en empirische basis te bieden voor de educatieve acceptabiliteit van TTS-audio en specifieke ontwerpprincipes voor TTS-lesformaten.

• Het toont aan dat TTS-audio de leerervaring niet inherent verslechtert ten opzichte van de menselijke stem, wat de drempel voor contentproductie verlaagt.
• Het suggereert dat het benutten van de flexibiliteit van TTS om dialooggebaseerde lessen te creëren, het zelfgepercipieerd begrip en de cognitieve betrokkenheid kan verbeteren, mits de trade-offs in audiokwaliteit worden beheerst.
• De auteurs geven expliciet aan dat deze bevindingen gebaseerd zijn op een quasi-experiment met vaste volgorde en variërende inhoud-beperkingen. Daarom claimen zij geen definitieve causale effecten van het lesformaat alleen, maar bieden zij eerder ontwerpimplicaties en geobserveerde patronen. Zij benadrukken dat toekomstig werk random crossover-designs en objectieve leertests vereist om causale relaties te bevestigen.