A Semi-Automated System for Generating Dialogue-Based TTS Lessons Using Large Language Models: An Exploratory Study of Educational Potential

Technisches Resümee: Semi-automatisierte Generierung von dialogbasierten TTS-Lektionen mittels LLMs

Problemstellung
Die Produktion hochwertiger Bildungsinhalte, insbesondere für Flipped-Classroom-Modelle, erfordert erheblichen Zeitaufwand und spezialisierte Fähigkeiten von Lehrkräften, was eine hohe Eintrittsbarriere schafft. Während die vollautomatisierte Inhaltsgenerierung mittels Generativer KI und Text-to-Speech (TTS) entstanden ist, mangelt es diesen Lösungen oft an pädagogischer Nuancierung, faktischer Genauigkeit und der Optimierung auf „Hörbarkeit“ (Listenability). Durch LLMs generierte Inhalte bergen zudem das Risiko von Halluzinationen, was eine menschliche Aufsicht erforderlich macht. Bestehende automatisierte Systeme konzentrieren sich typischerweise auf technische Evaluierung oder einfaches Vorlesen, versäumen es jedoch, die pädagogische Wirksamkeit in tatsächlichen Klassenzimmer-Umgebungen zu validieren oder die einzigartigen Möglichkeiten von TTS für den dialogbasierten Unterricht zu nutzen.

Methodik
Die Studie schlägt und validiert ein semi-automatisches Human-in-the-Loop-System vor, das Lehrkräfte ergänzt, statt sie zu ersetzen. Das System arbeitet durch einen dreistufigen Workflow:

1. Strukturierte Folien-Generierung: Unstrukturierter Text (z. B. Lehrbücher) wird durch ein LLM (Claude 3.5 Sonnet) verarbeitet, um Marp-Format-Folien zu generieren. Lehrkräfte überprüfen diese auf Faktenprüfung, pädagogischen Fluss und visuelle Verfeinerung.
2. TTS-optimierte Narrationsgenerierung: Das LLM generiert Narrationsskripte, die für die „Hörbarkeit“ durch TTS optimiert sind. Die Studie führt ein neuartiges Experte-×-Novize-Dialogformat ein, das von der Theorie des kognitiven Lehrlingswesens (Cognitive Apprenticeship) inspiriert ist. In diesem Modus erstellt das LLM ein Skript, in dem ein „Experte“ Wissen vermittelt und ein „Novize“ Fragen stellt, Konzepte umformuliert und das Verständnis bestätigt. Diese Struktur ist darauf ausgelegt, das Lernen zu unterstützen (Scaffolding) und Effekte der Selbstexplanation zu induzieren. Lehrkräfte überprüfen diese Skripte auf Genauigkeit und Klarheit.
3. Sprachsynthese und Integration: Unter Verwendung der Gemini TTS API synthetisiert das System Audio für die Skripte. Zwei Modi werden unterstützt: Einzelsprecher (lehrerähnlich) und Dialog (Experten- und Novizenstimme). Das Audio wird mit den Folienbildern synchronisiert (gerendert via Selenium) und in finale Videodateien integriert (mittels MoviePy).

Empirische Validierung
Das Bildungspotenzial des Systems wurde durch ein Quasi-Experiment mit 245 Schülern der ersten Klasse einer High School in Japan evaluiert. Die Teilnehmer durchliefen nacheinander drei Unterrichtsformate:

1. Video mit Instruktor-Stimme (Kontrollgruppe).
2. Single-Speaker TTS-Lektion.
3. Dialog-TTS-Lektion (Experte-×-Novize).

Hinweis: Aufgrund der festen Reihenfolge und der variierenden Inhalte über die Sitzungen hinweg räumt die Studie ein, dass es Einschränkungen bei der Trennung von Format-Effekten, Inhalts-Effekten und Reihenfolge-Effekten gibt.

Die Datenerhebung umfasste retrospektive Intra-Subjekt-Vergleiche (Vergleich aller drei Formate) und wiederholte Cross-Sectional-Inter-Gruppen-Vergleiche (Single TTS vs. Dialog-TTS). Die Evaluationsmetriken basieren auf dem ARCS-Modell (Motivation), der Cognitive Load Theory (extraneous vs. germane load) und der Theorie des Lernengagements.

Zentrale Ergebnisse

• RQ1: Verschlechtert TTS das Lernerlebnis?
  Eine Intra-Subjekt-Analyse der Kernmetriken (Verständnis, Konzentration, Gesamtbewertung) ergab keine signifikanten Unterschiede zwischen Instruktor-Stimme, Single TTS und Dialog-TTS. TOST-Äquivalenztests (Grenzen $\Delta = \pm 0,5$) bestätigten, dass alle Metriken innerhalb des Äquivalenzbereichs lagen. Dies deutet darauf hin, dass TTS-Audio das grundlegende Lernerlebnis im Vergleich zu menschlicher Stimme nicht untergräbt.

• RQ2: Ist das Dialogformat pädagogisch überlegen?
  Der Vergleich von Single TTS vs. Dialog-TTS zeigte einen Trade-off:

  • Vorteile von Dialog-TTS: Signifikant höhere Werte bei Verständnis ($p=.006$) und kognitivem Engagement ($p=.019$). Lernende fühlten sich sicherer in ihrer Fähigkeit, den Inhalt anderen zu erklären. Eine ergänzende Analyse mittels eines Proportional Odds Modells (unter Kontrolle des Vorwissens) bestätigte, dass diese Vorteile nicht allein auf Ungleichgewichten beim Vorwissen beruhen.
  • Vorteile von Single TTS: Signifikant höhere Werte bei der audio-natürlichen Sprachqualität ($p < .001$). Das Dialogformat führte zu einer höheren extrinsischen kognitiven Belastung (extraneous cognitive load), was wahrscheinlich auf Variationen in der Audioqualität zwischen den Sprechern und den Seiten zurückzuführen ist.
  • Präferenz: Dialog-TTS wurde von 66,9 % der Teilnehmer als „angenehmster Lernmodus“ gewählt, was die anderen Formate signifikant übertraf.

Wesentliche Beiträge

1. Systemarchitektur: Ein praktischer Drei-Stufen-Human-in-the-Loop-Workflow, der die LLM-Automatisierung mit der Qualitätskontrolle durch Lehrkräfte ausbalanciert und speziell zur Generierung von TTS-optimierten Skripten entwickelt wurde.
2. Neuartige Methodik: Die Etablierung einer automatisierten Experte-×-Novize-Dialoggenerierung, die vom kognitiven Lehrlingswesen inspiriert und auf die Hörbarkeit durch TTS zugeschnitten ist.
3. Empirische Evidenz: Die erste Studie, die LLM-Automatisierung, die Akzeptanz von TTS-Audio und das Design von Dialog-Format-Lektionen in einem quasi-experimentellen Setting mit tatsächlichen Lernenden integriert. Sie liefert Belege dafür, dass dialogbasierte TTS das Verständnis und das Engagement steigern kann, sofern die Trade-offs bei der Audioqualität gemanagt werden.

Bedeutung und Ansprüche
Die Arbeit beansprucht, eine theoretische und empirische Basis für die pädagogische Akzeptanz von TTS-Audio und spezifische Designprinzipien für TTS-Lektionsformate zu liefern.

• Sie zeigt auf, dass TTS-Audio das Lernen im Vergleich zu menschlicher Stimme nicht inhärent verschlechtert, was die Barriere für die Erstellung von Inhalten senkt.
• Sie legt nahe, dass die Nutzung der Flexibilität von TTS zur Erstellung von dialogbasierten Lektionen das selbst eingeschätzte Verständnis und das kognitive Engagement verbessern kann, sofern die Trade-offs bei der Audioqualität kontrolliert werden.
• Die Autoren stellen explizit klar, dass diese Ergebnisse auf einem Quasi-Experiment mit festen Reihenfolgen und variierenden Inhalten basieren. Daher beanspruchen sie keine definitiven kausalen Effekte des Lektionsformats allein, sondern bieten vielmehr Design-Implikationen und beobachtete Muster an. Sie betonen, dass zukünftige Arbeiten randomisierte Crossover-Designs und objektive Lerntests benötigen, um kausale Zusammenhänge zu bestätigen.