A Semi-Automated System for Generating Dialogue-Based TTS Lessons Using Large Language Models: An Exploratory Study of Educational Potential

Resumo Técnico: Geração Semi-Automatizada de Lições Baseadas em Diálogo com TTS Utilizando LLMs

Definição do Problema
A produção de conteúdo educacional de alta qualidade, particularmente para modelos de sala de aula invertida, exige tempo significativo e habilidades especializadas dos educadores, criando uma alta barreira de entrada. Embora a geração de conteúdo totalmente automatizada usando IA Generativa e Text-to-Speech (TTS) tenha surgido, essas soluções frequentemente carecem de nuance pedagógica, precisão factual e otimização para a "auditividade" (listenability). Além disso, o conteúdo gerado por LLMs carrega riscos de alucinações, necessitando de supervisão humana. Os sistemas automatizados existentes focam tipicamente na avaliação técnica ou em simples leituras em voz alta, falhando em validar a eficácia educacional em ambientes de sala de aula reais ou em aproveitar as capacidades únicas do TTS para a instrução baseada em diálogo.

Metodologia
O estudo propõe e valida um sistema semi-automatizado, com humano no ciclo (human-in-the-loop), projetado para aumentar, em vez de substituir, os educadores. O sistema opera através de um fluxo de trabalho de três estágios:

1. Geração Estruturada de Slides: Texto não estruturado (ex: livros didáticos) é processado por um LLM (Claude 3.5 Sonnet) para gerar slides em formato Marp. Os educadores revisam estes para verificação de fatos, fluxo pedagógico e refinamento visual.
2. Geração de Narração Otimizada para TTS: O LLM gera roteiros de narração otimizados para a "auditividade" do TTS. O estudo introduz um novo formato de diálogo Especialista-×-Novato, inspirado na teoria da aprendizagem cognitiva (cognitive apprenticeship). Neste modo, o LLM cria um roteiro onde um "Especialista" fornece conhecimento e um "Novato" faz perguntas, refraseia conceitos e confirma a compreensão. Esta estrutura é projetada para realizar o andaime (scaffolding) da aprendizagem e induzir efeitos de autoexplicação. Os educadores revisam estes roteiros para precisão e clareza.
3. Síntese de Fala e Integração: Usando a API Gemini TTS, o sistema sintetiza o áudio para os roteiros. Dois modos são suportados: locutor único (estilo professor) e diálogo (vozes de Especialista e Novato). O áudio é sincronizado com as imagens dos slides (renderizados via Selenium) e integrado em arquivos de vídeo finais usando MoviePy.

Validação Empírica
O potencial educacional do sistema foi avaliado através de um quase-experimento envolvendo 245 alunos do primeiro ano do ensino médio no Japão. Os participantes vivenciaram sequencialmente três formatos de lição:

1. Vídeo com voz do instrutor (Controle).
2. Lição de TTS de locutor único.
3. Lição de TTS de diálogo (Especialista-×-Novato).

Nota: Devido à ordem fixa e ao conteúdo variável entre as sessões, o estudo reconhece as restrições em separar os efeitos do formato dos efeitos de conteúdo e de ordem.

A coleta de dados incluiu comparações retrospectivas intra-sujeito (comparando os três formatos) e comparações intergrupos transversais repetidas (TTS Único vs. TTS de Diálogo). As métricas de avaliação foram fundamentadas no modelo ARCS (motivação), na Teoria da Carga Cognitiva (carga estranha vs. germinal) e na teoria do engajamento na aprendizagem.

Resultados Principais

• RQ1: O TTS degrada a experiência de aprendizagem?
  A análise intra-sujeito das métricas principais (compreensão, concentração, avaliação geral) encontrou nenhuma diferença significativa entre a voz do instrutor, o TTS de locutor único e o TTS de diálogo. O teste de equivalência TOST (limites $\Delta = \pm 0,5$) confirmou que todas as métricas caíram dentro do intervalo de equivalência. Isso sugere que o áudio TTS não compromete a experiência fundamental de aprendizagem em comparação com a voz humana.

• RQ2: O formato de diálogo é educacionalmente superior?
  Comparando o TTS de Locutor Único com o TTS de Diálogo, revelou-se um compromisso (trade-off):

  • Vantagens do TTS de Diálogo: Pontuações significativamente mais altas em compreensão ($p=.006$) e engajamento cognitivo ($p=.019$). Os alunos sentiram mais confiança em sua capacidade de explicar o conteúdo para outros. Uma análise suplementar usando um modelo de proporção de ordenadas (controlando o conhecimento prévio) confirmou que essas vantagens não se devem apenas a desequilíbrios de conhecimento prévio.
  • Vantagens do TTS de Locutor Único: Pontuações significativamente mais altas em naturalidade de áudio ($p < .001$). O formato de diálogo introduziu uma carga cognitiva estranha mais alta, provavelmente devido às variações na qualidade do áudio entre os falantes e as páginas.
  • Preferência: O TTS de Diálogo foi selecionado como o "mais prazeroso para aprender" por 66,9% dos participantes, superando significativamente os outros formatos.

Principais Contribuições

1. Arquitetura do Sistema: Um fluxo de trabalho prático de três estágios com humano no ciclo que equilibra a automação do LLM com o controle de qualidade do educador, especificamente projetado para gerar roteiros otimizados para TTS.
2. Metodologia Inovadora: O estabelecimento de um método automatizado de geração de diálogo Especialista-×-Novato inspirado na teoria da aprendizagem cognitiva, adaptado para a auditividade do TTS.
3. Evidência Empírica: O primeiro estudo a integrar automação de LLM, aceitabilidade de áudio TTS e design de formato de diálogo em um cenário quase-experimental com alunos reais. Ele fornece evidências de que o TTS baseado em diálogo pode melhorar a compreensão e o engajamento, apesar dos potenciais compromissos na qualidade do áudio.

Significância e Alegações
O artigo afirma fornecer uma base teórica e empírica para a aceitabilidade educacional do áudio TTS e princípios de design específicos para formatos de lições via TTS.

• Demonstra que o áudio TTS não degrada inerentemente a aprendizagem em comparação com a voz humana, reduzindo a barreira para a produção de conteúdo.
• Sugere que aproveitar a flexibilidade do TTS para criar lições baseadas em diálogo pode melhorar a autocompreensão e o engajamento cognitivo, desde que os compromissos de qualidade de áudio sejam gerenciados.
• Os autores declaram explicitamente que estes achados baseiam-se em um quase-experimento com restrições de ordem fixa e conteúdo variável. Portanto, não reivindicam efeitos causais definitivos do formato da lição isoladamente, mas oferecem implicações de design e padrões observados. Eles enfatizam que trabalhos futuros exigem designs de crossover randomizados e testes de aprendizagem objetivos para confirmar as relações causais.