A Survey of Automated Presentation Coaching: Systems, Methods, and Open Challenges

Resumo Técnico: Um Levantamento sobre o Treinamento Automatizado de Apresentações

Definição do Problema
O treinamento automatizado para apresentações orais opera na interseção entre o Treinamento de Pronúncia Assistido por Computador (CAPT), modelagem de prosódia e síntese de fala. Apesar do progresso significativo nessas tecnologias subjacentes ao longo das últimas duas décadas, a área carece de um framework unificado para sistematizar, categorizar e comparar os sistemas existentes. A pesquisa atual é fragmentada, abordando frequentemente aspectos isolados da fala (por exemplo, precisão segmentar ou fluência geral) sem uma visão holística das demandas específicas de apresentações técnicas e acadêmicas. Além disso, há um descompasso entre protótipos de pesquisa e a implementação na indústria, bem como uma escassez de corpora anotados que capturem a natureza de longa duração e alinhada a slides das apresentações com diversos históricos de L1 (primeira língua).

Metodologia
Os autores realizaram uma busca sistemática na literatura em grandes bases de dados (ACL Anthology, IEEE Xplore, ISCA Archive, Google Scholar, Semantic Scholar) abrangendo publicações de 1997 a 2025. A busca utilizou palavras-chave como "presentation coaching", "pronunciation training", "CAPT" e "prosody assessment". A revisão focou em 15 sistemas representativos e aproximadamente 50 referências de apoio, excluindo estudos que abordavam apenas o treinamento visual/gestual sem componentes de fala ou artigos de ASR/TTS de propósito geral.

A principal contribuição metodológica é a construção de uma taxonomia de tarefas de cinco dimensões, projetada para organizar as habilidades de apresentação com base na natureza do feedback exigido e nos métodos disponíveis para avaliação:

1. Pronúncia (Segmentar): Correção ao nível de fonema e palavra, incluindo terminologia técnica.
2. Acento Lexical: Proeminência silábica em palavras multissilábicas.
3. Prosódia (Suprassegmental): Entonação (F0), fraseamento, ritmo e contornos de intensidade.
4. Ritmo (Pacing): Palavras por minuto (WPM), taxa de articulação e posicionamento de pausas em relação à pontuação e aos limites dos slides.
5. Fidelidade de Conteúdo: Cobertura de conteúdo chave, sinalizando palavras-chave ausentes ou omissões por slide.

O levantamento mapeia os sistemas existentes nesta taxonomia, analisa seus requisitos de entrada/saída (por exemplo, necessidade de roteiros alinhados aos slides, clipes de inscrição para clonagem de voz) e revisa os principais métodos técnicos que eles empregam, especificamente a geração de exemplares baseada em TTS e as abordagens diagnósticas.

Principais Contribuições

1. Taxonomia e Mapeamento: O artigo introduz a taxonomia de cinco dimensões e mapeia explicitamente os sistemas pesquisados a ela. Isso revela lacunas significativas de cobertura: acento lexical e fidelidade de conteúdo são as dimensões menos abordadas. Embora muitos sistemas cubram pronúncia e prosódia, poucos abordam as necessidades estruturais específicas de apresentações (por exemplo, ritmo alinhado aos slides).
2. Categorização Sistemática: Os sistemas existentes são categorizados em quatro grupos:
   • Sistemas de pronúncia baseados em CAPT (focados em palavras isoladas/frases curtas).
   • Coaches de fluência e prosódia (focados na qualidade suprassegmental).
   • Treinadores multimodais (integrando olhar, gesto e fala).
   • Coaches de Q&A (perguntas e respostas) e interação (utilizando LLMs para prática interativa).
     A análise mostra que nenhum sistema existente abrange todas as cinco dimensões da taxonomia. O sistema mais recente, PresentCoach (Chen et al., 2025), cobre quatro dimensões, mas ainda omite o acento lexical.
3. Revisão Técnica: O artigo detalha os principais métodos que sustentam esses sistemas:
   • Geração de Exemplares: Utilizando modelos modernos de neural TTS (por exemplo, modelos de flow-matching como F5-TTS, CosyVoice 2) para controle de taxa, inserção de pausas e transferência de voz zero-shot para gerar áudio de referência personalizado.
   • Diagnósticos: Revisão de métodos incluindo pontuações de Goodness of Pronunciation (GOP), alinhamento baseado em CTC, representações autossupervisionadas (wav2vec 2.0, HuBERT) e técnicas de "clonar e comparar" que sintetizam uma versão idealizada da voz do aluno para isolar erros prosódicos.
4. Framework de Avaliação: Os autores consolidam métricas de avaliação alinhadas às cinco dimensões (por exemplo, F1 de Fonema/Palavra para segmentar, Log-F0 RMSE para prosódia, WER para fidelidade) e identificam a falta de um benchmark padronizado. Eles observam que nenhum corpus existente fornece simultaneamente fala L2, estrutura de apresentação de longa duração, rótulos de sotaque e anotações prosódicas.

Resultados e Descobertas

• Lacunas de Cobertura: O acento lexical é quase inteiramente negligenciado pelos sistemas existentes, apesar de seu impacto documentado na compreensibilidade da L2. A fidelidade de conteúdo também é pouco abordada, com poucos sistemas verificando a ausência de palavras-chave específicas do domínio em relação ao conteúdo dos slides.
• Limitações de Tempo Real: O feedback em tempo real é raro; apenas dois dos 15 sistemas pesquisados fornecem feedback durante a sessão. A maioria dos sistemas opera post-hoc.
• Escassez de Dados: Os principais corpora (por exemplo, LibriSpeech, TED-LIUM) não foram projetados para coaching de L2 ou carecem de estrutura de slides. Recursos mais novos como Speak & Improve oferecem fala L2 espontânea, mas carecem de anotações específicas de apresentação.
• Gap Pesquisa-Indústria: Plataformas comerciais (por exemplo, ELSA Speak, Yoodli) geralmente abordam apenas uma ou duas dimensões e raramente publicam detalhes técnicos, dificultando a comparação sistemática. A pesquisa acadêmica frequentemente falha em abordar restrições de implementação, como heterogeneidade de dispositivos e ruído.

Significância e Alegações
O artigo afirma que sua principal significância reside em fornecer o primeiro levantamento unificado que cataloga e compara sistemas de treinamento de apresentação automatizado ao longo de um framework estruturado e multidimensional. Ao mapear os sistemas para a taxonomia, os autores expõem lacunas críticas no estado da arte, especificamente a falta de sistemas integrados que lidem com acento lexical e fidelidade de conteúdo simultaneamente com pronúncia e prosódia.

Os autores afirmam modestamente que seu trabalho serve como uma referência para pesquisadores que desenvolvem a próxima geração de sistemas de treinamento integrados e baseados em evidências. Eles enfatizam que, embora os componentes individuais (diagnósticos, TTS, modelagem de prosódia) tenham amadurecido, o desafio permanece em integrá-los em sistemas implantáveis e em tempo real que sejam justos para diversos históricos de L1 e fundamentados na estrutura específica de apresentações acadêmicas. O artigo faz um apelo para esforços comunitários na criação de benchmarks padronizados (por exemplo, mini-conjuntos de apresentações com marcadores de slides e diversos sotaques) e para uma colaboração mais próxima entre pesquisa e indústria para preencher a lacuna entre métodos teóricos e implementação prática.