A Survey of Automated Presentation Coaching: Systems, Methods, and Open Challenges

Resumen Técnico: Una Encuesta sobre el Entrenamiento Automatizado de Presentaciones

Planteamiento del Problema
El entrenamiento automatizado para presentaciones orales opera en la intersección del Entrenamiento de Pronunciación Asistido por Computadora (CAPT, por sus siglas en inglés), el modelado de la prosodia y la síntesis de voz. A pesar del progreso significativo en estas tecnologías subyacentes durante las últimas dos décadas, el campo carece de un marco unificado para sistematizar, categorizar y comparar los sistemas existentes. La investigación actual está fragmentada, abordando a menudo aspectos aislados del habla (por ejemplo, la precisión segmentaria o la fluidez general) sin una visión holística de las demandas específicas de las presentaciones técnicas y académicas. Además, existe una desconexión entre los prototipos de investigación y el despliegue en la industria, así como una escasez de corpora anotados que capturen la naturaleza de larga duración y alineada con diapositivas de las presentaciones con diversos trasfondos de L1 (primera lengua).

Metodología
Los autores realizaron una búsqueda bibliográfica sistemática en las principales bases de datos (ACL Anthology, IEEE Xplore, ISCA Archive, Google Scholar, Semantic Scholar) cubriendo publicaciones desde 1997 hasta 2025. La búsqueda utilizó palabras clave como "entrenamiento de presentaciones", "entrenamiento de pronunciación", "CAPT" y "evaluación de la prosodia". La revisión se centró en 15 sistemas representativos y aproximadamente 50 referencias de apoyo, excluyendo estudios que abordaban únicamente el entrenamiento visual/gestual sin componentes de habla o artículos de ASR/TTS de propósito general.

La contribución metodológica central es la construcción de una taxonomía de tareas de cinco dimensiones diseñada para organizar las habilidades de presentación basadas en la naturaleza de la retroalimentación requerida y los métodos disponibles para la evaluación:

1. Pronunciación (Segmental): Corrección a nivel de fonema y palabra, incluyendo terminología técnica.
2. Acento Léxico: Prominencia silábica en palabras multisilábicas.
3. Prosodia (Suprasegmental): Entonación (F0), fraseo, ritmo y contornos de intensidad.
4. Ritmo (Pacing): Palabras por minuto (WPM), tasa de articulación y colocación de pausas en relación con la puntuación y los límites de las diapositivas.
5. Fidelidad del Contenido: Cobertura de contenido clave, señalando palabras clave faltantes u omisiones por diapositiva.

La encuesta mapea los sistemas existentes en esta taxonomía, analiza sus requisitos de entrada/salida (por ejemplo, la necesidad de guiones alineados con diapositivas, clips de inscripción para la clonación de voz) y revisa los métodos técnicos centrales que emplean, específicamente la generación de ejemplares basada en TTS y los enfoques de diagnóstico.

Contribuciones Clave

1. Taxonomía y Mapeo: El artículo introduce la taxonomía de cinco dimensiones y mapea explícitamente los sistemas encuestados en ella. Esto revela brechas de cobertura significativas: el acento léxico y la fidelidad del contenido son las dimensiones menos abordadas. Mientras que muchos sistemas cubren la pronunciación y la prosodia, pocos abordan las necesidades estructurales específicas de las presentaciones (por ejemplo, el ritmo alineado con las diapositivas).
2. Categorización Sistemática: Los sistemas existentes se categorizan en cuatro grupos:
   • Sistemas de pronunciación basados en CAPT (enfocados en palabras aisladas o frases cortas).
   • Entrenadores de fluidez y prosodia (enfocados en la calidad suprasegmental).
   • Entrenadores multimodales (integrando mirada, gesto y habla).
   • Entrenadores de Q&A e interacción (aprovechando LLMs para la práctica interactiva).
     El análisis muestra que ningún sistema existente abarca las cinco dimensiones de la taxonomía. El sistema más reciente, PresentCoach (Chen et al., 2025), cubre cuatro dimensiones pero aún omite el acento léxico.
3. Revisión Técnica: El artículo detalla los métodos centrales que sustentan estos sistemas:
   • Generación de Ejemplares: Utilizando modelos modernos de TTS neural (por ejemplo, modelos de flow-matching como F5-TTS, CosyVoice 2) para un control de tasa, inserción de pausas y transferencia de voz zero-shot para generar audio de referencia personalizado.
   • Diagnósticos: Revisión de métodos que incluyen puntuaciones de Goodness of Pronunciation (GOP), alineación basada en CTC, representaciones auto-supervisadas (wav2vec 2.0, HuBERT) y técnicas de "clonar y comparar" que sintetizan una versión idealizada de la voz del estudiante para aislar errores prosódicos.
4. Marco de Evaluación: Los autores consolidan métricas de evaluación alineadas con las cinco dimensiones (por ejemplo, F1 de fonema/palabra para lo segmental, RMSE de Log-F0 para la prosodia, WER para la fidelidad) e identifican la falta de un estándar de referencia (benchmark). Observan que ningún corpus proporciona simultáneamente habla L2, estructura de presentación de larga duración, etiquetas de acento y anotaciones prosódicas.

Resultados y Hallazgos

• Brechas de Cobertura: El acento léxico es casi totalmente ignorado por los sistemas existentes a pesar de su impacto documentado en la comprensibilidad de L2. La fidelidad del contenido también está insuficientemente abordada, con pocos sistemas que verifiquen la falta de palabras clave específicas del dominio frente al contenido de la diapositiva.
• Limitaciones de Tiempo Real: La retroalimentación en tiempo real es rara; solo dos de los 15 sistemas encuestados proporcionan retroalimentación durante la sesión. La mayoría de los sistemas operan post-hoc.
• Escasez de Datos: Los principales corpora (por ejemplo, LibriSpeech, TED-LIUM) no están diseñados para el entrenamiento de L2 o carecen de estructura de diapositivas. Recursos más nuevos como Speak & Improve ofrecen habla L2 espontánea pero carecen de anotaciones específicas de presentaciones.
• Brecha entre Investigación e Industria: Las plataformas comerciales (por ejemplo, ELSA Speak, Yoodli) típicamente abordan solo una o dos dimensiones y rara vez publican detalles técnicos, lo que dificulta la comparación sistemática. La investigación académica a menudo no aborda las restricciones de despliegue como la heterogeneidad de dispositivos y el ruido.

Significancia y Reivindicaciones
El artículo sostiene que su principal significancia radica en proporcionar la primera encuesta unificada que cataloga y compara los sistemas de entrenamiento de presentaciones automatizados a lo largo de un marco estructurado y multidimensional. Al mapear los sistemas a la taxonomía, los autores exponen brechas críticas en el estado del arte, específicamente la falta de sistemas integrados que manejen el acento léxico y la fidelidad del contenido simultáneamente con la pronunciación y la prosodia.

Los autores afirman modestamente que su trabajo sirve como referencia para los investigadores que desarrollan la próxima generación de sistemas de entrenamiento integrados y basados en evidencia. Enfatizan que, si bien los componentes individuales (diagnóstico, TTS, modelado de prosodia) han madurado, el desafío sigue siendo integrarlos en sistemas desplegables y en tiempo real que sean justos para diversos trasfondos de L1 y estén fundamentados en la estructura específica de las presentaciones académicas. El artículo hace un llamado a esfuerzos comunitarios para crear estándares de referencia (por ejemplo, mini-sets de presentaciones con marcadores de diapositivas y diversos acentos) y a una colaboración más estrecha entre la investigación y la industria para cerrar la brecha entre los métodos teóricos y el despliegue práctico.