⚡ electrical engineering

Computational Narrative Understanding for Expressive Text-to-Speech

Este artículo presenta LibriQuote, un conjunto de datos a gran escala de 5.300 horas extraído de citas de personajes en audiolibros que, al ser utilizado para el ajuste fino o el entrenamiento desde cero de modelos de texto a voz, mejora significativamente la expresividad y la inteligibilidad del habla generada.

Autores originales: Gaspard Michel, Elena V. Epure, Christophe Cerisara

Publicado 2026-04-22

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Gaspard Michel, Elena V. Epure, Christophe Cerisara

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que leer un libro en voz alta es como actuar en una obra de teatro. Cuando un narrador lee una historia, tiene dos modos principales:

El Narrador Neutral: Es como un presentador de noticias. Cuenta los hechos, describe el paisaje o explica qué pasa. Su voz es tranquila, plana y constante.
El Personaje Expresivo: Es cuando el narrador se convierte en el personaje. Si el personaje está enojado, la voz se vuelve fuerte y áspera; si está susurrando un secreto, la voz se vuelve suave y baja; si está llorando, la voz tiembla.

El Problema: Las Máquinas son "Aburridas"

Hasta ahora, las máquinas que leen texto en voz alta (llamadas TTS o Text-to-Speech) han sido muy buenas leyendo como el "Narrador Neutral". Pero cuando intentan leer las partes de los personajes, suenan robóticas y sin vida. Es como si un actor de teatro leyera todo el guion con la misma cara de piedra, sin importar si el personaje está gritando o llorando.

Los investigadores se dieron cuenta de que los libros de audio reales (leídos por humanos) son un tesoro de emociones, pero las máquinas no sabían cómo aprender de ellos porque los datos estaban mezclados y desordenados.

La Solución: "LibriQuote" (El Entrenador de Actores)

Los autores de este paper crearon algo llamado LibriQuote. Piensa en esto como un gimnasio especial para entrenar a robots para que actúen.

¿Qué es? Es una biblioteca gigante de 5.300 horas de audio, pero no de cualquier audio. Solo tomaron las partes donde los personajes hablan (las "citas" o diálogos) y las separaron de la narración aburrida.
El Truco Secreto: No solo dieron el audio a la máquina. También le dieron las "pistas" del libro. Por ejemplo, si el texto dice: "Él susurró suavemente", la máquina recibe el audio de ese susurro y la etiqueta que dice "susurrar suavemente". Es como si un director de cine le dijera al actor: "¡Hazlo susurrando, no grites!".

¿Qué descubrieron? (La Magia)

Cuando entrenaron a las máquinas con este nuevo "gimnasio" (LibriQuote), pasaron cosas increíbles:

Aprendieron a actuar: Las máquinas empezaron a entender que "susurrar" es diferente a "gritar". Ya no sonaban todas igual.
El tipo de entrenamiento importa:
- Si tomaste una máquina que ya sabía hablar bien y le diste solo un poco de este entrenamiento nuevo, mejoró su dicción (se entendía mejor), pero no se volvió muy expresiva.
- Si entrenaste a una máquina desde cero (como un bebé) usando solo estas partes emocionales, ¡se volvió muy dramática y expresiva! Pero a veces, al ser tan dramática, se entendía un poco menos.
- La combinación ganadora: Usar un tipo especial de tecnología (llamada Flow-Matching) y entrenarla con estos datos emocionales fue el "santo grial". La máquina aprendió a ser tanto clara como dramáticamente expresiva.

La Prueba Final: ¿Quién actúa mejor?

Los investigadores hicieron una competencia. Pusieron a varias máquinas modernas a leer estas partes emocionales y las compararon con humanos.

El resultado: La mayoría de las máquinas seguían sonando un poco "planas" o incorrectas.
El ganador: Un modelo llamado IndexTTS2 fue el que más se acercó a la actuación humana, especialmente cuando le dieron el contexto completo del libro (como si el actor leyera la escena completa antes de hablar, en lugar de solo su línea).

En Resumen

Este paper es como decir: "Para que una máquina suene humana y emocional, no basta con darle mil horas de noticias. Necesitamos darle millones de horas de drama, susurros, gritos y risas, y decirle exactamente qué emoción debe sentir en cada momento."

Han creado el primer "libro de texto" gigante para enseñar a las máquinas a ser verdaderos actores de voz, y han compartido todo (los datos y el código) para que otros investigadores puedan seguir mejorando esta tecnología. ¡Es un gran paso para que los audiolibros del futuro suenen como si tuvieras un actor de Hollywood leyendo tu historia en la oreja!

1. Problema y Motivación

A pesar de los avances recientes en los sistemas de Texto a Voz (TTS) impulsados por grandes corpora de habla multirregional, el potencial expresivo de los audiolibros narrados por humanos sigue siendo subestimado. Existe la percepción errónea de que los audiolibros carecen de expresividad en comparación con datos "salvajes" (in-the-wild).

Los autores argumentan que, especialmente en obras de ficción, los audiolibros contienen una rica variedad de claves prosódicas derivadas de la alternancia natural entre:

Narración neutral: Fragmentos enunciados por el narrador.
Diálogos expresivos: Utterances de personajes ficticios que portan emociones, personalidades y estados de ánimo.

Los conjuntos de datos actuales (como LibriSpeech o LibriHeavy) a menudo tratan los segmentos de audio de forma indiscriminada (cortes aleatorios de oraciones), mezclando narración y diálogos, lo que dificulta que los modelos aprendan a distinguir y generar estilos expresivos específicos. Además, carecen de información contextual narrativa (verbos de habla y adverbios) que indica cómo debe decirse una frase (ej. "susurró suavemente").

2. Metodología y el Dataset LibriQuote

Para abordar estas limitaciones, el equipo introduce LibriQuote, un nuevo conjunto de datos a gran escala diseñado específicamente para el TTS expresivo.

Creación del Dataset (LibriQuote)

Fuente: Se extrajeron 5.300 horas de habla expresiva (citas de personajes) y 12.700 horas de narración neutral de audiolibros de dominio público (LibriVox), filtrando obras de no ficción.
Segmentación Narrativa: A diferencia de los datasets anteriores, LibriQuote segmenta el audio basándose en la estructura narrativa, separando explícitamente las citas de personajes (expresivas) de la narración (neutral).
Etiquetado Contextual (Pseudo-etiquetas): Utilizando Grandes Modelos de Lenguaje (LLMs), el sistema extrae y valida automáticamente verbos de habla y adverbios del texto narrativo que rodea a la cita (ej. "dijo con ira", "murmuró tímidamente"). Estas actúan como etiquetas contextuales para guiar la expresión.
Estadísticas:
- Entrenamiento: 3.314 hablantes, 2.991 libros.
- Prueba (Test): 15 hablantes no vistos, 7.4 horas de citas, diseñado para evaluar la capacidad de síntesis expresiva en cero-shot (o pocos ejemplos) y la adaptación al contexto.

Experimentos de Entrenamiento

Los autores evaluaron dos arquitecturas principales:

SparkTTS: Un modelo TTS autoregresivo basado en LLM.
F5-TTS: Un sistema TTS no autoregresivo basado en Flow Matching.

Se realizaron experimentos de:

Ajuste fino (Fine-tuning): Sobre modelos preentrenados.
Entrenamiento desde cero (From scratch): Usando solo subsets de LibriQuote.
Uso de contexto: Incluir el texto narrativo circundante como condición adicional para la generación.

3. Contribuciones Clave

LibriQuote: El primer dataset a gran escala que separa explícitamente citas de personajes de la narración y las enriquece con pseudo-etiquetas de intención de habla (verbos/adverbios) extraídas del contexto narrativo.
Análisis de la Efectividad del Entrenamiento:
- Demostraron que el fine-tuning de modelos autoregresivos (SparkTTS) mejora la inteligibilidad pero no necesariamente la expresividad, a menos que se entrena desde cero (lo cual reduce la inteligibilidad por falta de datos).
- Descubrieron que el fine-tuning de modelos basados en Flow Matching (F5-TTS) con el subset expresivo de LibriQuote mejora simultáneamente la expresividad y la inteligibilidad.
Benchmark Desafiante: La creación de LibriQuote-test, un conjunto de evaluación que revela grandes discrepancias entre los sistemas actuales, sirviendo como un estándar difícil para medir el progreso en TTS expresivo.
Evaluación con LALMs: Implementación de una metodología de evaluación utilizando Modelos de Lenguaje Audio-Grande (LALMs) como jueces (Gemini-2.5 Pro) para medir la alineación entre la intención del contexto del libro y la prosodia generada (ContextMOS y Win-Rate).

4. Resultados Principales

Rendimiento de F5-TTS: El ajuste fino de F5-TTS en el subset expresivo ( $Q_f$ ) logró las mayores ganancias en expresividad (ContextMOS de 3.33) manteniendo una buena inteligibilidad, superando a los modelos autoregresivos.
Rendimiento de SparkTTS: El ajuste fino mejoró la inteligibilidad en datos fuera de dominio (in-domain y out-of-domain), pero no mejoró significativamente la expresividad contextual. El entrenamiento desde cero aumentó la expresividad pero degradó la inteligibilidad.
Comparativa de Sistemas (Benchmark):
- IndexTTS2: Fue el modelo que mejor coincidió con la expresividad de la verdad fundamental (Ground Truth), logrando una tasa de victoria (Win-Rate) del 54% contra la referencia humana. Sin embargo, a veces generaba emociones incorrectas si no se usaba el contexto.
- IndexTTS2-Context: Al usar el contexto narrativo para predecir la emoción, mejoró drásticamente la alineación contextual, alcanzando un nivel humano.
- Limitaciones: Incluso los mejores modelos (y los narradores humanos amateurs de LibriVox) a menudo fallan en capturar la emoción correcta o la intensifican demasiado, indicando que el campo aún tiene margen de mejora para igualar a narradores profesionales.
Métricas Objetivas: Se observó que los modelos ajustados con LibriQuote obtienen menores tasas de error de palabra (WER) en datasets de prueba estándar (LibriSpeech-PC, SeedTTS), sugiriendo que el dataset actúa como un "currículo" de alta calidad.

5. Significado e Impacto

Avance en TTS Expresivo: El trabajo demuestra que la comprensión de la narrativa (distinguir entre narrador y personaje, y entender las pistas contextuales) es crucial para generar habla sintética natural y emocionalmente rica.
Recurso para la Humanidades Digitales: LibriQuote ofrece 3 millones de citas con sus correspondientes pistas narrativas, permitiendo nuevos análisis sobre cómo se interpretan los personajes (género, estilo) en la lectura de audiolibros.
Dirección Futura: Sugiere que los sistemas basados en Flow Matching son más adecuados para el ajuste fino con datos expresivos que los autoregresivos tradicionales. Además, destaca la necesidad de filtrar mejor los datos y considerar el contexto narrativo completo para evitar errores de interpretación emocional.
Consideraciones Éticas: Los autores advierten sobre los riesgos de la suplantación de voz y el reemplazo de actores de voz, abogando por un uso responsable y ético de estas tecnologías.

En resumen, el artículo establece que la comprensión computacional de la narrativa es el siguiente paso necesario para superar las limitaciones actuales de los sistemas TTS, permitiendo que las máquinas no solo "hablen", sino que "actúen" con la intención emocional correcta basada en el contexto de la historia.