Audio-Based Understanding of Audiobook Narration Appeal

Resumen Técnico: Comprensión de la Atracción de la Narración de Audiolibros Basada en el Audio

Planteamiento del Problema
La narración es un componente central de la experiencia de escucha de audiolibros, capaz de elevar o socavar el compromiso del oyente. Mientras que plataformas como Spotify y Audible enfrentan desafíos para distinguir entre múltiples grabaciones de un mismo título y comprender qué estilos de narración resultan atractivos para géneros o usuarios específicos, la investigación existente carece de un análisis computacional sistemático y a gran escala que vincule las cualidades de la narración con el consumo en el mundo real. Los trabajos previos se han centrado en conjuntos de datos pequeños, habla sintética o encuestas cualitativas, sin abordar cómo las características acústicas interactúan con el género y el título a través de diversas grabaciones. Además, los datos de interacción usuario-ítem en audiolibros son escasos en comparación con la música, ya que los libros rara vez se vuelven a reproducir, lo que requiere un modelado sofisticado tanto del contenido como del estilo de narración para mejorar los sistemas de recomendación y personalización.

Metodología
Los autores realizaron un estudio computacional utilizando un conjunto de datos amplio y públicamente disponible de LibriVox, que comprende 8.854 audiolibros en inglés leídos por 1.206 narradores en 65 géneros. Para garantizar la reproducibilidad y la transparencia, el estudio utilizó la "tasa de visualización" (vistas de página normalizadas por los días transcurridos desde la publicación) como un indicador de la atracción, reconociendo sus limitaciones respecto al sesgo de finalización de la escucha y la duración.

La metodología consistió en tres etapas principales:

1. Extracción de Características: Las grabaciones de audio se segmentaron en intervalos de 30 segundos (hasta 20 por libro). Los autores extrajeron 129 características acústicas y vocales interpretables utilizando modelos preentrenados:
   • eGeMAPSv02: 84 características funcionales derivadas de descriptores de bajo nivel (frecuencia, energía, espectral, tempo) a través de openSMILE.
   • YAMNet: 34 características que representan eventos de audio (habla, música, efectos de sonido, calidad de grabación) agregadas a partir de 521 puntuaciones de clasificación.
   • whisper-tiny: 11 características derivadas de las transcripciones, incluyendo tasas de palabras/sílabas y duración.
2. Modelado Estadístico:
   • Modelado Global: Se ajustó un Modelo Lineal Generalizado (GLM) para evaluar la relación entre las características acústicas y la tasa de visualización, controlando la multicolinealidad mediante la poda por Factor de Inflación de la Varianza (VIF).
   • Modelado Específico por Género: Se entrenaron GLM separados por género para identificar cómo varían las correlaciones acústicas de la atracción entre diferentes categorías.
   • Modelado Intra-Título: Se empleó un modelo de Efectos Mixtos Lineales (LME) con interceptos aleatorios para "grupos de libros" (diferentes grabaciones del mismo texto) para desentrañar la variabilidad impulsada por el título de las influencias acústicas.
3. Modelado Predictivo:
   • Clasificación: Las tasas de visualización se dividieron en cuartiles para convertir la tarea en una clasificación. Se entrenaron cuatro clasificadores superficiales (Regresión Logística, SVM, XGBoost, MLP) para predecir los cuartiles de atracción utilizando características acústicas, géneros o una combinación de ambos.
   • Ranking: Para evaluar la capacidad de clasificar diferentes narraciones del mismo título, se entrenaron modelos de árboles potenciados (XGBRanker, LGBMRanker) para predecir los rankings dentro de un mismo título basados en características acústicas. El rendimiento se midió utilizando el coeficiente de correlación de rango de Kendall ($\tau$).
4. Validación: Para evaluar la robustez, los autores repitieron análisis clave en un subconjunto de 3.428 audiolibros alojados en Spotify, reemplazando la métrica gruesa de tasa de visualización por una "tasa de retorno" granular (proporción de usuarios distintos que regresan en un plazo de 14 días).

Resultos Clave

• Asociación Estadística: A pesar de la naturaleza imprecisa de los datos de LibriVox y la calidad variable de la grabación, las características acústicas por sí solas explicaron una parte medible de la varianza de la atracción (pseudo-$R^2$ del GLM Global = 0.09). Treinta y una características acústicas mostraron efectos estadísticamente significativos. Notablemente, la variación en el shimmer vocal (asociada con la disonancia o falta de regularidad, relacionada con la voz susurrante) tuvo un efecto positivo, mientras que un mayor flujo espectral (vinculado al género percibido) tuvo un efecto negativo.
• Matices de Género y Título: La influencia de las características acústicas varió significativamente según el género. Por ejemplo, el shimmer vocal fue un fuerte predictor positivo en el Romance, pero insignificante en la Historia, donde el índice de Hammarberg (esfuerzo vocal/emoción) fue el factor dominante.
• Impacto Intra-Título: La variación en la atracción a través de diferentes narraciones del mismo título fue casi tan grande como la variación entre diferentes títulos (0.52 vs. 0.54), lo que subraya que el estilo de narración contribuye al compromiso a una escala comparable a las diferencias de contenido. El modelo LME superó significativamente al GLM global (diferencia de AIC de 210), confirmando la necesidad de modelar los sesgos del título.
• Poder Predictivo: Los modelos de clasificación que utilizan características acústicas alcanzaron una precisión de hasta 0.35 (comparado con una línea base aleatoria de 0.25), superando a los modelos de solo género. La combinación de características acústicas con géneros produjo el mejor rendimiento. Los modelos de ranking demostraron una capacidad estadísticamente significativa para ordenar las narraciones del mismo título mejor que el azar, con un $\tau$ de Kendall que alcanzó aproximadamente 0.28 cuando se utilizó la métrica de retorno de Spotify.
• Robustez: Los hallazgos se reforzaron utilizando la métrica de retorno de Spotify, la cual arrojó un ajuste de modelo más alto ($R^2$ = 0.16) y correlaciones de ranking más fuertes, lo que sugiere que las características de audio están más fuertemente asociadas con el compromiso cuando se controla la exposición.

Significancia y Reivindicaciones
Los autores afirman que este es el primer estudio computacional sistemático que vincula las cualidades de la narración, el género, el título y el consumo de audiolibros en el mundo real a gran escala. El estudio demuestra que la información acústica por sí sola tiene una asociación robusta con la atracción de los audiolibros, incluso después de considerar los efectos del título y utilizar datos de consumo limitados.

El artículo postula que estos hallazgos resaltan el potencial de los conocimientos basados en datos para mejorar la personalización de los audiolibros y la selección de narradores (casting). Al establecer que las propiedades vocales y acústicas medibles contribuyen al compromiso del oyente más allá de los factores a nivel de contenido, el trabajo proporciona una base para emparejar la voz adecuada con el libro adecuado y el libro adecuado con el oyente adecuado. Los autores mantienen la modestia respecto a los impulsores causales específicos debido a las correlaciones de las características y las limitaciones del conjunto de datos, pero afirman que los resultados ofrecen evidencia convergente sobre la importancia de las características paralingüísticas en el ecosistema de los audiolibros.