Music Interpretation and Emotion Perception: A Computational and Neurophysiological Investigation

Resumen Técnico: Interpretación Musical y Percepción Emocional

Planteamiento del Problema
Si bien el análisis musical tradicional suele basarse en la partitura, la investigación moderna enfatiza que las características específicas de la interpretación —como las variaciones de tempo, los cambios dinámicos y la articulación— alteran drásticamente la percepción del oyente. Aunque estudios previos han utilizado electroencefalografía (EEG) y medidas fisiológicas para comprender la percepción emocional, persiste una brecha en la comprensión de cómo configuraciones específicas de interpretación (repertorio, estudios modales diatónicos, improvisación) y niveles de expresividad influyen en la transmisión de la emoción del intérprete al oyente. Además, la aplicación del aprendizaje automático interpretable para analizar las complejas interacciones multimodales entre características de audio, señales neurofisiológicas y percepción emocional en la interpretación musical sigue siendo relativamente inexplorada. Este estudio tiene como objetivo investigar estos factores para profundizar en la comprensión de la interacción entre la expresión emocional y la percepción.

Metodología
El estudio empleó un marco experimental multimodal dentro de un entorno de estudio controlado, involucrando a músicos profesionales, miembros del público y anotadores.

• Participantes y Configuración: El estudio analizó 16 sesiones de grabación con 14 músicos profesionales varones y 2 mujeres (edad media de 52,13 años) tocando una diversa gama de instrumentos (piano, acordeón, saxofón, cuerdas, etc.). Se recopilaron datos de 34 anotadores y 15 miembros del público.
• Procedimiento Experimental: Las sesiones incluyeron cuatro fases: (1) calibración (estado de reposo), (2) repertorio base (estudios modales diatónicos y Greensleeves), (3) repertorio de elección personal, y (4) improvisación (libre y sobre un drone). Los intérpretes ejecutaron las tareas tanto de forma expresiva como no expresiva.
• Adquisición de Datos:
  • Audio: Se capturaron grabaciones de alta fidelidad (24 bits, 48 kHz).
  • Biosignales: Intérpretes y miembros del público portaron dispositivos portátiles que registraban EEG (4 electrodos secos en O1, O2, T3, T4; 250 Hz), ECG y Respuesta Galvánica de la Piel (GSR).
  • Anotaciones: Se realizó una anotación emocional en tiempo real utilizando la Escala Emocional de Música de Ginebra (GEMS-9) para emociones categóricas y el modelo circular de Russell para valencia/activación.
• Técnicas de Análisis:
  • Análisis de Características de Audio: Extracción de 40 características acústicas (espectrales, rítmicas, dinámicas, tonales) mediante la biblioteca Essentia. Se realizaron comparaciones estadísticas (ANOVA, pruebas t) entre las condiciones de interpretación y los niveles de expresividad.
  • Transmisión Emocional: El análisis explícito comparó las etiquetas de intención del intérprete con las etiquetas percibidas por el público. El análisis implícito examinó la alineación neurofisiológica, centrándose específicamente en los cambios de potencia de la banda alfa (8-13 Hz) en las señales de EEG en relación con los estados de reposo.
  • Aprendizaje Automático: Se entrenaron modelos de Árboles de Decisión interpretables con el 80 % de los datos (20 % de prueba) para predecir etiquetas emocionales basadas en características de audio y biosignales. Se construyeron modelos separados para intérpretes y audiencias para identificar la importancia distintiva de las características.

Resultados Clave

• Características Acústicas: Las interpretaciones expresivas e improvisadas exhibieron firmas acústicas únicas en comparación con las interpretaciones no expresivas o de repertorio estricto. Específicamente, la improvisación mostró las pendientes de ataque más altas (ataques de nota más agudos), mientras que las interpretaciones expresivas demostraron valores consistentemente más altos en pendiente de ataque, tasa de inicio y flujo espectral.
• Transmisión Emocional:
  • Explícita: Las etiquetas de emoción asignadas con mayor frecuencia fueron Paz, Tensión y Alegría. Las pruebas de Chi-cuadrado revelaron un desacuerdo significativo entre las intenciones de los intérpretes y las percepciones de los oyentes en las condiciones de "Modos" y "Repertorio No Expresivo". Por el contrario, las condiciones "Expresiva" e "Improvisación" mostraron un alto acuerdo, indicando que la expresividad y la libertad facilitan una comunicación emocional más clara.
  • Implícita: El análisis de EEG mostró que las interpretaciones improvisadas resultaron en la menor disminución de la potencia del ritmo alfa tanto para intérpretes como para audiencias, lo que sugiere un estado de mayor relajación o compromiso neural específico en comparación con otras condiciones.
• Aprendizaje Automático: Los modelos de Árboles de Decisión lograron una alta precisión predictiva (89,8 % para intérpretes, 85,9 % para audiencias). Los modelos revelaron diferencias estructurales en la percepción: los modelos de intérpretes dependían fuertemente de características espectrales y datos neurofisiológicos (cambio alfa), mientras que los modelos de audiencia incorporaron una gama más amplia de factores acústicos, incluida la claridad del pulso y la complejidad espectral. Para la etiqueta "Paz", la baja planitud espectral y el bajo flujo espectral fueron predictores clave para ambos grupos.

Significado y Afirmaciones
El artículo afirma que la expresividad musical juega un papel crítico en la configuración de la percepción del público y el compromiso emocional. El estudio demuestra que las interpretaciones expresivas e improvisadas no solo exhiben características acústicas distintas, sino que también evocan respuestas emocionales más fuertes y conducen a una mayor sincronización neural entre intérprete y audiencia.

El significado de este trabajo radica en su enfoque multimodal, que integra el análisis computacional de audio, la anotación en tiempo real y las medidas neurofisiológicas. Al emplear aprendizaje automático interpretable, el estudio proporciona un marco transparente para comprender cómo características acústicas y neuronales específicas se correlacionan con la percepción emocional. Los hallazgos sugieren que la expresividad mejora la claridad y la transmisión del contenido emocional, validando el uso de métricas conductuales y fisiológicas combinadas para evaluar la transmisión emocional en la música. Los autores concluyen que su marco metodológico ofrece una herramienta robusta para estudiar la expresividad musical, aunque señalan que el trabajo futuro podría expandirse para incluir biosignales adicionales, géneros diversos y arquitecturas de aprendizaje automático más complejas.