Exploring How Audio Effects Alter Emotion with Foundation Models

Resumen Técnico: Explorando cómo los Efectos de Audio Alteran la Emoción con Modelos Fundacionales

Enunciado del Problema
Si bien investigaciones anteriores han mapeado extensamente las características de audio de bajo nivel (por ejemplo, tempo, tono, timbre) y las condiciones ambientales hacia la percepción emocional, el impacto sistemático de los efectos de audio intencionales (FX)—tales como reverberación, distorsión, modulación y procesamiento del rango dinámico—sobre las respuestas emocionales permanece poco explorado. Los FX de audio son centrales en la producción musical contemporánea para modular el impacto estético y emocional, sin embargo, ningún estudio integral ha investigado sistemáticamente cómo estos efectos, individualmente o en combinación, alteran la percepción emocional. Además, la robustez de los modelos fundacionales a gran escala frente a estas manipulaciones específicas de diseño sonoro no está bien comprendida.

Metodología
Los autores aprovecharon tres modelos fundacionales de última generación para analizar la relación entre los FX de audio y la emoción estimada:

1. MERT-v1-330M: Un modelo específico de música entrenado con 160.000 horas de audio utilizando modelado de lenguaje enmascarado.
2. CLAP: Un modelo de doble codificador (audio-texto) entrenado mediante aprendizaje contrastivo para la generalización de cero disparos (zero-shot).
3. Qwen2-Audio-7B: Un modelo multimodal grande entrenado con habla, música y audio ambiental.

El estudio utilizó tres conjuntos de datos con anotaciones emocionales diversas: EMOPIA (emociones categóricas en piano pop), DEAM (valencia-arousal continuos) y witheFlow (etiquetas tanto dimensionales como categóricas).

Para sondear los modelos, los autores aplicaron seis FX de audio comunes (Coro, Distorsión, Phaser, EQ, Delay, Reverb) en niveles de intensidad variables (1–10) al audio de entrada. Emplearon un enfoque de "sondeo" donde los modelos fundacionales sirvieron como espaldas congeladas, y clasificadores superficiales e interpretables (XGBRegressor para regresión, XGBClassifier para clasificación) fueron entrenados sobre los incrustados extraídos para predecir etiquetas o dimensiones emocionales.

La investigación procedió a través de cuatro fases experimentales:

• Impacto en el Rendimiento: Medición de los cambios en la precisión del modelo (MSE, puntuación F1) a medida que aumentaba la intensidad de los FX.
• Desplazamientos de Predicción: Análisis de los cambios en las etiquetas emocionales predichas y las dimensiones (por ejemplo, desplazamientos entre Ira vs. Calma).
• Alteraciones del Espacio de Incrustaciones: Uso de reducción de dimensionalidad UMAP para visualizar cómo los FX de audio remodelan las representaciones latentes internas de los modelos.
• Escenarios del Mundo Real: Prueba de cadenas de FX curadas que imitan a artistas icónicos (Pink Floyd, U2, Rage Against the Machine) para observar los efectos acumulativos.

Resultados Clave

• Degradación del Rendimiento: La aplicación de efectos de audio generalmente condujo a una disminución en el rendimiento del modelo en todas las tareas. La Distorsión y el Phaser indujeron los descensos de rendimiento más significativos, con una degradación que se volvió más pronunciada a medida que aumentaba la intensidad de los FX.
• Desplazamientos en la Predicción Emocional:
  • Distorsión: Aumentó consistentemente las predicciones de Ira y disminuyó la Calma en todos los modelos.
  • Coro y Delay: Introdujeron una mayor variabilidad en las predicciones. Específicamente, aumentar el Coro potenció la Calma en CLAP y MERT, mientras que aumentar el Delay elevó la Ira en CLAP y Qwen.
• Sensibilidad de las Incrustaciones:
  • CLAP: Exhibió grandes desplazamientos estructurados en el espacio de incrustaciones, particularmente para Delay, Coro y Distorsión, lo que indica una alta sensibilidad a las manipulaciones timbrales.
  • Qwen: Mostró desplazamientos de trayectoria notables pero menos consistentes.
  • MERT: Permaneció relativamente estable en todos los niveles de efectos, sugiriendo robustez probablemente debida a su entrenamiento específico de música.
• Cadenas del Mundo Real: Las cadenas de FX acumulativas (por ejemplo, distorsión pesada o efectos espaciales) produjeron desplazamientos más grandes y coherentes en el espacio de incrustaciones en comparación con los efectos aislados. Las trayectorias fueron a menudo unidireccionales para cadenas con mucha distorsión, reflejando una conformación espectral uniforme.

Significado y Contribuciones
El artículo afirma avanzar en la comprensión del impacto perceptual de las prácticas de producción de audio al demostrar que los modelos fundacionales codifican asociaciones ricas entre la estructura musical, el timbre y el significado afectivo. Al aplicar métodos de sondeo a estos modelos, los autores descubren relaciones complejas y no lineales entre los FX de audio y la emoción estimada.

El estudio establece que:

1. Los FX de audio alteran sistemáticamente la percepción emocional de maneras que pueden cuantificarse mediante incrustaciones de modelos fundacionales.
2. Diferentes modelos fundacionales exhiben diversos grados de robustez frente a estas manipulaciones, mostrando MERT una mayor estabilidad que CLAP o Qwen.
3. La magnitud y la estructura de los desplazamientos en el espacio latente sirven como métricas para cuantificar el impacto emocional del diseño sonoro, siendo las cadenas de producción del mundo real las que generan los efectos más pronunciados.

Estos hallazgos ofrecen un marco para sondear las consecuencias emocionales de las técnicas de diseño sonoro, con implicaciones para la cognición musical, el análisis de rendimiento y la computación afectiva. Los autores señalan que el trabajo futuro implicará investigar aplicaciones simultáneas de múltiples efectos, expandirse a conjuntos de datos adicionales y comparar estos hallazgos con sistemas clásicos basados en características y la verdad fundamental humana.