Exploring How Audio Effects Alter Emotion with Foundation Models

Resumo Técnico: Explorando como Efeitos de Áudio Alteram a Emoção com Modelos Fundamentais

Declaração do Problema
Embora pesquisas anteriores tenham mapeado extensivamente características de áudio de baixo nível (por exemplo, andamento, altura, timbre) e condições ambientais para a percepção emocional, o impacto sistemático de efeitos de áudio intencionais (FX)—como reverberação, distorção, modulação e processamento de faixa dinâmica—sobre as respostas emocionais permanece pouco explorado. Os FX de áudio são centrais na produção musical contemporânea para modular o impacto estético e emocional, contudo, nenhum estudo abrangente investigou sistematicamente como esses efeitos, individualmente ou em combinação, alteram a percepção emocional. Além disso, a robustez de modelos fundamentais em larga escala a essas manipulações específicas de design sonoro não é bem compreendida.

Metodologia
Os autores aproveitaram três modelos fundamentais de última geração para analisar a relação entre FX de áudio e a emoção estimada:

1. MERT-v1-330M: Um modelo específico de música treinado em 160.000 horas de áudio usando modelagem de linguagem mascarada.
2. CLAP: Um modelo de codificador duplo (áudio-texto) treinado em aprendizado contrastivo para generalização zero-shot.
3. Qwen2-Audio-7B: Um grande modelo multimodal treinado em fala, música e áudio ambiental.

O estudo utilizou três conjuntos de dados com anotações emocionais diversas: EMOPIA (emoções categóricas em piano pop), DEAM (valência-arousal contínuos) e witheFlow (tags tanto dimensionais quanto categóricas).

Para sondar os modelos, os autores aplicaram seis FX de áudio comuns (Chorus, Distorção, Phaser, EQ, Delay, Reverb) em níveis de intensidade variados (1–10) ao áudio de entrada. Eles empregaram uma abordagem de "sondagem" onde os modelos fundamentais serviram como backbones congelados, e classificadores rasos e interpretáveis (XGBRegressor para regressão, XGBClassifier para classificação) foram treinados nos embeddings extraídos para prever rótulos ou dimensões emocionais.

A investigação prosseguiu através de quatro fases experimentais:

• Impacto no Desempenho: Medição das mudanças na acurácia do modelo (MSE, F1-score) à medida que a intensidade do FX aumentava.
• Mudanças na Previsão: Análise das mudanças nos rótulos emocionais e dimensões previstos (por exemplo, deslocamentos entre Raiva vs. Calma).
• Alterações no Espaço de Embedding: Uso de redução de dimensionalidade UMAP para visualizar como os FX de áudio remodelam as representações latentes internas dos modelos.
• Cenários do Mundo Real: Teste de cadeias de FX curadas imitando artistas icônicos (Pink Floyd, U2, Rage Against the Machine) para observar efeitos cumulativos.

Principais Resultados

• Degradação do Desempenho: A aplicação de efeitos de áudio geralmente levou a uma diminuição no desempenho do modelo em todas as tarefas. Distorção e Phaser induziram os declínios de desempenho mais significativos, com a degradação tornando-se mais pronunciada à medida que a intensidade do FX aumentava.
• Mudanças na Previsão Emocional:
  • Distorção: Aumentou consistentemente as previsões de Raiva e diminuiu a Calma em todos os modelos.
  • Chorus e Delay: Introduziram maior variabilidade nas previsões. Especificamente, o aumento do Chorus elevou a Calma no CLAP e no MERT, enquanto o aumento do Delay elevou a Raiva no CLAP e no Qwen.
• Sensibilidade do Embedding:
  • CLAP: Apresentou grandes deslocamentos estruturados no espaço de embedding, particularmente para Delay, Chorus e Distorção, indicando alta sensibilidade a manipulações timbrais.
  • Qwen: Mostrou deslocamentos de trajetória perceptíveis, mas menos consistentes.
  • MERT: Permaneceu relativamente estável em todos os níveis de efeito, sugerindo robustez provavelmente devido ao seu treinamento específico para música.
• Cadeias do Mundo Real: Cadeias cumulativas de FX (por exemplo, distorção pesada ou efeitos espaciais) produziram deslocamentos maiores e mais coerentes no espaço de embedding em comparação com efeitos isolados. As trajetórias eram frequentemente unidirecionais para cadeias ricas em distorção, refletindo um modelamento espectral uniforme.

Significado e Contribuições
O artigo afirma avançar a compreensão do impacto perceptual das práticas de produção de áudio ao demonstrar que modelos fundamentais codificam associações ricas entre estrutura musical, timbre e significado afetivo. Ao aplicar métodos de sondagem a esses modelos, os autores descobrem relações complexas e não lineares entre FX de áudio e emoção estimada.

O estudo estabelece que:

1. FX de áudio alteram sistematicamente a percepção emocional de maneiras que podem ser quantificadas via embeddings de modelos fundamentais.
2. Diferentes modelos fundamentais exibem graus variados de robustez a essas manipulações, com o MERT mostrando maior estabilidade do que o CLAP ou o Qwen.
3. A magnitude e a estrutura dos deslocamentos no espaço latente servem como métricas para quantificar o impacto emocional do design sonoro, com cadeias de produção do mundo real gerando os efeitos mais pronunciados.

Essas descobertas oferecem uma estrutura para sondar as consequências emocionais de técnicas de design sonoro, com implicações para a cognição musical, análise de performance e computação afetiva. Os autores observam que trabalhos futuros envolverão a investigação de aplicações simultâneas de múltiplos efeitos, expansão para conjuntos de dados adicionais e a comparação dessas descobertas contra sistemas clássicos baseados em características e a verdade fundamental humana.