Resumo Técnico: Avaliação da Estética de Canções com Atenção Multi-Stem e Modelagem de Incerteza Hierárquica

1. Definição do Problema

A rápida expansão de conteúdo musical impulsionada pela IA generativa tornou a triagem manual de qualidade e a avaliação estética impraticáveis, criando uma necessidade urgente de sistemas automatizados. Embora pesquisas existentes tenham feito progressos na qualidade da fala, da canção isolada e de atributos musicais específicos (ex: timbre, memorabilidade), a avaliação da estética de canções completas permanece subexplorada.

As abordagens atuais enfrentam duas limitações primárias quando aplicadas a canções completas:

1. Complexidade Musical: Diferente da fala ou do canto isolado, uma canção é composta por estames (stems) vocais e de acompanhamento entrelaçados. A qualidade estética depende não apenas da performance vocal, mas também do arranjo, estrutura melódica e produção. A transferência de frameworks focados em fala falha em capturar essas interações complexas entre estames.
2. Incerteza de Avaliação: Modelos convencionais preveem diretamente um Mean Opinion Score (MOS) preciso. Isso contradiz o comportamento de especialistas humanos, que tipicamente seguem um processo de grosso para fino: especialistas primeiro estimam um intervalo de pontuação aproximado sob incerteza subjetiva antes de refiná-lo para uma pontuação precisa. A regressão direta tem dificuldade em capturar essas nuances, levando à instabilidade e redução da precisão.

2. Metodologia

O artigo propõe um novo framework projetado especificamente para a estética de canções completas, apresentando dois módulos principais: Multi-Stem Attention Fusion (MSAF) e Hierarchical Granularity-Aware Interval Aggregation (HiGIA).

2.1 Visão Geral do Modelo

A canção completa de entrada (tipicamente 3–5 minutos) passa por uma separação de fontes musicais para extrair os estames de vocal e acompanhamento. Estes são processados juntamente com o sinal da mistura (mixture) original, formando três ramos paralelos.

• Extração de Características: Cada ramo é codificado usando um codificador MuQ pré-treinado. Uma soma ponderada por atenção baseada em CBAM agrega saídas ocultas de múltiplas camadas em um único embedding por estame. Esses embeddings passam por codificadores Transformer para capturar dependências temporais.
• Fusão e Predição: As características resultantes são processadas pelo MSAF para modelar interações entre estames, seguido pelo HiGIA para gerar a pontuação estética final.

2.2 Multi-Stem Attention Fusion (MSAF)

O MSAF aborda a complexidade da estrutura musical ao modelar explicitamente a interação entre a mistura, o vocal e o acompanhamento.

• Mecanismo: Emprega um mecanismo de atenção cruzada bidirecional. O estame da mistura serve como fonte central de consulta (query), gerando queries ($Q_{mix}$) e valores ($V_{mix}$). Os estames vocal e de acompanhamento fornecem chaves ($K_{voc}, K_{acc}$) e valores ($V_{voc}, V_{acc}$).
• Interação: O modelo calcula matrizes de similaridade compartilhadas entre a mistura e cada estame. Ao transpor essas matrizes, ele permite a interação bidirecional sem projeções de query adicionais.
• Saída: O módulo produz representações fundidas ($Out_{mix}, Out_{voc}, Out_{acc}$) via conexões residuais, capturando pistas musicais complementares entre os estames.

2.3 Hierarchical Granularity-Aware Interval Aggregation (HiGIA)

O HiGIA mimetiza a estratégia de avaliação humana de grosso para fino para lidar com a incerteza subjetiva.

• Classificação de Multi-Granularidade: Para cada dimensão estética, três classificadores ($C_{g1}, C_{g2}, C_{g3}$) operam em diferentes granularidades (grossa, média, fina). Cada classificador discretiza a pontuação contínua em bins ($K_g$), onde granularidades mais finas utilizam mais bins (ex: $K_{g1} < K_{g2} < K_{g3}$).
• Geração de Intervalo:
  1. O modelo seleciona bins de pontuação candidatos baseados em um limiar de probabilidade ($p > 1/K_g$).
  2. Identifica um conjunto de sobreposição ($O$) de bins com intervalos de pontuação que se interceptam e um conjunto isolado ($I$) de bins não sobrepostos.
  3. Se o conjunto de sobreposição for dominante ($|O| > |I|$), o intervalo final $[L, U]$ é derivado pela média dos limites de $O$.
  4. Se o desacordo for alto ($|O| \le |I|$), utiliza-se uma agregação ponderada conservadora de $O$ e $I$.
• Regressão Final: Um regressor MLP prevê um coeficiente de interpolação $\alpha \in [0, 1]$ dentro do intervalo de consenso $[L, U]$. A pontuação final é calculada como $\hat{y} = (1-\alpha)L + \alpha U$.
• Agregação ao Nível da Canção: Para canções completas, as predições de nível de segmento são agregadas usando um peso de confiança $w_i = 1/(U_i - L_i)$, dando mais influência aos segmentos com intervalos mais estreitos (mais certos).

3. Configuração Experimental

• Datasets:
  • SongEval: 2.399 canções completas (majoritariamente geradas por IA), anotadas em 5 dimensões (Musicalidade, Coerência, Memorabilidade, Clareza, Naturalidade) em uma escala de 5 pontos.
  • Dataset Interno: 1.569 canções chinesas completas (majoritariamente criadas por humanos), anotadas por especialistas em 5 dimensões (Geral, Canto, Melodia, Arranjo, Qualidade de Áudio) em uma escala de 100 pontos.
• Baselines: Comparação contra dois modelos SOTA: um modelo baseado em SSL adaptado de [27] e o ensemble baseado em UTMOS [11].
• Métricas: Erro Quadrático Médio (MSE), Coeficiente de Correlação Linear (LCC), Correlação de Rank de Spearman (SRCC) e Tau de Kendall (KTAU).

4. Resultados

O framework proposto superou ambos os baselines em todas as quatro métricas em ambos os datasets.

• SongEval: O modelo alcançou os melhores resultados em Musicalidade, Coerência e Clareza em todas as métricas. Demonstrou força particular em métricas de rank (SRCC, KTAU), indicando uma capacidade superior de capturar preferências humanas relativas.
• Dataset Interno: O framework demonstrou vantagens consistentes nas dimensões Geral, Canto e Melodia. Notavelmente, alcançou o maior LCC, SRCC e KTAU para Qualidade de Áudio, sugerindo melhor alinhamento com tendências perceptivas, apesar de não ter o menor MSE.
• Estudos de Ablação:
  • Remover o MSAF degradou significativamente o desempenho em dimensões sensíveis à interação entre estames (ex: Coerência, Geral), confirmando seu papel na modelagem de características musicais complexas.
  • Remover o HiGIA levou a quedas de desempenho, particularmente em dimensões com alta incerteza subjetiva (ex: Musicalidade), validando a eficácia da estratégia de agregação de intervalo de grosso para fino.

5. Significância e Alegações

O artigo alega que sua principal contribuição é um framework de avaliação de estética orientado a canções que aborda especificamente os duplos desafios da complexidade musical e da incerteza de avaliação subjetiva.

• Novidade: Ao contrário de trabalhos anteriores que focam em fala ou atributos isolados, este framework é projetado para canções completas, utilizando atenção cruzada bidirecional para fundir os estames de mistura, vocal e acompanhamento.
• Design Centrado no Humano: Ao adotar uma estratégia de predição hierárquica de grosso para fino (HiGIA), o modelo se alinha mais proximamente aos processos de decisão de especialistas humanos, resultando em predições mais estáveis e precisas em comparação com abordagens de regressão direta.
• Robustez: O framework demonstra desempenho robusto através de diversas distribuições de dados (gerados por IA vs. criados por humanos) e variadas escalas de classificação (5 pontos vs. 100 pontos), estabelecendo um novo benchmark para a avaliação automatizada da estética de canções.

Os autores concluem que a combinação de MSAF e HiGIA fornece uma solução robusta para a avaliação estética multidimensional de canções, oferecendo feedback valioso para a criação musical e melhorando os sistemas de recuperação e recomendação na era da IA generativa.