Resumo Técnico: DeRA-MOS

Definição do Problema

A avaliação de sistemas de Text-to-Music (TTM) permanece um gargalo devido ao alto custo e à subjetividade das pontuações de opinião média (MOS) humanas para Impressão Musical (MI) e Alinhamento de Texto (TA). Embora existam estimadores automáticos de MOS, eles tipicamente dependem de regressão ponto a ponto (ex: L1, MSE) ou objetivos de classificação de distribuição. Essas abordagens sofrem de duas limitações primárias:

1. Descompasso entre Treinamento e Avaliação: Objetivos padrão de ponto a ponto tratam amostras de forma independente, falhando em otimizar diretamente métricas baseadas em ranking como o Coeficiente de Correlação de Posto de Spearman (SRCC), que é o padrão para avaliar a qualidade relativa do sistema.
2. Deriva de Modalidade (Modality Drift): Na estimativa de TA, mecanismos de atenção cruzada frequentemente carecem de restrições geométricas explícitas nas representações unimodais antes da fusão. Sem o ancoramento ao julgamento humano, essas representações podem sofrer deriva, levando a uma coerência semântica pobre e à memorização de dados de treinamento em vez de um verdadeiro alinhamento.

Metodologia

Os autores propõem o DeRA-MOS (Decoupled Ranking and Alignment), um framework que desacopla os objetivos de otimização para MI e TA, mantendo uma arquitetura de backbone compartilhada (baseada na estrutura de dois ramos DORA-MOS). O framework introduz duas funções de perda especializadas, utilizadas apenas durante o treinamento:

1. Classificação de Lista Consciente de Lote (BALR) para Impressão Musical

Para abordar o descompasso entre o treinamento ponto a ponto e a avaliação baseada em ranking, o ramo de MI substitui a supervisão padrão de ponto a ponto por uma perda de ranking de lista (listwise ranking loss).

• Mecanismo: Todo o mini-lote (mini-batch) é tratado como uma única lista de consulta. As pontuações de MI reais e previstas são convertidas em distribuições de probabilidade usando um softmax com escalonamento de temperatura.
• Objetivo: A perda minimiza a entropia cruzada entre as distribuições de probabilidade alvo e prevista.
• Benefício: Esta abordagem otimiza a ordenação global dentro de um lote, fornecendo gradientes consistentes com o SRCC. Ela captura a dinâmica global do lote com complexidade $O(B)$, evitando o custo $O(B^2)$ de métodos de par a par (pairwise), enquanto respeita a natureza relativa das avaliações humanas.

2. Alinhamento de Modalidade Ancorado por Pontuação (SAMA) para Alinhamento de Texto

Para evitar a deriva de representação no ramo de TA, uma restrição geométrica é aplicada antes da etapa de fusão de atenção cruzada.

• Mecanismo: O método calcula a similaridade de cosseno entre os embeddings de áudio e texto pré-fusão (L2-normalizados). Esta similaridade é mapeada linearmente para o intervalo [0, 1].
• Objetivo: Uma perda de regressão é aplicada para alinhar esta similaridade mapeada diretamente com as pontuações MOS de TA humanas normalizadas.
• Benefício: Isso "ancora" a similaridade latente áudio-texto ao julgamento humano, regularizando o espaço latente e garantindo que pares com pontuação alta sejam geometricamente mais próximos antes que a rede tente fundi-los via atenção.

Otimização Conjunta

A função de perda total combina as perdas de classificação suavizadas por Gaussiana de base ($L_{CE-Gauss}$) com as perdas auxiliares propostas:
$$L_{Total} = L_{CE-Gauss} + \alpha L_{BALR} + \beta L_{SAMA}$$
Crucialmente, estas perdas auxiliares são aplicadas apenas durante o treinamento. Durante a inferência, o framework opera com a exata mesma complexidade e parâmetros do modelo base, garantindo que não haja sobrecarga computacional adicional.

Principais Contribuições

1. Classificação de Lista Consciente de Lote (Batch-Aware Listwise Ranking): A introdução de uma perda de lista que alinha diretamente a otimização de MI com as métricas de avaliação de SRCC, indo além das previsões independentes de ponto a ponto.
2. Alinhamento de Modalidade Ancorado por Pontuação (Score-Anchored Modality Alignment): Um novo método de perda que impõe consistência geométrica entre a similaridade latente áudio-texto e as pontuações de TA humanas, mitigando a deriva de representação.
3. Framework Desacoplado Robusto: A demonstração de que a combinação desses objetivos desacoplados produz um desempenho superior tanto em ranking (SRCC, Kendall's Tau) quanto em precisão absoluta (MSE) em comparação com baselines homogêneos de ponto a ponto, sem aumentar o custo de inferência.

Resultados Experimentais

Avaliado no conjunto de dados MusicEval (o benchmark oficial para o Desafio AudioMOS 2025), o DeRA-MOS demonstrou melhorias significativas em relação ao baseline DORA-MOS reproduzido:

• Impressão Musical (MI): O modelo completo alcançou um SRCC de 0.989 e um Kendall's Tau (KTAU) de 0.940, melhorando o KTAU em +0.050 em relação ao baseline. Isso indica uma redução substancial em inversões de ranking.
• Alinhamento de Texto (TA): O modelo melhorou o SRCC de 0.952 para 0.956 e reduziu significativamente o MSE de 0.060 para 0.028, demonstrando uma melhor calibração das pontuações absolutas.
• Significância Estatística: Testes de postos sinalizados de Wilcoxon confirmaram que os ganhos em SRCC para ambas as tarefas foram estatisticamente significativos ($p < 0.01$).
• Descobertas de Ablação:
  • O uso apenas de BALR melhorou o ranking de MI, mas degradou o desempenho de TA, confirmando que a pressão de ranking por si só pode distorcer as representações compartilhadas.
  • O uso apenas de SAMA melhorou drasticamente a calibração de TA, preservando as métricas de ranking.
  • A combinação de ambas as perdas resultou no melhor perfil geral, confirmando sua natureza complementar.
• Sensibilidade de Hiperparâmetros: O desempenho ideal foi observado com um tamanho de lote de 32 e um fator de escalonamento de temperatura ($\tau$) de 1.0. O framework permaneceu robusto através de variações nos coeficientes de peso das perdas ($\alpha, \beta$).

Significância e Alegações

O artigo afirma que o DeRA-MOS estabelece um paradigma robusto para a avaliação de TTM em larga escala, ao preencher efetivamente a lacuna entre os objetivos de treinamento e as métricas de avaliação. Ao desacoplar a otimização de ranking (MI) e de alinhamento (TA), o framework resolve os gargalos específicos do descompasso de treinamento ponto a ponto e da deriva de modalidade.

Os autores enfatizam que, como as perdas propostas são regularizadores usados apenas no treinamento, o framework oferece ganhos substanciais de desempenho sem comprometer a eficiência de inferência. Isso torna o DeRA-MOS particularmente adequado para o desenvolvimento iterativo e a avaliação de modelos generativos de música em larga escala, onde os recursos computacionais e os custos de avaliação são restrições críticas. O trabalho sugere que o ancoramento geométrico explícito e o ranking de lista são componentes essenciais para uma estimativa de MOS automática, precisa e escalável.