Resumo Técnico: PHALAR - Fasores para Representações de Áudio Musical Aprendidas

1. Declaração do Problema

A aprendizagem de representações de áudio atual adota largamente paradigmas da visão computacional, tratando espectrogramas como imagens 2D estáticas. Um pilar dessas arquiteturas é o uso de operações de agrupamento (pooling), como o Agrupamento Médio Global (GAP), para impor invariância translacional. Embora benéfico para classificação semântica (por exemplo, identificar a presença de instrumentos), essa invariância é prejudicial para tarefas que exigem coerência estrutural, como mixagem musical e separação de faixas (stems).

O desafio específico abordado é a recuperação de faixas (stem retrieval): dado um submix de áudio parcial (por exemplo, bateria e baixo), o modelo deve identificar quais faixas faltantes se encaixam temporal e harmonicamente a ele. Modelos fundacionais existentes (por exemplo, CLAP, CDPAM) e até mesmo modelos de coerência especializados (por exemplo, COCOLA) dependem do GAP ou de agrupamento global de valor real. Essas operações descartam a ordem temporal e a informação de fase, colapsando alinhamentos rítmicos distintos em representações latentes idênticas. Consequentemente, esses modelos são "cegos estruturalmente", falhando em distinguir entre uma mixagem coerente e uma desalinhada, mesmo que os instrumentos sejam idênticos.

2. Metodologia

O artigo propõe o PHALAR (Fasores para Representações de Áudio Musical Aprendidas), um quadro de aprendizagem contrastiva que desloca o viés indutivo da invariância temporal/fase para a equivariância.

Mudança Arquitetural Central

O método aproveita o Teorema do Deslocamento de Fourier, que postula que uma tradução temporal no domínio de entrada corresponde a uma rotação de fase no domínio da frequência. O PHALAR modela explicitamente a coerência deslocando o espaço de representação de magnitudes de valor real para fasores de valor complexo.

A arquitetura consiste em três componentes principais:

1. Backbone Harmônico (Valor Real):

   • Uma CNN 2D leve processa espectrogramas de Transformada Constante-Q (CQT). A CQT é utilizada porque seu espaçamento logarítmico garante que deslocamentos de altura sejam traduções puramente lineares, permitindo que os kernels reconheçam intervalos harmônicos (por exemplo, terças maiores) de forma idêntica em todas as tonalidades.
   • O backbone emprega um design residual axial para desacoplar o processamento espectral e temporal:
     • Convoluções por frequência (3×1): Extraem relações harmônicas dentro de instantes de tempo.
     • Convoluções por tempo (1×3): Capturam a evolução temporal.
     • Convoluções pontuais (1×1): Facilitam a mistura de características.
   • Convoluções temporais com passo (strided) comprimem a dimensão temporal por um fator de 32× antes do agrupamento.

2. Agrupamento Espectral Aprendido (A Ponte):

   • Substituindo o GAP padrão, esta camada projeta os mapas de características no domínio da frequência complexo.
   • O processo envolve:
     1. Projetar características achatadas sobre uma base aprendida ($W_{proj}$) para codificar a estrutura de intervalo harmônico e a posição absoluta da frequência.
     2. Aplicar uma Transformada Rápida de Fourier Real (RFFT) ao longo do eixo temporal.
   • Resultado: Deslocamentos temporais são convertidos em rotações de fase. A magnitude $|S_{c,d}|$ codifica a prevalência de um padrão harmônico, enquanto a fase $\angle S_{c,d}$ codifica explicitamente seu deslocamento temporal.

3. Cabeça de Projeção de Valor Complexo (CVNN):

   • Uma Rede Neural de Valor Complexo processa a representação espectral. MLPs de valor real padrão destruiriam a estrutura de fase; assim, o PHALAR utiliza uma CVNN (Trabelsi et al., 2018) onde cada operação é equivariante de fase ($f(x \cdot e^{i\theta}) = f(x) \cdot e^{i\theta}$).
   • A cabeça consiste em camadas lineares complexas, Complex RMSNorm e um modReLU que preserva a fase.
   • Métrica de Similaridade: Para quantificar a coerência estrutural, o modelo usa uma Similaridade Bilinear Consciente de Fase:
     $$s(z_x, z_y) = \Re(z_x^H W z_y)$$
     onde $W$ é uma matriz de pesos complexos aprendível. Isso permite que o modelo aplique rotações de fase aprendíveis para "alinhar" faixas, contando com desvios de micro-tempo (por exemplo, um groove "atrasado"). Durante a inferência, uma pontuação simétrica é usada para garantir comutatividade.

3. Contribuições Chave

• Quadro Inovador: Introdução do PHALAR, um quadro contrastivo que desacopla explicitamente o conteúdo harmônico do alinhamento rítmico usando fasores de valor complexo.
• Desempenho de Estado da Arte: Alcança um aumento de precisão relativo de até ≈70% sobre o anterior estado da arte (COCOLA) em tarefas de recuperação de faixa para mix.
• Eficiência: Requer < 50% dos parâmetros da linha de base (2,3M vs. 5,2M) e oferece uma aceleração de 7× no treinamento (50 vs. 340 horas de GPU), impulsionada pelo backbone axial eficiente em parâmetros e pela eliminação de pré-processamento limitado por CPU.
• Ortogonalidade de Similaridade e Coerência: Demonstra que modelos de similaridade semântica (CLAP, CDPAM) performam ao acaso em tarefas de coerência, enquanto o PHALAR correlaciona-se significativamente com a percepção humana.
• Capacidades Emergentes: Sem supervisão explícita, o PHALAR captura estruturas musicais robustas, permitindo rastreamento de batida zero-shot e sondagem de acordes linear.

4. Resultados Experimentais

O quadro foi avaliado nos conjuntos de dados MoisesDB, Slakh2100 e ChocoChorales.

• Precisão de Recuperação: O PHALAR estabeleceu novo estado da arte em todos os conjuntos de dados. No MoisesDB com $K=64$ (uma configuração difícil com alta probabilidade de colisão tonal), o PHALAR alcançou 70,87% de precisão comparado aos 41,84% do COCOLA e 45,85% do MERT.
• Validação Centrada no Humano: Em um teste de audição subjetivo com 22 participantes, as distâncias de incorporação do PHALAR mostraram a maior correlação com classificações de coerência humana (Pearson $\rho = 0,387$, Spearman $r_s = 0,414$), superando significativamente todas as linhas de base, incluindo métricas do COCOLA e do Audiobox.
• Avaliação em Nível de Sistema: Ao avaliar faixas geradas, as pontuações agregadas do PHALAR reproduziram as ordens de classificação humana para diferentes modelos generativos, enquanto métricas padrão em nível de conjunto como a Distância de Áudio Fréchet (FAD) falharam em alinhar-se ao julgamento humano quanto à coerência condicional.
• Estudos de Ablação:
  • Remover a equivariância de fase (usando apenas magnitude) causou uma queda de 10,3% na precisão.
  • Usar Agrupamento Médio Global em vez de Agrupamento Espectral Aprendido causou uma queda de 18,9%.
  • Substituir a CQT por espectrogramas Mel resultou em uma queda de 1,66%, confirmando a necessidade de espaçamento logarítmico estrito para equivariância de altura.
• Estruturas Emergentes:
  • Rastreamento de Batida: O PHALAR alcançou uma pontuação F1 de 0,627 no rastreamento de batida sem qualquer supervisão rítmica, recuperando o tempo através de padrões de interferência geométrica.
  • Sondagem de Acordes: Uma sonda linear em incorporações PHALAR congeladas alcançou 55,2% de precisão na classificação de acordes, superando a linha de base Chroma CQT (50,6%).

5. Significado e Alegações

O artigo alega que o PHALAR representa uma mudança fundamental na aprendizagem de representações de áudio, movendo-se de modelos semânticos "cegos estruturalmente" para modelos de coerência "conscientes de fase".

• Viés Indutivo Geométrico: O trabalho postula que a música, sendo fundamentalmente periódica, é a modalidade ideal para vieses geométricos. Ao modelar deslocamentos temporais como rotações de fase, o PHALAR resolve a coerência rítmica onde modelos baseados em magnitude falham.
• Métrica para Áudio Generativo: O PHALAR fornece uma métrica robusta e consciente de referência para avaliar áudio generativo, abordando uma lacuna crítica onde métricas padrão (como FAD) avaliam o realismo da distribuição marginal, mas falham em avaliar o ajuste estrutural condicional.
• Impacto Mais Amplo: Os autores sugerem que os princípios da aprendizagem de métricas de valor complexo e preservação de fase se estendem além do áudio para outros domínios sensíveis à fase, como sistemas de Radar, Imagem Médica (Ressonância Magnética) e Análise de Séries Temporais.

Limitações: Os autores reconhecem que o PHALAR depende de priores geométricos explícitos (RFFT) assumindo periodicidade temporal. O desempenho degrada-se com mudanças de tempo não periódicas (por exemplo, rubato), conteúdo arrítmico ou formatos de áudio altamente comprimidos. Adicionalmente, o treinamento do modelo em música popular ocidental pode enviesar sua noção de "coerência" contra desvios de micro-tempo estilísticos em outros gêneros.