Resumen Técnico: PHALAR - Fasores para Representaciones de Audio Musical Aprendidas

1. Declaración del Problema

El aprendizaje de representaciones de audio actual adopta en gran medida paradigmas de la visión por computadora, tratando los espectrogramas como imágenes 2D estáticas. Una piedra angular de estas arquitecturas es el uso de operaciones de agrupación (pooling), como el Promedio Global (GAP), para imponer invariancia traslacional. Si bien esto es beneficioso para la clasificación semántica (por ejemplo, identificar la presencia de instrumentos), dicha invariancia es perjudicial para tareas que requieren coherencia estructural, como la mezcla musical y la separación de pistas.

El desafío específico abordado es la recuperación de pistas: dado un submezcla de audio parcial (por ejemplo, batería y bajo), el modelo debe identificar qué pistas faltantes encajan temporal y armónicamente con ella. Los modelos base existentes (por ejemplo, CLAP, CDPAM) e incluso los modelos de coherencia especializados (por ejemplo, COCOLA) dependen del GAP o de la agrupación global de valores reales. Estas operaciones descartan el orden temporal y la información de fase, colapsando alineaciones rítmicas distintas en representaciones latentes idénticas. En consecuencia, estos modelos son "ciegos estructuralmente", fallando en distinguir entre una mezcla coherente y una desalineada, incluso si los instrumentos son idénticos.

2. Metodología

El artículo propone PHALAR (Fasores para Representaciones de Audio Musical Aprendidas), un marco de aprendizaje contrastivo que desplaza el sesgo inductivo de la invariancia temporal/fase hacia la equivarianza.

Cambio Arquitectónico Central

El método aprovecha el Teorema del Desplazamiento de Fourier, que postula que una traslación temporal en el dominio de entrada corresponde a una rotación de fase en el dominio de la frecuencia. PHALAR modela explícitamente la coherencia desplazando el espacio de representación de magnitudes de valores reales a fasores de valores complejos.

La arquitectura consta de tres componentes principales:

1. Esqueleto Armónico (Valores Reales):

   • Una CNN 2D ligera procesa espectrogramas de Transformada Constante-Q (CQT). La CQT se utiliza porque su espaciado logarítmico asegura que los desplazamientos de tono sean traslaciones puramente lineales, permitiendo que los núcleos reconozcan intervalos armónicos (por ejemplo, terceras mayores) idénticamente en todas las tonalidades.
   • El esqueleto emplea un diseño residual axial para desacoplar el procesamiento espectral y temporal:
     • Convoluciones por Frecuencia (3×1): Extraen relaciones armónicas dentro de los pasos de tiempo.
     • Convoluciones por Tiempo (1×3): Capturan la evolución temporal.
     • Convoluciones Punto a Punto (1×1): Facilitan la mezcla de características.
   • Las convoluciones por tiempo con paso (strided) comprimen la dimensión temporal por un factor de 32× antes de la agrupación.

2. Agrupación Espectral Aprendida (El Puente):

   • Reemplazando al GAP estándar, esta capa proyecta los mapas de características en el dominio de frecuencia complejo.
   • El proceso implica:
     1. Proyectar las características aplanadas sobre una base aprendida ($W_{proj}$) para codificar la estructura de intervalos armónicos y la posición de frecuencia absoluta.
     2. Aplicar una Transformada Rápida de Fourier Real (RFFT) a lo largo del eje temporal.
   • Resultado: Los desplazamientos temporales se convierten en rotaciones de fase. La magnitud $|S_{c,d}|$ codifica la prevalencia de un patrón armónico, mientras que la fase $\angle S_{c,d}$ codifica explícitamente su desplazamiento temporal.

3. Cabeza de Proyección de Valores Complejos (CVNN):

   • Una Red Neuronal de Valores Complejos procesa la representación espectral. Las MLP de valores reales estándar destruirían la estructura de fase; por lo tanto, PHALAR utiliza una CVNN (Trabelsi et al., 2018) donde cada operación es equivariante de fase ($f(x \cdot e^{i\theta}) = f(x) \cdot e^{i\theta}$).
   • La cabeza consta de capas lineales complejas, RMSNorm Compleja y una modReLU que preserva la fase.
   • Métrica de Similitud: Para cuantificar la coherencia estructural, el modelo utiliza una Similitud Bilineal Consciente de la Fase:
     $$s(z_x, z_y) = \Re(z_x^H W z_y)$$
     donde $W$ es una matriz de pesos complejos aprendible. Esto permite que el modelo aplique rotaciones de fase aprendibles para "alinear" pistas, teniendo en cuenta desviaciones de microtiempo (por ejemplo, un groove "relajado"). Durante la inferencia, se utiliza una puntuación simétrica para garantizar la conmutatividad.

3. Contribuciones Clave

• Marco Novel: Introducción de PHALAR, un marco contrastivo que desacopla explícitamente el contenido armónico de la alineación rítmica utilizando fasores de valores complejos.
• Rendimiento de Estado del Arte: Logra un aumento de precisión relativo de hasta ≈70% sobre el estado anterior del arte (COCOLA) en tareas de recuperación de pista a mezcla.
• Eficiencia: Requiere < 50% de los parámetros de la línea base (2.3M vs. 5.2M) y ofrece una aceleración de entrenamiento de 7× (50 vs. 340 horas de GPU), impulsada por el esqueleto axial eficiente en parámetros y la eliminación del preprocesamiento limitado por CPU.
• Ortogonalidad de Similitud y Coherencia: Demuestra que los modelos de similitud semántica (CLAP, CDPAM) funcionan al azar en tareas de coherencia, mientras que PHALAR se correlaciona significativamente con la percepción humana.
• Capacidades Emergentes: Sin supervisión explícita, PHALAR captura estructuras musicales robustas, habilitando el seguimiento de compás en cero disparos y la sonda de acordes lineal.

4. Resultados Experimentales

El marco fue evaluado en los conjuntos de datos MoisesDB, Slakh2100 y ChocoChorales.

• Precisión de Recuperación: PHALAR estableció un nuevo estado del arte en todos los conjuntos de datos. En MoisesDB con $K=64$ (una configuración difícil con alta probabilidad de colisión tonal), PHALAR logró una precisión del 70.87% en comparación con el 41.84% de COCOLA y el 45.85% de MERT.
• Validación Centrada en el Humano: En una prueba de escucha subjetiva con 22 participantes, las distancias de incrustación de PHALAR mostraron la mayor correlación con las calificaciones de coherencia humana (Pearson $\rho = 0.387$, Spearman $r_s = 0.414$), superando significativamente a todas las líneas base, incluidas COCOLA y las métricas de Audiobox.
• Evaluación a Nivel de Sistema: Al evaluar pistas generadas, las puntuaciones agregadas de PHALAR reprodujeron los órdenes de clasificación humana para diferentes modelos generativos, mientras que las métricas estándar a nivel de conjunto como la Distancia de Audio Fréchet (FAD) fallaron en alinearse con el juicio humano respecto a la coherencia estructural condicional.
• Estudios de Ablación:
  • Eliminar la equivarianza de fase (usando solo magnitud) causó una caída de precisión del 10.3%.
  • Usar Promedio Global en lugar de Agrupación Espectral Aprendida causó una caída del 18.9%.
  • Reemplazar CQT con espectrogramas Mel resultó en una caída del 1.66%, confirmando la necesidad de un espaciado logarítmico estricto para la equivarianza de tono.
• Estructuras Emergentes:
  • Seguimiento de Compás: PHALAR logró una puntuación F1 de 0.627 en el seguimiento de compás sin ninguna supervisión rítmica, recuperando el tempo a través de patrones de interferencia geométrica.
  • Sonda de Acordes: Una sonda lineal sobre incrustaciones de PHALAR congeladas logró una precisión del 55.2% en la clasificación de acordes, superando la línea base de Croma CQT (50.6%).

5. Significado y Afirmaciones

El artículo afirma que PHALAR representa un cambio fundamental en el aprendizaje de representaciones de audio, pasando de modelos semánticos "ciegos estructuralmente" a modelos de coherencia "conscientes de la fase".

• Sesgo Inductivo Geométrico: El trabajo postula que la música, siendo fundamentalmente periódica, es la modalidad ideal para sesgos geométricos. Al modelar los desplazamientos temporales como rotaciones de fase, PHALAR resuelve la coherencia rítmica donde los modelos basados en magnitud fallan.
• Métrica para Audio Generativo: PHALAR proporciona una métrica robusta y consciente de la referencia para evaluar audio generativo, abordando una brecha crítica donde las métricas estándar (como FAD) evalúan el realismo de la distribución marginal pero fallan en evaluar el ajuste estructural condicional.
• Impacto Amplio: Los autores sugieren que los principios del aprendizaje de métricas de valores complejos y la preservación de la fase se extienden más allá del audio a otros dominios sensibles a la fase, como sistemas de Radar, Imagenología Médica (MRI) y Análisis de Series Temporales.

Limitaciones: Los autores reconocen que PHALAR depende de priores geométricos explícitos (RFFT) que asumen periodicidad temporal. El rendimiento se degrada con cambios de tempo no periódicos (por ejemplo, rubato), contenido arrítmico o formatos de audio altamente comprimidos. Además, el entrenamiento del modelo en música popular occidental puede sesgar su noción de "coherencia" contra desviaciones de microtiempo estilístico en otros géneros.