Riepilogo Tecnico: PHALAR - Fasori per Rappresentazioni Audio Musicali Apprese

1. Enunciato del Problema

L'apprendimento delle rappresentazioni audio attuali adotta largamente paradigmi derivati dalla visione artificiale, trattando gli spettrogrammi come immagini 2D statiche. Un cardine di queste architetture è l'uso di operazioni di pooling, come il Pooling Medio Globale (GAP), per imporre l'invarianza traslazionale. Sebbene benefico per la classificazione semantica (ad esempio, identificare la presenza di uno strumento), tale invarianza è dannosa per compiti che richiedono coerenza strutturale, come il mixing musicale e la separazione delle tracce (stem).

La sfida specifica affrontata è il recupero delle tracce (stem retrieval): dato un submix audio parziale (ad esempio, batteria e basso), il modello deve identificare quali tracce mancanti si adattano temporalmente e armonicamente ad esso. I modelli fondazionali esistenti (ad esempio, CLAP, CDPAM) e persino i modelli di coerenza specializzati (ad esempio, COCOLA) si affidano al GAP o al pooling globale a valori reali. Queste operazioni scartano l'ordinamento temporale e le informazioni di fase, collassando allineamenti ritmici distinti in rappresentazioni latenti identiche. Di conseguenza, questi modelli sono "ciechi strutturalmente", fallendo nel distinguere tra un mix coerente e uno non allineato, anche se gli strumenti sono identici.

2. Metodologia

Il documento propone PHALAR (Fasori per Rappresentazioni Audio Musicali Apprese), un framework di apprendimento contrastivo che sposta il bias induttivo dall'invarianza temporale/fase all'equivarianza.

Cambiamento Architettonico Fondamentale

Il metodo sfrutta il Teorema dello Spostamento di Fourier, che postula che una traslazione temporale nel dominio di ingresso corrisponda a una rotazione di fase nel dominio della frequenza. PHALAR modella esplicitamente la coerenza spostando lo spazio di rappresentazione da magnitudini a valori reali a fasori a valori complessi.

L'architettura è composta da tre componenti principali:

1. Backbone Armonico (a Valori Reali):

   • Una leggera CNN 2D elabora gli spettrogrammi della Trasformata a Q Costante (CQT). La CQT è utilizzata perché il suo spaziamento logaritmico garantisce che gli spostamenti di altezza siano traslazioni puramente lineari, permettendo ai kernel di riconoscere intervalli armonici (ad esempio, terze maggiori) in modo identico in tutte le tonalità.
   • Il backbone impiega un design residuo assiale per disaccoppiare l'elaborazione spettrale e temporale:
     • Convoluzioni per frequenza (3×1): Estraggono relazioni armoniche all'interno degli istanti temporali.
     • Convoluzioni per tempo (1×3): Catturano l'evoluzione temporale.
     • Convoluzioni puntuali (1×1): Facilitano il mixing delle caratteristiche.
   • Le convoluzioni temporali con passo (strided) comprimono la dimensione temporale di un fattore 32× prima del pooling.

2. Pooling Spettrale Appreso (Il Ponte):

   • Sostituendo il GAP standard, questo layer proietta le mappe delle caratteristiche nel dominio della frequenza complesso.
   • Il processo comporta:
     1. Proiettare le caratteristiche appiattite su una base appresa ($W_{proj}$) per codificare la struttura degli intervalli armonici e la posizione assoluta della frequenza.
     2. Applicare una Trasformata di Fourier Veloce Reale (RFFT) lungo l'asse temporale.
   • Risultato: Gli spostamenti temporali vengono convertiti in rotazioni di fase. La magnitudine $|S_{c,d}|$ codifica la prevalenza di un pattern armonico, mentre la fase $\angle S_{c,d}$ codifica esplicitamente il suo spostamento temporale.

3. Testata di Proiezione a Valori Complessi (CVNN):

   • Una Rete Neurale a Valori Complessi elabora la rappresentazione spettrale. Le MLP standard a valori reali distruggerebbero la struttura di fase; pertanto, PHALAR utilizza una CVNN (Trabelsi et al., 2018) in cui ogni operazione è equivariante alla fase ($f(x \cdot e^{i\theta}) = f(x) \cdot e^{i\theta}$).
   • La testata è composta da layer lineari complessi, RMSNorm Complessa e un modReLU che preserva la fase.
   • Metrica di Similarità: Per quantificare la coerenza strutturale, il modello utilizza una Similarità Bilineare Consapevole della Fase:
     $$s(z_x, z_y) = \Re(z_x^H W z_y)$$
     dove $W$ è una matrice di pesi complessi appresa. Ciò permette al modello di applicare rotazioni di fase apprese per "allineare" le tracce, tenendo conto di deviazioni micro-temporali (ad esempio, un groove "rilassato"). Durante l'inferenza, viene utilizzata una punteggio simmetrico per garantire la commutatività.

3. Contributi Chiave

• Framework Innovativo: Introduzione di PHALAR, un framework contrastivo che disaccoppia esplicitamente il contenuto armonico dall'allineamento ritmico utilizzando fasori a valori complessi.
• Prestazioni allo Stato dell'Arte: Raggiunge un aumento di accuratezza relativo fino al ≈70% rispetto allo stato dell'arte precedente (COCOLA) sui compiti di recupero da traccia a mix.
• Efficienza: Richiede < 50% dei parametri della baseline (2,3M contro 5,2M) e offre un acceleramento di 7× nell'addestramento (50 contro 340 ore GPU), guidato dal backbone assiale efficiente in termini di parametri e dall'eliminazione del pre-processing legato alla CPU.
• Ortogonalità tra Similarità e Coerenza: Dimostra che i modelli di similarità semantica (CLAP, CDPAM) operano al livello del caso casuale sui compiti di coerenza, mentre PHALAR correla significativamente con la percezione umana.
• Capacità Emergenti: Senza supervisione esplicita, PHALAR cattura strutture musicali robuste, abilitando il tracciamento del battito (beat tracking) zero-shot e il probing lineare degli accordi.

4. Risultati Sperimentali

Il framework è stato valutato sui dataset MoisesDB, Slakh2100 e ChocoChorales.

• Accuratezza di Recupero: PHALAR ha stabilito un nuovo SOTA su tutti i dataset. Su MoisesDB con $K=64$ (una configurazione difficile con alta probabilità di collisione tonale), PHALAR ha raggiunto un'accuratezza del 70,87% rispetto al 41,84% di COCOLA e al 45,85% di MERT.
• Validazione Centrata sull'Uomo: In un test di ascolto soggettivo con 22 partecipanti, le distanze degli embedding di PHALAR hanno mostrato la correlazione più alta con le valutazioni umane di coerenza (Pearson $\rho = 0,387$, Spearman $r_s = 0,414$), superando significativamente tutte le baseline inclusi COCOLA e le metriche Audiobox.
• Valutazione a Livello di Sistema: Valutando le tracce generate, i punteggi aggregati di PHALAR hanno riprodotto gli ordini di ranking umani per diversi modelli generativi, mentre le metriche standard a livello di insieme come la Distanza Audio di Fréchet (FAD) hanno fallito nell'allinearsi al giudizio umano riguardo alla coerenza condizionale.
• Studi di Ablazione:
  • Rimuovere l'equivarianza di fase (usando solo la magnitudine) ha causato un calo di accuratezza del 10,3%.
  • Utilizzare il Pooling Medio Globale invece del Pooling Spettrale Appreso ha causato un calo del 18,9%.
  • Sostituire la CQT con spettrogrammi Mel ha risultato in un calo del 1,66%, confermando la necessità di uno spaziamento logaritmico rigoroso per l'equivarianza dell'altezza.
• Strutture Emergenti:
  • Tracciamento del Battito: PHALAR ha raggiunto un punteggio F1 di 0,627 nel tracciamento del battito senza alcuna supervisione ritmica, recuperando il tempo tramite pattern di interferenza geometrica.
  • Probing degli Accordi: Un probe lineare su embedding PHALAR congelati ha raggiunto un'accuratezza del 55,2% nella classificazione degli accordi, superando la baseline Chroma CQT (50,6%).

5. Significato e Affermazioni

Il documento afferma che PHALAR rappresenta un cambiamento fondamentale nell'apprendimento delle rappresentazioni audio, passando da modelli semantici "ciechi strutturalmente" a modelli di coerenza "consapevoli della fase".

• Bias Induttivo Geometrico: Il lavoro postula che la musica, essendo fondamentalmente periodica, sia la modalità ideale per i bias geometrici. Modellando gli spostamenti temporali come rotazioni di fase, PHALAR risolve la coerenza ritmica laddove i modelli basati sulla magnitudine falliscono.
• Metrica per l'Audio Generativo: PHALAR fornisce una metrica robusta e consapevole del riferimento per valutare l'audio generativo, colmando una lacuna critica in cui le metriche standard (come FAD) valutano il realismo della distribuzione marginale ma falliscono nel valutare l'adattamento strutturale condizionale.
• Impatto più Ampio: Gli autori suggeriscono che i principi dell'apprendimento metrico a valori complessi e della preservazione della fase si estendono oltre l'audio ad altri domini sensibili alla fase come i sistemi Radar, la Imaging Medica (MRI) e l'Analisi delle Serie Temporali.

Limitazioni: Gli autori riconoscono che PHALAR si basa su priori geometrici espliciti (RFFT) assumendo periodicità temporale. Le prestazioni degradano con cambiamenti di tempo non periodici (ad esempio, rubato), contenuti arritmici o formati audio fortemente compressi. Inoltre, l'addestramento del modello su musica popolare occidentale potrebbe pregiudicare la sua nozione di "coerenza" contro deviazioni micro-temporali stilistiche in altri generi.