Sintesi Tecnica: Colli di Bottiglia Strutturali sulla Rappresentazione in Frequenza nei Modelli Audio End-to-End

Problema

I modelli audio neurali end-to-end (ad es. EnCodec, DAC, Stable Audio) raggiungono prestazioni allo stato dell'arte nella compressione e nella generazione, portando spesso all'assunto che codifichino direttamente caratteristiche interpretabili come l'altezza (pitch) e il timbro. Tuttavia, gli studi di interpretabilità hanno ampiamente fallito nel recuperare tali caratteristiche dalle rappresentazioni apprese. Questo articolo sostiene che una forte performance può esistere senza un accesso diretto a primitive tempo-frequenza interpretabili. Gli autori postulano che gli encoder convoluzionali con stride impongano due colli di bottiglia strutturali che degradano l'accesso alle primitive localizzate in frequenza (oscillazioni a banda stretta) che sottendono le caratteristiche audio dotate di significato umano. Questi colli di bottiglia intrecciano le caratteristiche, rendendole inaccessibili per una manipolazione indipendente, anche se l'informazione del segnale è teoricamente preservata all'interno dello spazio latente.

Metodologia

Framework Teorico

Gli autori modellano l'encoder come una mappatura $E: x(t) \to z \in \mathbb{R}^d$ che comprime gli input nel dominio del tempo in latenti tramite convoluzioni con stride. Analizzano due modalità di fallimento specifiche:

1. Fallimento dell'Iniettività (Collasso per Aliasing):

   • Meccanismo: Le operazioni di downsampling inducono aliasing, mappando frequenze di input distinte $f_i$ nella stessa frequenza latente $f_i \mod f_s$ (dove $f_s$ è la frequenza di campionamento effettiva del latente).
   • Teoria: Utilizzando il principio dei cassetti (pigeonhole principle), gli autori derivano un limite analitico sul numero di componenti iniettivamente rappresentabili ($q$) basato sulla relazione aritmetica tra le frequenze del segnale e lo schema di stride. Se il numero di componenti di input $n > q$, componenti distinte collassano in componenti proxy indistinguibili.
   • Predizione: Questo collasso è prevedibile puramente dall'architettura (schema di stride) e dalla struttura del segnale, indipendentemente dai pesi appresi.

2. Fallimento della Separabilità (Limite di Risoluzione):

   • Meccanismo: Anche se le componenti sopravvivono all'aliasing, potrebbero rimanere inseparabili da parte dei filtri appresi se le larghezze di banda dei filtri sono troppo ampie.
   • Teoria: Il campo recettivo cumulativo ($R$) dell'encoder stabilisce un limite superiore rigido alla risoluzione in frequenza ($\Delta f = f_s / R$) basato sul principio di incertezza.
   • Predizione: Un modello strutturale leggero predice la larghezza di banda minima raggiungibile dei filtri appresi basandosi esclusivamente sulla geometria del kernel (dimensioni, dilatazioni, stride) senza accedere ai pesi. Gli autori ipotizzano che i filtri appresi operino significativamente al di sopra di questo limite teorico.

Validazione Empirica

• Dataset: Sono stati utilizzati segnali sintetici controllati composti da componenti a banda stretta con frequenze centrali note per misurare il collasso rispetto alla verità fondamentale (ground-truth). Gli esperimenti hanno coperto 643 configurazioni di segnale su tre modelli allo stato dell'arte: EnCodec, DAC e Stable Audio.
• Metriche:
  • Tasso di Collasso (Collapse Rate): La frazione di componenti di input che mappano su proxy condivisi nel latente.
  • Rapporto di Separabilità (Separability Ratio): Il rapporto tra la spaziatura delle componenti e la larghezza di banda del filtro appreso ($\rho = \Delta c / B$).
  • Larghezza di Banda del Filtro (Filter Bandwidth): Misurata tramite analisi spettrale della risposta in frequenza dell'ultimo strato convoluzionale.

Intervento: Riformulazione Latente di Gabor (GLRF)

Per affrontare la separabilità (ma non l'iniettività), gli autori propongono la GLRF, un intervento post-hoc leggero che non richiede il riaddestramento dell'encoder:

1. Decomposizione: I latenti dell'encoder vengono fatti passare attraverso un bank di filtri di Gabor fissi, parametrizzati per corrispondere al limite di risoluzione teorico ($\Delta f = f_s / R$). Questo riesprime i latenti in una base localizzata in frequenza.
2. Ricostruzione: Una mappatura lineare $M$ viene appresa tramite regressione ridge a forma chiusa per ricostruire il latente originale dalla rappresentazione decomposta in Gabor ($z \approx M\tilde{z}$).
3. Controllo: Questa trasformazione permette la manipolazione mirata di specifiche classi di frequenza (ad es. sostituire un'altezza con un'altra) operando sui componenti di Gabor localizzati.

Risultati Chiave

1. Accuratezza Predittiva dei Colli di Bottiglia Strutturali

• Iniettività: I tassi di collasso previsti analiticamente hanno correlato con i tassi osservati con $r \approx 0.99$ in tutti i modelli e le configurazioni di segnale.
  • I tassi di collasso osservati variavano dal 31% al 35% per impostazioni di segnale realistiche.
  • Lo studio ha confermato che le frequenze di campionamento altamente composte (ad es. 48 kHz) inducono significativamente più collasso rispetto a quelle con minore complessità di fattorizzazione (ad es. 22.05 kHz o 44.1 kHz).
• Separabilità: I filtri appresi operavano da 9 a 35 volte sopra il limite di risoluzione del campo recettivo teorico.
  • Ad esempio, il miglior filtro a banda di DAC era 35× il limite teorico, mentre quello di EnCodec era 10×.
  • Ciò conferma che, sebbene l'accumulo di convoluzioni migliori la risoluzione rispetto ai limiti del singolo kernel, gli encoder non riescono a utilizzare la piena capacità di risoluzione permessa dai loro campi recettivi.

2. Efficacia della GLRF

• Recupero della Risoluzione: La GLRF ha ridotto le larghezze di banda dei filtri da 10–35× il limite teorico a 1.5–3× il limite stesso.
• Fedeltà: La fedeltà di ricostruzione è stata preservata, con una similarità del coseno dei latenti $\ge 0.97$ e un basso errore log-mel.
• Controllabilità:
  • Sostituzione Mirata: Nello spazio latente originale, la sostituzione mirata della frequenza ha avuto successo solo nel 30% dei casi (al di sotto del caso dovuto alla contaminazione del contesto). Nello spazio GLRF, il successo ha raggiunto il 100%.
  • Localizzazione: Nello spazio di Gabor, l'80% del delta di energia per una sostituzione di frequenza si è concentrato in soli 3 bin, mentre nello spazio latente originale, il cambiamento era distribuito su circa 349 canali senza una struttura identificabile.
  • Stabilità: Le direzioni di sostitzione nello spazio di Gabor sono rimaste coerenti tra diversi contesti di miscelazione (media della similarità del coseno 0.88), mentre le direzioni nel latente originale variavano significativamente (0.61).

Significato e Rivendicazioni

L'articolo sostiene che l'incapacità di controllare altezza e timbro nei modelli audio end-to-end attuali non è solo una carenza di addestramento, ma una conseguenza strutturale prevedibile delle architetture convoluzionali con stride.

• Determinismo Architetturale: Il fallimento nell'accesso alle primitive di frequenza è determinato dallo schema di stride e dalla geometria del kernel, permettendo di analizzare e prevedere tali limitazioni prima dell'addestramento.
• Intreccio vs Assenza: I modelli non "dimenticano" la struttura in frequenza; piuttosto, la preservano in una forma intrecciata e inaccessibile. Le caratteristiche esistono, ma non sono esposte in una base che permetta la manipolazione indipendente.
• Recupero Post-Hoc: Il lavoro dimosta che è possibile recuperare un controllo significativo della rappresentazione senza riaddestrare il modello. La GLRF funge da prova di concetto che il riesprimere i latenti in una base localizzata in frequenza può "sbloccare" la struttura del segnale già presente nello spazio dei parametri dell'encoder.
• Implicazioni di Design: Gli autori suggeriscono che il design dello schema di stride è una leva critica per la capacità rappresentativa. Scegliere frequenze di campionamento con bassa complessità di fattorizzazione può ridurre sostanzialmente il collasso per aliasing, una decisione che dovrebbe essere presa nella fase di progettazione architettonica piuttosto che affidarsi all'anti-aliasing appreso.

Il lavoro si posiziona all'interno del più ampio campo dell'interpretabilità meccanicistica, sostenendo che per i modelli audio, il "budget rappresentativo" fornito dalle architetture esistenti è spesso sottoutilizzato per la struttura dotata di significato umano a causa di questi specifici vincoli geometrici.