Technische Samenvatting: Structurele Bottlenecks op Frequentierepresentatie in End-to-End Audio Modellen

Probleemstelling

End-to-end neurale audiomodellen (bijv. EnCodec, DAC, Stable Audio) bereiken state-of-the-art prestaties in compressie en generatie, wat vaak leidt tot de aanname dat ze direct interpreteerbare kenmerken zoals toonhoogte (pitch) en timbre coderen. Echter, interpretatiestudies zijn er grotendeels niet in geslaagd om deze kenmerken te extraheren uit geleerde representaties. Dit artikel betoogt dat sterke prestaties kunnen bestaan zonder directe toegang tot interpreteerbare tijd-frequentie primitieven. De auteurs stellen dat strided convolutionele encoders twee structurele bottlenecks opleggen die de toegang tot frequentiegelokaliseerde primitieven (smalbandige oscillaties) die ten grondslag liggen aan menselijk betekenisvolle audio-kenmerken, degraderen. Deze bottlenecks verstrengelen kenmerken, waardoor ze ontoegankelijk worden voor onafhankelijke manipulatie, zelfs als de signaalinformatie theoretisch behouden blijft binnen de latente ruimte.

Methodologie

Theoretisch Kader

De auteurs modelleren de encoder als een mapping $E: x(t) \to z \in \mathbb{R}^d$ die tijdreeks-inputs comprimeert naar latents via strided convoluties. Ze analyseren twee specifieke faalmodi:

1. Injectiviteitsfalen (Aliasing Collapse):

   • Mechanisme: Downsampling-operaties induceren aliasing, waarbij verschillende inputfrequenties $f_i$ worden gemapt naar dezelfde latente frequentie $f_i \mod f_s$ (waarbij $f_s$ de effectieve latente bemonsteringsfrequentie is).
   • Theorie: Gebruikmakend van het duivenhokprincipe leiden de auteurs een analytische grens af voor het aantal injectief representeerbare componenten ($q$) op basis van de rekenkundige relatie tussen signaalcomponenten en het stride-schema. Als het aantal inputcomponenten $n > q$, klappen verschillende componenten samen tot ononderscheidbare proxy-componenten.
   • Voorspelling: Deze instorting is voorspelbaar louter vanuit de architectuur (stride schema) en de signaalstructuur, onafhankelijk van geleerde gewichten.

2. Scheidbaarheidsfalen (Resolutiebeperking):

   • Mechanisme: Zelfs als componenten aliasing overleven, kunnen ze nog steeds onscheidbaar blijven door geleerde filters als de bandbreedtes van de filters te breed zijn.
   • Theorie: Het cumulatieve receptieve veld ($R$) van de encoder stelt een harde bovengrens aan de frequentieresolutie ($\Delta f = f_s / R$) op basis van het onzekerheidsprincipe.
   • Voorspelling: Een lichtgewicht structureel model voorspelt de minimaal haalbare bandbreedte van geleerde filters op basis van enkel de geometrie van de kernels (groottes, dilaties, strides) zonder toegang te hebben tot gewichten. De auteurs hypothetiseren dat geleerde filters aanzienlijk boven deze theoretische limiet opereren.

Empirische Validatie

• Datasets: Gecontroleerde synthetische signalen bestaande uit smalbandige componenten met bekende centrumfrequenties werden gebruikt om de grondwaarheid van de instorting te meten. Experimenten besloegen 643 signaalconfiguraties over drie state-of-the-art modellen: EnCodec, DAC en Stable Audio.
• Metrieken:
  • Collapse Rate: Het deel van de inputcomponenten dat naar gedeelde latente proxies mapt.
  • Separability Ratio: De ratio tussen componentafstand en de bandbreedte van de geleerde filters ($\rho = \Delta c / B$).
  • Filter Bandwidth: Gemeten via spectrale analyse van de frequentierespons van de laatste convolutionele laag.

Interventie: Gabor Latent Refactorization (GLRF)

Om scheidbaarheid (maar niet injectiviteit) aan te pakken, stellen de auteurs GLRF voor, een lichtgewicht, post-hoc interventie die geen hertraining van de encoder vereist:

1. Decompositie: Encoder-latents worden door een vaste Gabor-filterbank gestuurd, geparametriseerd om overeen te komen met de theoretische resolutiegrens ($\Delta f = f_s / R$). Dit heruit drukt de latents in een frequentiegelokaliseerde basis.
2. Reconstructie: Een lineaire mapping $M$ wordt geleerd via closed-form ridge regressie om de oorspronkelijke latent te reconstrueren uit de Gabor-gedecodeerde representatie ($z \approx M\tilde{z}$).
3. Controle: Deze transformatie maakt gerichte manipulatie van specifieke frequentiebins mogelijk (bijv. het vervangen van de ene toonhoogte door de andere) door te opereren op de gelokaliseerde Gabor-componenten.

Belangrijkste Resultaten

1. Voorspellende Nauwkeurigheid van Structurele Bottlenecks

• Injectiviteit: De analytisch voorspelde instortingspercentages correleerden met de geobserveerde rates met een $r \approx 0.99$ over alle modellen en signaalconfiguraties.
  • Geobserveerde instortingspercentages varieerden van 31% tot 35% voor realistische signaalinstellingen.
  • De studie bevestigde dat zeer samengestelde bemonsteringsfrequenties (bijv. 48 kHz) aanzienlijk meer instorting induceren dan frequenties met lagere factorcomplexiteit (bijv. 22.05 kHz of 44.1 kHz).
• Scheidbaarheid: Geleerde filters opereerden 9–35 keer boven de theoretische resolutiegrens van het receptieve veld.
  • Bijvoorbeeld, de beste filterbandbreedte van DAC was 35× de theoretische limiet, terwijl die van EnCodec 10× was.
  • Dit bevestigt dat hoewel het stapelen van convoluties de resolutie verbetert ten opzichte van enkelvoudige kernel-bounds, de encoders er niet in slagen de volledige resolutiecapaciteit die hun receptieve velden toestaan, te benutten.

2. Effectiviteit van GLRF

• Resolutieherstel: GLRF verminderde de filterbandbreedtes van 10–35× de theoretische grens naar 1.5–3× de grens.
• Fidelity: De reconstructie-getrouwheid bleef behouden, met een latente cosinus-gelijkenis $\ge 0.97$ en een lage log-mel fout.
• Controleerbaarheid:
  • Gerichte Substitutie: In de oorspronkelijke latente ruimte slaagde gerichte frequentiesubstitutie slechts in 30% van de gevallen (onder de kansgrens door contextcontaminatie). In de GLRF-ruimte bereikte het succes 100%.
  • Lokalisatie: In de Gabor-ruimte concentreerde 80% van de energie-delta van een frequentiesubstitutie zich in slechts 3 bins, terwijl de verandering in de oorspronkelijke latente ruimte verdeeld was over ~349 kanalen zonder identificeerbare structuur.
  • Stabiliteit: Substitierichtingen in de Gabor-ruimte waren consistent over verschillende mix-contexten (gemiddelde cosinus-gelijkenis 0.88), terwijl de richtingen in de oorspronkelijke latente ruimte aanzienlijk varieerden (0.61).

Betekenis en Claims

Het artikel claimt dat het onvermogen om toonhoogte en timbre te controleren in huidige end-to-end audiomodellen niet louter een tekortkoming in de training is, maar een voorspelbaar structureel gevolg van strided convolutionele architecturen.

• Architecturale Determinisme: Het falen om toegang te krijgen tot frequentieprimitieven wordt bepaald door het stride-schema en de kernelgeometrie, waardoor deze beperkingen geanalyseerd en voorspeld kunnen worden vóór de training.
• Verstrengeling vs. Afwezigheid: De modellen "vergeten" de frequentiestructuur niet; ze bewaren deze eerder in een verstrengelde, ontoegankelijke vorm. De kenmerken bestaan, maar zijn niet geëxposeerd in een basis die onafhankelijke manipulatie toestaat.
• Post-Hoc Herstel: Het papier demonstreert dat een aanzienlijke representatieve controle kan worden teruggewonnen zonder hertraining. GLRF dient als een proof-of-concept dat het heruitdrukken van latents in een frequentiegelokaliseerde basis de signaalstructuur die al aanwezig is in de parameterruimte van de encoder kan "ontsluiten".
• Ontwerpimplicaties: De auteurs suggereren dat het ontwerp van het stride-schema een cruciale hefboom is voor de representatieve capaciteit. Het kiezen van bemonsteringsfrequenties met een lage factorcomplexiteit kan aliasing-instorting aanzienlijk verminderen, een beslissing die in de architecturale ontwerpfase genomen moet worden in plaats van te vertrouwen op geleerde anti-aliasing.

Dit werk positioneert zich binnen het bredere veld van mechanistische interpreteerbaarheid, met de stelling dat de "representatieve budget" die door bestaande architecturen wordt geboden, vaak onderbenut wordt voor menselijk betekenisvolle structuren vanwege deze specifieke geometrische beperkingen.