Technisches Resümee: Strukturelle Engpässe in der Frequenzrepräsentation von End-to-End-Audiomodellen

Problemstellung

End-to-End-neuronale Audiomodelle (z. B. EnCodec, DAC, Stable Audio) erzielen eine Spitzenleistung bei Kompression und Generierung, was oft zu der Annahme führt, dass sie direkt interpretierbare Merkmale wie Tonhöhe (Pitch) und Timbre kodieren. Interpretabilitätsstudien haben jedoch weitgehend daran gescheitert, diese Merkmale aus den gelernten Repräsentationen zu extrahieren. Dieses Paper argumentiert, dass eine starke Performance ohne direkten Zugriff auf interpretierbare Zeit-Frequenz-Primitive existieren kann. Die Autoren postulieren, dass gestreifte (strided) konvolutionale Encoder zwei strukturelle Engpässe auferlegen, die den Zugriff auf die frequenzlokalisierten Primitive (schmalbandige Oszillationen), die menschlich bedeutsame Audio-Merkmale zugrunde liegen, erschweren. Diese Engpässe verstricken (entangle) Merkmale, wodurch sie für eine unabhängige Manipulation unzugänglich werden, selbst wenn die Signalinformation theoretisch innerhalb des latenten Raums erhalten bleibt.

Methodik

Theoretischer Rahmen

Die Autoren modellieren den Encoder als eine Abbildung $E: x(t) \to z \in \mathbb{R}^d$, die Zeitbereichs-Inputs via gestreifter Konvolutionen in Latents komprimiert. Sie analysieren zwei spezifische Ausfallmodi:

1. Versagen der Injektivität (Aliasing-Kollaps):

   • Mechanismus: Downsampling-Operationen induzieren Aliasing, wodurch unterschiedliche Eingangsfrequenzen $f_i$ auf dieselbe latente Frequenz $f_i \mod f_s$ abgebildet werden (wobei $f_s$ die effektive latente Abtastrate ist).
   • Theorie: Unter Verwendung des Schubfachprinzips leiten die Autoren eine analytische Schranke für die Anzahl der injektiv repräsentierbaren Komponenten ($q$) her, basierend auf der arithmetischen Beziehung zwischen Signal-Frequenzen und dem Stride-Schema. Wenn die Anzahl der Eingangskomponenten $n > q$, kollabieren distinkte Komponenten zu ununterscheidbaren Proxy-Komponenten.
   • Vorhersage: Dieser Kollaps ist rein aus der Architektur (Stride-Schema) und der Signalstruktur vorhersagbar, unabhängig von den gelernten Gewichten.

2. Versagen der Separabilität (Auflösungsgrenze):

   • Mechanismus: Selbst wenn Komponenten dem Aliasing entgehen, können sie durch gelernte Filter unseparabel bleiben, falls die Bandbreiten der Filter zu groß sind.
   • Theorie: Das kumulative rezeptive Feld ($R$) des Encoders setzt eine harte Obergrenze für die Frequenzauflösung ($\Delta f = f_s / R$) basierend auf dem Unschärfeprinzip.
   • Vorhersage: Ein leichtgewichtiges Strukturmodell sagt die minimal erreichbare Bandbreite gelernter Filter allein basierend auf der Kernel-Geometrie (Größen, Dilationen, Strides) voraus, ohne auf die Gewichte zuzugreifen. Die Autoren hypothetisieren, dass gelernte Filter signifikant über dieser theoretischen Grenze operieren.

Empirische Validierung

• Datensätze: Kontrollierte synthetische Signale, bestehend aus schmalbandigen Komponenten mit bekannten Mittenfrequenzen, wurden verwendet, um den Ground-Truth-Kollaps zu messen. Die Experimente deckten 643 Signal-Konfigurationen über drei State-of-the-Art-Modelle ab: EnCodec, DAC und Stable Audio.
• Metriken:
  • Kollapsrate (Collapse Rate): Der Anteil der Eingangskomponenten, die auf gemeinsame latente Proxies abgebildet werden.
  • Separabilitätsverhältnis (Separability Ratio): Das Verhältnis von Komponentenabstand zu gelernter Filterbandbreite ($\rho = \Delta c / B$).
  • Filterbandbreite (Filter Bandwidth): Gemessen via Spektralanalyse der Frequenzantwort der finalen konvolutionalen Schicht.

Intervention: Gabor Latent Refactorization (GLRF)

Um die Separabilität (aber nicht die Injektivität) zu adressieren, schlagen die Autoren GLRF vor, eine leichtgewichtige Post-hoc-Intervention, die kein Retraining des Encoders erfordert:

1. Dekomposition: Die Encoder-Latents werden durch eine feste Gabor-Filterbank geleitet, die so parametrisiert ist, dass sie der theoretischen Auflösungsgrenze entspricht ($\Delta f = f_s / R$). Dies drückt die Latents in einer frequenzlokalisierten Basis neu aus.
2. Rekonstruktion: Eine lineare Abbildung $M$ wird mittels geschlossener Form der Ridge-Regression gelernt, um den ursprünglichen Latent aus der Gabor-dekomponierten Repräsentation zu rekonstruieren ($z \approx M\tilde{z}$).
3. Kontrolle: Diese Transformation ermöglicht die gezielte Manipulation spezifischer Frequenz-Bins (z. B. das Ersetzen einer Tonhöhe durch eine andere), indem auf den lokalisierten Gabor-Komponenten operiert wird.

Zentrale Ergebnisse

1. Vorhersagegenauigkeit struktureller Engpässe

• Injektivität: Die analytisch vorhergesagten Kollapsraten korrelierten mit den beobachteten Raten bei $r \approx 0,99$ über alle Modelle und Signal-Konfigurationen hinweg.
  • Beobachtete Kollapsraten lagen zwischen 31 % und 35 % für realistische Signal-Einstellungen.
  • Die Studie bestätigte, dass hochzusammengesetzte (highly composite) Abtastraten (z. B. 48 kHz) signifikant mehr Kollaps induzieren als Raten mit geringerer Faktor-Komplexität (z. B. 22,05 kHz oder 44,1 kHz).
• Separabilität: Gelernte Filter operierten 9- bis 35-mal über der theoretischen Grenze der rezeptiven Feld-Auflösung.
  • Beispielsweise lag die beste Filterbandbreite von DAC beim 35-fachen des theoretischen Limits, während EnCodec beim 10-fachen lag.
  • Dies bestätigt, dass das Stapeln von Konvolutionen zwar die Auflösung gegenüber Single-Kernel-Grenzen verbessert, die Encoder jedoch nicht das volle durch ihr rezeptives Feld zulässige Auflösungskapazität nutzen.

2. Effektivität von GLRF

• Wiederherstellung der Auflösung (Resolution Recovery): GLRF reduzierte die Filterbandbreiten von 10–35× der theoretischen Grenze auf 1,5–3× die Grenze.
• Fidelity: Die Rekonstruktions-Fidelity blieb erhalten, mit einer latenten Kosinus-Ähnlichkeit $\ge 0,97$ und einem niedrigen Log-Mel-Fehler.
• Kontrollierbarkeit:
  • Gezielte Substitution: Im ursprünglichen latenten Raum gelang die gezielte Frequenz-Substitution nur in 30 % der Fälle (unterhalb der Chance aufgrund von Kontext-Kontamination). Im GLRF-Raum erreichte der Erfolg 1-00 %.
  • Lokalisierung: 80 % der Energie-Delta für eine Frequenz-Substitution konzentrierte sich im Gabor-Raum auf nur 3 Bins, während die Änderung im ursprünglichen latenten Raum über ~349 Kanäle verteilt war, ohne identifizierbare Struktur.
  • Stabilität: Die Substitutions-Richtungen im Gabor-Raum waren über verschiedene Misch-Kontexte hinweg konsistent (mittlere Kosinus-Ähnlichkeit 0,88), während die Richtungen im ursprünglichen latenten Raum stark variierten (0,61).

Bedeutung und Behauptungen

Das Paper behauptet, dass die Unfähigkeit, Tonhöhe und Timbre in aktuellen End-to-End-Audiomodellen zu kontrollieren, nicht bloß ein Defizit im Training ist, sondern eine vorhersagbare strukturelle Konsequenz von gestreiften konvolutionalen Architekturen.

• Architektonische Determiniertheit: Das Versagen beim Zugriff auf Frequenz-Primitive wird durch das Stride-Schema und die Kernel-Geometrie bestimmt, was eine Analyse und Vorhersage dieser Limitationen bereits vor dem Training ermöglicht.
• Verstrickung vs. Abwesenheit: Die Modelle „vergessen“ die Frequenzstruktur nicht; vielmehr bewahren sie sie in einer verstrickten, unzugänglichen Form auf. Die Merkmale existieren, sind aber nicht in einer Basis exponiert, die eine unabhängige Manipulation erlaubt.
• Post-Hoc-Wiederherstellung: Das Paper demonstriert, dass ein signifikanter Grad an Repräsentationskontrolle zurückgewonnen werden kann, ohne das Modell neu zu trainieren. GLRF dient als Proof-of-Concept dafür, dass das Neu-Ausdrücken von Latents in einer frequenzlokalisierten Basis die bereits im Parameterraum des Encoders vorhandene Signalstruktur „freischalten“ kann.
• Design-Implikationen: Die Autoren legen nahe, dass das Design des Stride-Schemas ein kritischer Hebel für die Repräsentationskapazität ist. Die Wahl von Abtastraten mit geringer Faktor-Komplexität kann den Aliasing-Kollaps erheblich reduzieren – eine Entscheidung, die bereits in der Architekturdesign-Phase getroffen werden sollte, anstatt sich auf gelerntes Anti-Aliasing zu verlassen.

Die Arbeit ordnet sich in das breitere Feld der mechanistischen Interpretierbarkeit ein und argumentiert, dass das „Repräsentationsbudget“, das bestehende Architekturen bereitstellen, aufgrund dieser spezifischen geometrischen Einschränkungen oft unter der Kapazität für menschenähnliche Strukturen bleibt.