Résumé Technique : Goulots d'étranglement structurels sur la représentation fréquentielle dans les modèles audio de bout en bout

Énoncé du Problème

Les modèles audio neuronaux de bout en bout (par exemple, EnCodec, DAC, Stable Audio) atteignent des performances de pointe en matière de compression et de génération, ce qui conduit souvent à l'hypothèse qu'ils encodent directement des caractéristiques interprétables comme la hauteur (pitch) et le timbre. Cependant, les études d'interprétabilité ont largement échoué à récupérer ces caractéristiques à partir des représentations apprises. Cet article soutient qu'une forte performance peut exister sans accès direct à des primitives tempo-fréquentielles interprétables. Les auteurs postulent que les encodeurs convolutionnels à pas (strided) imposent deux goulots d'étranglement structurels qui dégradent l'accès aux primitives localisées en fréquence (oscillations à bande étroite) qui sous-tendent les caractéristiques audio significatives pour l'humain. Ces goulots d'étranglements enchevêtrent les caractéristiques, les rendant inaccessibles à une manipulation indépendante, même si l'information du signal est théoriquement préservée au sein de l'espace latent.

Méthodologie

Cadre Théorique

Les auteurs modélisent l'encodeur comme une application $E: x(t) \to z \in \mathbb{R}^d$ qui compresse les entrées temporelles en latents via des convolutions à pas. Ils analysent deux modes de défaillance spécifiques :

1. Échec d'Injectivité (Effondrement par Repliement/Aliasing) :

   • Mécanisme : Les opérations de sous-échantillonnage induisent du repliement (aliasing), mappant des fréquences d'entrée distinctes $f_i$ vers la même fréquence latente $f_i \mod f_s$ (où $f_s$ est le taux d'échantillonnage effectif du latent).
   • Théorie : En utilisant le principe des tiroirs, les auteurs dérivent une borne analytique sur le nombre de composantes injectivement représentables ($q$) basée sur la relation arithmétique entre les fréquences du signal et le calendrier de pas (stride schedule). Si le nombre de composantes d'entrée $n > q$, des composantes distinctes s'effondrent en composantes proxies indistinctes.
   • Prédiction : Cet effondrement est prédictible uniquement à partir de l'architecture (calendrier de pas) et de la structure du signal, indépendamment des poids appris.

2. Échec de Séparabilité (Limite de Résolution) :

   • Mécanisme : Même si les composantes survivent au repliement, elles peuvent rester inséparables par les filtres appris si les bandes passantes de ces filtres sont trop larges.
   • Théorie : Le champ récepteur cumulatif ($R$) de l'encodeur impose une limite supérieure stricte sur la résolution en fréquence ($\Delta f = f_s / R$) basée sur le principe d'incertitude.
   • Prédiction : Un modèle structurel léger prédit la bande passante minimale réalisable des filtres appris en se basant uniquement sur la géométrie des noyaux (tailles, dilatations, pas) sans accéder aux poids. Les auteurs émettent l'hypothèse que les filtres appris opèrent de manière significative au-dessus de cette limite théorique.

Validation Empirique

• Jeux de Données : Des signaux synthétiques contrôlés, composés de composantes à bande étroite avec des fréquences centrales connues, ont été utilisés pour mesurer l'effondrement réel. Les expériences couvrent 643 configurations de signaux sur trois modèles de pointe : EnCodec, DAC et Stable Audio.
• Métriques :
  • Taux d'Effondrement (Collapse Rate) : La fraction des composantes d'entrée mappées vers des proxies partagés.
  • Ratio de Séparabilité : Le ratio entre l'espacement des composantes et la bande passante du filtre appris ($\rho = \Delta c / B$).
  • Bande Passante du Filtre : Mesurée via l'analyse spectrale de la réponse en fréquence de la dernière couche convolutionnelle.

Intervention : Refactorisation Latente de Gabor (GLRF)

Pour traiter la séparabilité (mais pas l'injectivité), les auteurs proposent la GLRF, une intervention légère et post-hoc qui ne nécessite pas de réentraînement de l'encodeur :

1. Décomposition : Les latents de l'encodeur passent par un banc de filtres de Gabor fixe, paramétré pour correspondre à la limite de résolution théorique ($\Delta f = f_s / R$). Cela réexprime les latents dans une base localisée en fréquence.
2. Reconstruction : Une application linéaire $M$ est apprise via une régression de Ridge en forme fermée pour reconstruire le latent original à partir de la représentation décomposée par Gabor ($z \approx M\tilde{z}$).
3. Contrôle : Cette transformation permet une manipulation ciblée de fréquences spécifiques (par exemple, substituer une hauteur par une autre) en opérant sur les composantes de Gabor localisées.

Résultats Clés

1. Précision Prédictive des Goulots d'Étranglement Structurels

• Injectivité : Les taux d'effondrement prédits analytiquement ont corrélé avec les taux observés avec un $r \approx 0,99$ sur tous les modèles et configurations de signaux.
  • Les taux d'effondrement observés variaient de 31 % à 35 % pour des réglages de signaux réalistes.
  • L'étude a confirmé que les taux d'échantillonnage hautement composés (ex: 48 kHz) induisent nettement plus d'effondrement que les taux ayant une complexité de facteur plus faible (ex: 22,05 kHz ou 44,1 kHz).
• Séparabilité : Les filtres appris opéraient 9 à 35 fois au-dessus de la limite de résolution du champ récepteur théorique.
  • Par exemple, la meilleure bande passante de filtre de DAC était 35× la limite théorique, tandis que celle d'EnCodec était de 10×.
  • Cela confirme que bien que l'empilement de convolutions améliore la résolution par rapport aux limites d'un noyau unique, les encodeurs ne parviennent pas à utiliser pleinement la capacité de résolution permise par leurs champs récepteurs.

2. Efficacité de la GLRF

• Récupération de la Résolution : La GLRF a réduit les bandes passantes des filtres de 10–35× la limite théorique à 1,5–3× cette limite.
• Fidélité : La fidélité de reconstruction a été préservée, avec une similarité cosinus des latents $\ge 0,97$ et une faible erreur log-mel.
• Contrôlabilité :
  • Substitution Ciblée : Dans l'espace latent original, la substitution ciblée de fréquence n'a réussi que dans 30 % des cas (en dessous du hasard dû à la contamination par le contexte). Dans l'espace GLRF, le succès a atteint 100 %.
  • Localisation : Dans l'espace de Gabor, 80 % du delta d'énergie pour une substitution de fréquence se concentrait dans seulement 3 bacs (bins), alors que dans le latent original, le changement était distribué sur environ 349 canaux sans structure identifiable.
  • Stabilité : Les directions de substitution dans l'espace de Gabor étaient cohérentes à travers les contextes de mélange (similarité cosinus moyenne de 0,88), alors que les directions du latent original variaient considérablement (0,61).

Signification et Revendications

L'article affirme que l'incapacité à contrôler la hauteur et le timbre dans les modèles audio actuels de bout en bout n'est pas simplement un déficit d'entraînement, mais une conséquence structurelle prédictible des architectures convolutionnelles à pas.

• Déterminisme Architectural : L'échec de l'accès aux primitives de fréquence est déterminé par le calendrier de pas (stride schedule) et la géométrie des noyaux, permettant d'analyser et de prédire ces limitations avant l'entraînement.
• Enchevêtrement vs Absence : Les modèles ne "perdent" pas la structure fréquentielle ; ils la préservent plutôt sous une forme enchevêtrée et inaccessible. Les caractéristiques existent, mais ne sont pas exposées dans une base qui permet une manipulation indépendante.
• Récupération Post-Hoc : L'article démontre qu'un contrôle significatif de la représentation peut être récupéré sans réentraînement. La GLRF sert de preuve de concept mont'rant que réexprimer les latents dans une base localisée en fréquence peut "déverrouiller" la structure du signal déjà présente dans l'espace des paramètres de l'encodeur.
• Implications de Conception : Les auteurs suggèrent que la conception du calendrier de pas est un levier critique pour la capacité de représentation. Choisir des taux d'échantillonnage avec une faible complexité de facteur peut réduire considérablement l'effondrement par repliement, une décision qui devrait être prise lors de la phase de conception architecturale plutôt que de compter sur un anti-repliement appris.

Ce travail se positionne au sein du champ plus large de l'interprétabilité mécaniste, arguant que pour les modèles audio, le "budget de représentation" fourni par les architectures existantes est souvent sous-utilisé pour la structure signifiante pour l'humain en raison de ces contraintes géométriques spécifiques.