Resumen Técnico: Cuellos de Botella Estructurales en la Representación de Frecuencia en Modelos de Audio End-to-End

Declaración del Problema

Los modelos de audio neuronales de extremo a extremo (end-to-end) (p. ej., EnCodec, DAC, Stable Audio) logran un rendimiento de vanguardia en compresión y generación, lo que a menudo conduce a la suposición de que codifican directamente características interpretables como el tono y el timbre. Sin embargo, los estudios de interpretabilidad han fallado ampliamente en recuperar estas características de las representaciones aprendidas. Este artículo sostiene que un alto rendimiento puede existir sin acceso directo a primitivas de tiempo-frecuencia interpretables. Específicamente, los autores postulan que los codificadores convolucionales con saltos (strided convolutions) imponen dos cuellos de botella estructurales que degradan el acceso a las primitivas localizadas en frecuencia (oscilaciones de banda estrecha) que subyacen a las características de audio con significado humano. Estos cuellos de botella entrelazan las características, haciéndolas inaccesibles para una manipulación independiente, incluso si la información de la señal está teóricamente preservada dentro del espacio latente.

Metodología

Marco Teórico

Los autores modelan el codificador como un mapeo $E: x(t) \to z \in \mathbb{R}^d$ que comprime entradas en el dominio del tiempo en latentes mediante convoluciones con saltos. Analizan dos modos específicos de falla:

1. Falla de Inyectividad (Colapso por Aliasing):

   • Mecanismo: Las operaciones de submuestreo inducen aliasing, mapeando frecuencias de entrada distintas $f_i$ a la misma frecuencia latente $f_i \mod f_s$ (donde $f_s$ es la tasa de muestreo efectiva del latente).
   • Teoría: Utilizando el principio del palomar, los autores derivan un límite analítico sobre el número de componentes inyectivamente representables ($q$) basado en la relación aritmética entre las frecuencias de la señal y el esquema de saltos (stride schedule). Si el número de componentes de entrada $n > q$, componentes distintos colapsan en componentes proxy indistinguibles.
   • Predicción: Este colapso es predecible puramente a partir de la arquitectura (esquema de saltos) y la estructura de la señal, independientemente de los pesos aprendidos.

2. Falla de Separabilidad (Límite de Resolución):

   • Mecanismo: Incluso si los componentes sobreviven al aliasing, pueden permanecer inseparables para los filtros aprendidos si el ancho de banda de dichos filtros es demasiado amplio.
   • Teoría: El campo receptivo acumulativo ($R$) del codificador establece un límite superior estricto para la resolución de frecuencia ($\Delta f = f_s / R$) basado en el principio de incertidumbre.
   • Predicción: Un modelo estructural ligero predice el ancho de banda mínimo alcanzable de los filtros aprendidos basándose únicamente en la geometría del kernel (tamaños, dilataciones, saltos) sin acceder a los pesos. Los autores hipotetizan que los filtros aprendidos operan significativamente por encima de este límite teórico.

Validación Empírica

• Conjuntos de Datos: Se utilizaron señales sintéticas controladas compuestas por componentes de banda estrecha con frecuencias centrales conocidas para medir el colapso de verdad fundamental (ground-truth). Los experimentos cubrieron 643 configuraciones de señales en tres modelos de vanguardia: EnCodec, DAC y Stable Audio.
• Métricas:
  • Tasa de Colapso (Collapse Rate): La fracción de componentes de entrada que se mapean a proxies compartidos.
  • Ratio de Separabilidad (Separability Ratio): La relación entre el espaciamiento de los componentes y el ancho de banda del filtro aprendido ($\rho = \Delta c / B$).
  • Ancho de Banda del Filtro (Filter Bandwidth): Medido mediante el análisis espectral de la respuesta de frecuencia de la última capa convolucional.

Intervención: Refactorización de Latentes de Gabor (GLRF)

Para abordar la separabilidad (pero no la inyectividad), los autores proponen GLRF, una intervención ligera post-hoc que no requiere el reentrenamiento del codificador:

1. Descomposición: Los latentes del codificador se pasan a través de un banco de filtros de Gabor fijo, parametrizado para coincidir con el límite de resolución teórico ($\Delta f = f_s / R$). Esto reexpresa los latentes en una base localizada en frecuencia.
2. Reconstrucción: Se aprende un mapeo lineal $M$ mediante regresión de Ridge de forma cerrada para reconstruir el latente original a partir de la representación descompuesta por Gabor ($z \approx M\tilde{z}$).
3. Control: Esta transformación permite la manipulación dirigida de bins de frecuencia específicos (por ejemplo, sustituir un tono por otro) operando sobre los componentes de Gabor localizados.

Resultados Clave

1. Precisión Predictiva de los Cuellos de Botella Estructurales

• Inyectividad: Las tasas de colapso predichas analíticamente correlacionaron con las tasas observadas con un $r \approx 0.99$ en todos los modelos y configuraciones de señal.
  • Las tasas de colapso observadas oscilaron entre el 31% y el 35% para configuraciones de señal realistas.
  • El estudio confirmó que las tasas de muestreo altamente compuestas (p. ej., 48 kHz) inducen significativamente más colapso que las tasas con menor complejidad de factores (p. ej., 22.05 kHz o 44.1 kHz).
• Separabilidad: Los filtros aprendidos operaron de 9 a 35 veces por encima del límite de resolución del campo receptivo teórico.
  • Por ejemplo, el mejor ancho de banda de filtro de DAC fue 35× el límite teórico, mientras que el de EnCodec fue 10×.
  • Esto confirma que, aunque apilar convoluciones mejora la resolución sobre los límites de un solo kernel, los codificadores no logran utilizar la capacidad total de resolución permitida por sus campos receptivos.

2. Efectividad de GLRF

• Recuperación de Resolución: GLRF redujo los anchos de banda de los filtros de 10–35× el límite teórico a 1.5–3× dicho límite.
• Fidelidad: Se preservó la fidelidad de la reconstrucción, con una similitud de coseno de los latentes $\ge 0.97$ y un bajo error de log-mel.
• Controlabilidad:
  • Sustitución Dirigida: En el espacio latente original, la sustitución de frecuencia dirigida tuvo éxito en solo el 30% de los casos (por debajo del azar debido a la contaminación de contexto). En el espacio GLRF, el éxito alcanzó el 100%.
  • Localización: En el espacio de Gabor, el 80% del delta de energía para una sustitución de frecuencia se concentró en solo 3 bins, mientras que en el latente original, el cambio se distribuyó en aproximadamente 349 canales sin una estructura identificable.
  • Estabilidad: Las direcciones de sustitución en el espacio de Gabor fueron consistentes a través de diferentes contextos de mezcla (similitud de coseno media de 0.88), mientras que las direcciones en el latente original variaron significativamente (0.61).

Significado y Reivindicaciones

El artículo afirma que la incapacidad de controlar el tono y el timbre en los modelos de audio actuales no es simplemente una deficiencia de entrenamiento, sino una consecuencia estructural predecible de las arquitecturas convolucionales con saltos.

• Determinismo Arquitectónico: El fallo en el acceso a las primitivas de frecuencia está determinado por el esquema de saltos y la geometría del kernel, lo que permite analizar y predecir estas limitaciones antes del entrenamiento.
• Entrelazamiento vs. Ausencia: Los modelos no "olvidan" la estructura de frecuencia; más bien, la preservan en una forma entrelazada e inaccesible. Las características existen, pero no están expuestas en una base que permita la manipulación independiente.
• Recuperación Post-Hoc: El artículo demuestra que se puede recuperar un control representacional significativo sin reentrenar. GLRF sirve como prueba de concepto de que reexpresar los latentes en una base localizada en frecuencia puede "desbloquear" la estructura de la señal ya presente en el espacio de parámetros del codificador.
• Implicaciones de Diseño: Los autores sugieren que el diseño del esquema de saltos es una palanca crítica para la capacidad representacional. Elegir tasas de muestreo con baja complejidad de factores puede reducir significamente el colapso por aliasing, una decisión que debe tomarse en la etapa de diseño arquitectónico en lugar de confiar en un anti-aliasing aprendido.

El trabajo se posiciona dentro del campo más amplio de la interpretabilidad mecánica, argumentando que para los modelos de audio, el "presupuesto representacional" proporcionado por las arquitecturas existentes a menudo se utiliza insuficientemente para la estructura con significado humano debido a estos problemas geométicos específicos.