Resumo Técnico: Gargalos Estruturais na Representação de Frequência em Modelos de Áudio End-to-End

Declaração do Problema

Modelos de áudio neurais end-to-end (ex: EnCodec, DAC, Stable Audio) alcançam desempenho de estado da arte em compressão e geração, levando frequentemente à suposição de que eles codificam diretamente características interpretáveis como tom (pitch) e timbre. No entanto, estudos de interpretabilidade falharam amplamente em recuperar essas características a partir das representações aprendidas. Este artigo argumenta que um forte desempenho pode existir sem o acesso direto a primitivas de tempo-frequência interpretáveis. Os autores postulam que codificadores convolucionais com stride (passo) impõem dois gargalos estruturais que degradam o acesso às primitivas localizadas em frequência (oscilações de banda estreita) que fundamentam as características de áudio significativas para humanos. Esses gargalos emaranham as características, tornando-as inacessíveis para manipulação independente, mesmo que a informação do sinal esteja teoricamente preservada dentro do espaço latente.

Metodologia

Estrutura Teórica

Os autores modelam o codificador como um mapeamento $E: x(t) \to z \in \mathbb{R}^d$ que comprime entradas no domínio do tempo em latentes via convoluções com stride. Eles analisam dois modos específicos de falha:

1. Falha de Injetividade (Colapso por Aliasing):

   • Mecanismo: Operações de downsampling induzem aliasing, mapeando frequências distintas de entrada $f_i$ para a mesma frequência latente $f_i \mod f_s$ (onde $f_s$ é a taxa de amostragem efetiva do latente).
   • Teoria: Usando o princípio da casa dos pombos, os autores derivam um limite analítico para o número de componentes injetivamente representáveis ($q$) baseado na relação aritmética entre as frequências do sinal e o cronograma de stride (stride schedule). Se o número de componentes de entrada $n > q$, componentes distintos colapsam em componentes proxies indistinguíveis.
   • Predição: Este colapso é previsível puramente pela arquitetura (cronograma de stride) e estrutura do sinal, independentemente dos pesos aprendidos.

2. Falha de Separabilidade (Limite de Resolução):

   • Mecanismo: Mesmo que os componentes sobrevivam ao aliasing, eles podem permanecer inseparáveis pelos filtros aprendidos se as larguras de banda dos filtros forem muito amplas.
   • Teoria: O campo receptivo cumulativo ($R$) do codificador estabelece um limite superior rígido para a resolução de frequência ($\Delta f = f_s / R$) baseado no princípio da incerteza.
   • Predição: Um modelo estrutural leve prevê a largura de banda mínima alcançável dos filtros aprendidos baseando-se apenas na geometria do kernel (tamanhos, dilatações, strides) sem acessar os pesos. Os autores hipotetizam que os filtros aprendidos operam significativamente acima deste limite teórico.

Validação Empírica

• Datasets: Sinais sintéticos controlados compostos de componentes de banda estreita com frequências centrais conhecidas foram usados para medir o colapso real. Os experimentos cobriram 643 configurações de sinais em três modelos de estado da arte: EnCodec, DAC e Stable Audio.
• Métricas:
  • Taxa de Colapso (Collapse Rate): A fração de componentes de entrada que mapeiam para proxies compartilhados.
  • Razão de Separabilidade (Separability Ratio): A razão entre o espaçamento dos componentes e a largura de banda do filtro aprendido ($\rho = \Delta c / B$).
  • Largura de Banda do Filtro (Filter Bandwidth): Medida via análise espectral da resposta de frequência da última camada convolucional.

Intervenção: Refatoração de Latente Gabor (GLRF)

Para abordar a separabilidade (mas não a injetividade), os autores propõem a GLRF, uma intervenção post-hoc leve que não requer o retreinamento do codificador:

1. Decomposição: Os latentes do codificador passam por um banco de filtros Gabor fixo, parametrizado para corresponder ao limite de resolução teórico ($\Delta f = f_s / R$). Isso reexpressa os latentes em uma base localizada em frequência.
2. Reconstrução: Um mapeamento linear $M$ é aprendido via regressão de ridge de forma fechada para reconstruir o latente original a partir da representação decomposta por Gabor ($z \approx M\tilde{z}$).
3. Controle: Esta transformação permite a manipulação direcionada de bins de frequência específicos (ex: substituir um tom por outro) ao operar sobre os componentes Gabor localizados.

Principais Resultados

1. Precisão Preditiva de Gargalos Estruturais

• Injetividade: As taxas de colapso preditas analiticamente correlacionaram-se com as taxas observadas com $r \approx 0,99$ em todos os modelos e configurações de sinal.
  • As taxas de colapso observadas variaram de 31% a 35% para configurações de sinais realistas.
  • O estudo confirmou que taxas de amostragem altamente compostas (ex: 48 kHz) induzem significativamente mais colapso do que taxas com menor complexidade de fator (ex: 22,05 kHz ou 44,1 kHz).
• Separabilidade: Os filtros aprendidos operaram de 9 a 35 vezes acima do limite teórico de resolução do campo receptivo.
  • Por exemplo, a melhor largura de banda de filtro do DAC foi 35× o limite teórico, enquanto a do EnCodec foi 10×.
  • Isso confirma que, embora o empilhamento de convoluções melhore a resolução em relação aos limites de um único kernel, os codificadores falham em utilizar a capacidade total de resolução permitida por seus campos receptivos.

2. Eficácia da GLRF

• Recuperação de Resolução: A GLRF reduziu as larguras de banda dos filtros de 10–35× o limite teórico para 1,5–3× o limite.
• Fidelidade: A fidelidade da reconstrução foi preservada, com similaridade de cosseno de latente $\ge 0,97$ e baixo erro de log-mel.
• Controlabilidade:
  • Substituição Direcionada: No espaço latente original, a substituição direcionada de frequência teve sucesso em apenas 30% dos casos (abaixo do acaso devido à contaminação de contexto). No espaço GLRF, o sucesso atingiu 100%.
  • Localização: No espaço Gabor, 80% do delta de energia para uma substituição de frequência concentrou-se em apenas 3 bins, enquanto no latente original, a mudança foi distribuída por ~349 canais sem estrutura identificável.
  • Estabilidade: As direções de substituição no espaço Gabor foram consistentes entre contextos de mistura (similaridade de cosseno média de 0,88), enquanto as direções no latente original variaram significativamente (0,61).

Significância e Alegações

O artigo alega que a incapacidade de controlar o tom e o timbre nos modelos de áudio end-to-end atuais não é meramente uma deficiência de treinamento, mas uma consequência estrutural previsível das arquiteturas convolucionais com stride.

• Determinismo Arquitetural: A falha em acessar primitivas de frequência é determinada pelo cronograma de stride e pela geometria do kernel, permitindo que essas limitações sejam analisadas e previstas antes do treinamento.
• Emaranhamento vs. Ausência: Os modelos não "esquecem" a estrutura de frequência; em vez disso, preservam-na de uma forma emaranhada e inacessível. As características existem, mas não estão expostas em uma base que permita a manipulação independente.
• Recuperação Post-Hoc: O artigo demonstra que um controle representacional significativo pode ser recuperado sem retreinar. A GLRF serve como uma prova de conceito de que reexpressar os latentes em uma base localizada em frequência pode "desbloquear" a estrutura do sinal já presente no espaço de parâmetros do codificador.
• Implicações de Design: Os autores sugerem que o design do cronograma de stride é uma alavanca crítica para a capacidade representacional. Escolher taxas de amostragem com baixa complexidade de fator pode reduzir substancialmente o colapso por aliasing, uma decisão que deve ser tomada na fase de design arquitetural, em vez de depender de anti-aliasing aprendido.

O trabalho posiciona-se dentro do campo mais amplo da interpretabilidade mecanística, argumentando que o "orçamento representacional" fornecido pelas arquiteturas existentes é frequentemente subutilizado para estruturas significativas para humanos devido a esses gargalos geométicos específicos.