Spectral Complex Autoencoder Pruning: A Fidelity-Guided Criterion for Extreme Structured Channel Compression

Resumo Técnico: Poda de Autoencoder Espectral Complexo (SCAP)

Definição do Problema
As Redes Neurais Convolucionais (CNNs) modernas enfrentam gargalos significativos de implantação em dispositivos com recursos limitados devido aos altos custos computacionais (FLOPs) e pegadas de memória (parâmetros). Embora a poda de canais estruturada — removendo canais de saída inteiros e reconfigurando as camadas subsequentes — ofereça um caminho para acelerações práticas, alcançar uma compressão "extrema" (reduzindo simultaneamente FLOPs e parâmetros em >90%) mantendo a precisão permanece um desafio. Os critérios existentes frequentemente dependem de proxies como magnitudes de filtros, estatísticas de ativação ou saliência de gradiente. Os autores argumentam que esses proxies são frágeis em razões de compressão elevadas: métodos baseados em magnitude podem descartar canais de baixa norma que capturam padrões críticos; métodos baseados em gradiente podem ser ruidosos; e a normalização por camada pode levar a uma força de poda inconsistente. Crucialmente, muitos métodos existentes avaliam os canais isoladamente, enquanto a redundância é inerentemente relacional, dependendo de quão bem a transformação de entrada-saída de um canal é explicada por outros canais.

Metodologia: Poda de Autoencoder Espectral Complexo (SCAP)
O SCAP é um critério baseado em reconstrução projetado para medir a redundância funcional ao nível de canais de saída individuais, modelando sua interação com a entrada. O método opera em duas etapas por camada convolucional:

1. Construção do Campo de Interação Complexa:
   Para uma camada com ativação de entrada $X \in \mathbb{R}^{B \times C_{in} \times H \times W}$ e ativação de saída $Y \in \mathbb{R}^{B \times C_{out} \times H_1 \times W_1}$, o SCAP constrói um campo de interação complexo $Z_k$ para cada canal de saída $k$.
   $$Z_k = X + i \cdot \text{Broadcast}(\text{Resize}(Y_k))$$
   Aqui, a entrada multicanal completa $X$ serve como a parte real, enquanto o mapa de características de saída específico $Y_k$ é redimensionado para corresponder às dimensões espaciais de $X$ e transmitido (broadcast) através de todos os canais de entrada para servir como a parte imaginária. Isso acopla a entrada e a saída em um único objeto relacional.

2. Treinamento do Autoencoder Espectral:
   O campo complexo $Z_k$ é transformado para o domínio da frequência via uma Transformada Rápida de Fourier 2D (FFT). Os componentes espectrais real e imaginário são normalizados e alimentados em um autoencoder (AE) de baixa capacidade e específico para a camada. O AE é treinado para reconstruir os espectros normalizados usando uma perda de Erro Quadrático Médio (MSE). O autoencoder é intencionalmente restrito (MLP minúsculo) para aprender apenas as estruturas comuns e compressíveis dentro dos campos de interação da camada.

3. Pontuação de Importância Baseada em Fidelidade:
   Durante a fase de poda, os AEs treinados são congelados. Para cada canal, a fidelidade de reconstrução espectral é computada como a similaridade de cosseno entre o campo de interação original vetorizado e o campo reconstruído (após a FFT inversa).

   • Alta Fidelidade: Indica que o campo de interação do canal está próximo do manifold de baixa dimensão capturado pelo AE, implicando que o canal é redundante e compressível.
   • Baixa Fidelidade: Indica que o canal codifica informações únicas ou de alta curvatura que o modelo de baixa capacidade não consegue reproduzir, implicando importância.
     O escore de importância base é definido como $I_{fid} = 1 - \text{Fidelidade}$.

4. Fusão e Poda:
   Para evitar casos em que um canal altamente reconstruível ainda possa ser saliente devido a uma grande amplitude, o escore de fidelidade é opcionalmente fundido com uma norma $\ell_1$ de filtro normalizada pela camada. Os autores descobriram que a fusão aditiva produz o melhor equilíbrio. Os canais são retidos ou removidos com base em um limiar fixo $\tau$ (tipicamente 0.5 ou 0.6), seguido de ajuste fino (fine-tuning) padrão.

5. Eficiência de Memória:
   Para lidar com as restrições de memória de pontuar todos os canais simultaneamente, o SCAP emprega uma disciplina de memória rigorosa: processando canais de saída sequencialmente (ou em pequenos grupos), utilizando acumulação de gradiente para o treinamento do AE e liberando explicitamente tensores intermediários (saídas da FFT, reconstruções) para manter o pico de memória limitado em GPUs comuns.

Principais Contribuições

• Representação de Interação Complexa: Introdução de um descritor de valor complexo que acopla entradas multicanais com saídas por canal, permitindo análise de redundância relacional em vez de avaliação de canal isolada.
• Critério de Fidelidade Espectral: Um critério de autoencoder de baixa capacidade no domínio da frequência que utiliza a fidelidade de reconstrução como uma medida principiada de compressibilidade. Alta fidelidade implica que o canal reside em um manifold de baixa dimensão aprendido.
• Implementação Eficiente de Memória: Uma estratégia de implementação prática que permite que o método seja executado em hardware limitado (ex: GPUs de 11 GB) sem sacrificar o modelo conceitual, utilizando processamento por canal e liberação de tensores.

Resultados Experimentais
Os autores avaliaram o SCAP no VGG16, ResNet-56/110 e DenseNet-40 usando os conjuntos de dados CIFAR-10 e CIFAR-100.

• VGG16 no CIFAR-10: Com um limiar $\tau=0.6$, o SCAP alcançou uma redução de 90,11% em FLOPs e 96,30% em parâmetros com uma queda absoluta de precisão Top-1 de apenas 1,67% (de 93,44% para 91,77%).
• Comparação: O SCAP superou consistentemente ou igualou métodos de estado da arte (ex: $\ell_1$-norm, FPGM, HRank, PCC) no regime de compressão extrema. Por exemplo, no ResNet-56 (CIFAR-10), o SCAP ($\tau=0.6$) alcançou 83,80% de redução de FLOPs com uma queda de precisão de 3,76%, enquanto outros métodos frequentemente sofriam quedas maiores ou menor compressão nos mesmos níveis de precisão.
• Ablação: Experimentos confirmaram que fundir o escore de fidelidade com o termo de magnitude $\ell_1$ fornece um equilíbrio precisão-compressão mais estável do que usar apenas a fidelidade, particularmente ao evitar a poda de canais de pequena magnitude, mas funcionalmente úteis.

Significância e Alegações
O artigo afirma que o SCAP fornece um critério defensável e local à camada, fundamentado na compressibilidade em vez de estatísticas ad hoc. Ao enquadrar a redundância através da lente da fidelidade de reconstrução espectral, o método oferece uma interpretação geométrica: canais cujos campos de interação são "regulares" ou residem em um manifold suave de baixa dimensão são identificados como redundantes. Os autores enfatizam que, embora o SCAP não garanta zero perda de precisão (pois a poda altera a dinâmica da rede), ele serve como um proxy eficaz para identificar canais funcionalmente redundantes sob compressão agressiva. O trabalho sugere que a fidelidade de reconstrução espectral pode unificar vários sinais heurísticos de poda sob uma única explicação relacionada à facilidade de representar um canal na estrutura dominante do manifold de ativação de baixa dimensão.