Resumo Técnico: Ressuscitação Adaptativa de Sinal (ASR)

1. Declaração do Problema

A poda de magnitude one-shot, um método prático para comprimir redes de visão sem retreinamento, frequentemente sofre de colapso severo de precisão em regimes de alta esparsidade (por exemplo, removendo 90% dos pesos). Embora os métodos existentes de reparo pós-poda, como recalibração de BatchNorm (BN) e escalonamento de ativação por camada (por exemplo, REFLOW), visem restaurar o sinal, eles frequentemente falham sob esparsidade extrema.

A questão central identificada é uma mismatch de granularidade entre o dano causado pela poda e o reparo aplicado. A poda de magnitude global induz dano heterogêneo de canais dentro de uma única camada: alguns canais retêm variância de ativação informativa, enquanto outros colapsam para variância próxima de zero. Os métodos existentes de reparo por camada aplicam uma única correção escalar a toda a camada. Quando uma camada contém uma mistura de canais saudáveis e colapsados, a correção por camada é impulsionada pelos canais colapsados (que têm variância próxima de zero), resultando em um fator de escalonamento excessivamente grande. Esse fator amplifica indiscriminadamente tanto os sinais saudáveis quanto o ruído residual nos canais colapsados, frequentemente desestabilizando o modelo e performando pior do que a simples recalibração de BN.

2. Metodologia: Ressuscitação Adaptativa de Sinal (ASR)

A ASR é um método de reparo pós-poda sem treinamento, projetado para corresponder a granularidade do reparo à granularidade do dano. Ela opera antes da recalibração de BatchNorm e requer apenas passagens diretas em um pequeno conjunto de calibração (64 imagens).

Mecanismo Central

1. Estimativa de Variância por Canal:
   Para cada canal de saída $i$ em uma camada convolucional, a ASR estima um fator de correção bruto $\hat{\gamma}_i$ igualando a variância da ativação podada ($v_{p,i}$) à variância da ativação densa ($v_{d,i}$) no conjunto de calibração:
   $$\hat{\gamma}_i = \sqrt{\frac{\hat{v}_{d,i}}{\hat{v}_{p,i} + \epsilon}}$$
   onde $\epsilon$ é um piso numérico.

2. Encolhimento Orientado por Dados:
   Para prevenir a superamplificação de canais colapsados (onde $v_{p,i} \approx 0$), a ASR introduz uma etapa de encolhimento que puxa estimativas não confiáveis em direção ao mapa identidade ($\gamma_i = 1$).

   • Uma linha de base por nível de camada $\lambda$ é computada como a mediana das variâncias de canal pós-poda dentro da camada.
   • Um peso de confiabilidade $s_i$ é calculado com base na razão da variância do canal para esta linha de base:
     $$s_i = \frac{\hat{v}_{p,i}}{\hat{v}_{p,i} + \lambda}$$
   • O fator de reparo final é uma combinação convexa da estimativa bruta e da identidade:
     $$\gamma_i = s_i \hat{\gamma}_i + (1 - s_i) \cdot 1$$
   • Comportamento: Se um canal estiver colapsado ($v_{p,i} \to 0$), $s_i \to 0$, e $\gamma_i \to 1$ (sem correção). Se um canal estiver saudável ($v_{p,i} \gg \lambda$), $s_i \to 1$, e $\gamma_i \approx \hat{\gamma}_i$ (correspondência completa de variância).

3. Correção de Viés:
   Após o redimensionamento, a ASR ajusta opcionalmente o viés convolucional para alinhar o primeiro momento (média) das ativações reparadas com as ativações densas, abordando deslocamentos de média introduzidos pela poda.

4. Recalibração de BatchNorm:
   Os pesos e vieses reparados são usados para computar novas estatísticas de execução para camadas de BatchNorm no conjunto de calibração.

3. Contribuições Principais

• Identificação do Modo de Falha: O artigo demonstra que o reparo por camada falha em regimes de alta esparsidade devido ao dano heterogêneo de canais, onde um escalar compartilhado é dominado por canais colapsados, levando à superamplificação de ruído.
• Reparo Estabilizado por Encolhimento: A ASR introduz uma estratégia de reparo por canal estabilizada por uma regra de encolhimento orientada por dados. Diferentemente da correspondência por canal ingênua, que permanece instável para canais colapsados, a ASR suprime correções para canais com sinais pós-poda fracos, preservando correções para canais mais saudáveis.
• Validação Empírica: O método é validado em três conjuntos de dados (CIFAR-10, CIFAR-100, Imagenette) e quatro arquiteturas (ResNet-18, ResNet-50, DenseNet-121, VGG-16-BN) sob esparsidade não estruturada e estruturada (2:4).

4. Resultados Experimentais

• Desempenho em Alta Esparsidade: A ASR supera consistentemente o reparo por camada (LW+BN) e frequentemente supera a recalibração apenas com BN em configurações de alta esparsidade (70%–90%).
  • Exemplo: No ResNet-50 com 90% de esparsidade (CIFAR-10), a ASR alcança 55,6% de precisão top-1, comparado a 41,0% para o reparo por camada e 28,0% para apenas BN.
• Visualização de Mismatch de Granularidade: A análise da variância por canal mostra que o reparo por camada causa supercorreção sistemática (inclinação $\alpha \approx 3,84$ em gráficos log-log), enquanto a ASR mantém uma inclinação mais próxima do ideal ($\alpha \approx 1,68$), indicando melhor alinhamento com o sinal denso.
• Eficiência de Calibração: A ASR melhora a eficiência de calibração inicial. A lacuna de desempenho entre a ASR e o reparo por camada é mais pronunciada em orçamentos de calibração pequenos (por exemplo, 10–20 lotes), sugerindo que a ASR estabiliza a distribuição de ativação entrando nas camadas BN de forma mais eficaz.
• Estudos de Ablação:
  • A granularidade por canal sozinha (correspondência de variância bruta sem encolhimento) é insuficiente e performa de forma similar ou pior do que apenas BN.
  • O mecanismo de encolhimento é o componente crítico que estabiliza o reparo.
  • A correção de viés fornece ganhos adicionais, embora secundários.
• Dependência de Arquitetura: Os benefícios da ASR são mais significativos em arquiteturas com conexões residuais (ResNet, DenseNet). No VGG-16-BN (sem conexões de pulo) em esparsidade extrema, a recalibração apenas com BN às vezes permanece competitiva, pois o reparo multiplicativo pode introduzir instabilidade quando o colapso de canal é severo demais para recuperação.

5. Significado e Alegações

O artigo alega que a ASR aborda um modo de falha específico na poda pós-treinamento: a instabilidade do reparo por camada quando o dano de canal é heterogêneo. Ao corresponder a granularidade do reparo à granularidade do dano e usar encolhimento para suprimir correções não confiáveis, a ASR permite recuperação significativa de precisão em regimes de alta esparsidade sem retreinamento.

Os autores posicionam a ASR como uma solução prática e sem treinamento para implantar redes de visão esparsas sob restrições estritas de memória. Eles observam que o método é projetado especificamente para redes convolucionais com BatchNorm e que extensões para arquiteturas de transformadores ou quantização pós-treinamento ficam para trabalhos futuros. O artigo enfatiza que os ganhos são maiores quando a poda induz dano severo e heterogêneo de canais, validando a hipótese de que as suposições por camada são sistematicamente violadas na poda de magnitude global.