Relative Repairability: A Calibration-Based Diagnostic for High-Sparsity Post-Pruning Allocation

Resumo Técnico: Reparabilidade Relativa: Um Diagnóstico Baseado em Calibração para Alocação Pós-Poda de Alta Esparsidade

1. Declaração do Problema

Em níveis de esparsidade muito altos (tipicamente acima de 90%), a poda de redes neurais não é meramente um problema de seleção de parâmetros, mas um problema de alocação de danos. Enquanto a esparsidade global determina o número de pesos removidos, a distribuição específica do dano induzido pela poda através das camadas dita se um procedimento de reparo pós-poda, leve, pode recuperar o desempenho do modelo.

Estratégias de alocação existentes, como a poda global por magnitude, a poda uniforme por camada, ERK (priors estruturais) e LAMP (magnitude adaptativa por camada), falham em contabilizar explicitamente a reparabilidade. Elas não distinguem entre camadas onde o dano da poda pode ser corrigido por calibração leve e camadas onde o dano é irrecuperável. Consequentemente, em alta esparsidade, regras de alocação padrão podem colocar dano excessivo em camadas "resistentes ao reparo", causando o colapso do modelo, mesmo que o mesmo número de parâmetros seja retido em uma configuração mais "reparável".

2. Metodologia: Reparabilidade Relativa (RR)

Os autores propõem a Reparabilidade Relativa (RR), um diagnóstico baseado em calibração projetado para guiar a alocação de esparsidade sob um operador de reparo pós-poda fixo. O método opera sem rótulos, gradientes ou retreinamento, dependendo exclusivamente de um pequeno conjunto de calibração não rotulado.

Mecanismo Central:
Para cada camada $\ell$ e candidata de esparsidade $s$, a RR calcula uma razão comparando a distorção de ativação bruta causada pela poda com a distorção residual restante após o reparo:

1. Distorção Bruta ($D^{raw}$): Mede o deslocamento de ativação induzido pela poda da camada $\ell$ para a esparsidade $s$, mantendo as outras camadas densas.
2. Resíduo Pós-Reparo ($D^{repair}$): Mede o deslocamento de ativação após a aplicação de um operador de reparo leve (Correspondência de Variância por Canal seguida de recalibração de BatchNorm, denotado como CR+BN) à camada podada.
3. Reparabilidade Relativa ($R_\ell(s)$): Definida como a razão normalizada:
   $$R_\ell(s) = \frac{D^{repair}_\ell(s) + \epsilon}{D^{raw}_\ell(s) + \epsilon}$$

Interpretação:

• Um valor baixo de RR indica que o dano induzido pela poda da camada é amplamente corrigível pelo operador de reparo (alta reparabilidade).
• Um valor alto de RR indica que o dano persiste após o reparo (baixa reparabilidade).

Estratégia de Alocação:
A RR é usada como uma pontuação de alocação por camada em um framework de otimização gananciosa. O algoritmo atribui maior esparsidade (mais poda) às camadas com baixa RR (alta reparabilidade) e protege as camadas com alta RR (baixa reparabilidade), sujeito a um orçamento global de esparsidade.

3. Contribuições Principais

• Formulação de Alocação Consciente de Reparabilidade: O artigo reenquadra a poda de alta esparsidade como um problema de alocação de dano reparável em vez de apenas selecionar pesos retidos. Ele pergunta quais camadas podem suportar dano de poda que um operador leve fixo pode recuperar.
• Introdução da Reparabilidade Relativa (RR): Uma métrica diagnóstica que normaliza os resíduos pós-reparo pelos deslocamentos de poda brutos. Diferentemente do deslocamento de ativação bruto ou dos resíduos absolutos de reparo, a RR isola a fração de dano que permanece não corrigida, fornecendo um sinal especificamente condicionado ao procedimento de reparo escolhido.
• Identificação da Transição de Recuperabilidade: Os autores demonstram que a RR não é uma regra universalmente dominante, mas é mais eficaz dentro de uma faixa de transição de recuperabilidade dependente da arquitetura. Este é o regime onde regras de alocação padrão (como ERK ou LAMP) começam a perder confiabilidade, mas a rede ainda não colapsou completamente.
• Insight Mecanístico sobre Camadas de Projeção: Através de estudos de ablação no ResNet18, o artigo revela que alocações ERK limitadas podem superproteger camadas de projeção (subamostragem) devido a limites de densidade, deslocando inadvertidamente esparsidade excessiva para convoluções regulares onde o dano é menos recuperável. A RR corrige isso atribuindo esparsidade apropriada às camadas de projeção com base em sua reparabilidade real.

4. Resultados Experimentais

A avaliação cobre ResNet18, ResNet34 e VGG16-BN em CIFAR10 e CIFAR100, utilizando um pipeline de reparo CR+BN.

• Desempenho no Regime de Transição: No ResNet18 com CIFAR100, a RR supera o ERK em uma faixa de transição contígua (94,0%–95,5% de esparsidade) e supera o LAMP na parte superior desta faixa (95,0%–95,5%). Em 95% de esparsidade, a RR melhora a precisão recuperada em aproximadamente 2,5 pontos sobre o ERK e 1,1 ponto sobre o LAMP.
• Dependência da Arquitetura: A região "útil" da RR se desloca com a arquitetura:
  • VGG16-BN: A RR torna-se mais informativa perto do limite de colapso (cerca de 95%).
  • ResNet34: Devido às conexões residuais estabilizando a propagação de características, a transição ocorre em esparsidade mais extrema (97,5%), onde a RR supera o ERK e o LAMP.
  • ResNet18: Exibe uma faixa de transição central (94,0%–95,5%).
• Detecção Apenas por Calibração: Os autores introduzem uma "Pontuação de Transição de Calibração" (CTS) que usa apenas curvas diagnósticas de RR para prever o núcleo da transição sem avaliar a precisão final de teste. Esta pontuação identifica com sucesso as regiões de esparsidade onde a RR fornece o maior benefício (por exemplo, 95,0–95,5% para ResNet18 em CIFAR100).
• Robustez: A RR permanece estável através de diferentes tamanhos de conjunto de calibração (16 a 128 imagens) e mantém uma vantagem consistente sobre o ERK na faixa de transição.

5. Significado e Alegações

O artigo afirma modestamente que a RR não é um substituto universal para regras de alocação baseadas em estrutura ou magnitude em todos os níveis de esparsidade. Em vez disso, seu significado reside em seu papel como um diagnóstico consciente de reparo especificamente para a transição de recuperabilidade.

Os autores argumentam que a poda eficaz de alta esparsidade deve alocar não apenas pesos retidos, mas também dano reparável. A RR fornece um mecanismo para expor essa estrutura sob um pipeline de reparo fixo e leve. As descobertas sugerem que, à medida que os modelos se aproximam de seu limite de colapso, a capacidade de identificar e proteger camadas "resistentes ao reparo" torna-se o fator crítico para a recuperação, uma capacidade que priors padrão (como a densidade estrutural do ERK ou a magnitude do LAMP) carecem.

O trabalho destaca que a regra de alocação "melhor" é dinâmica e dependente da arquitetura, deslocando-se à medida que o modelo passa de um estado recuperável para um estado colapsado. A RR serve como uma ferramenta para navegar nesta transição, garantindo que o dano da poda seja colocado onde pode ser mais efetivamente corrigido por calibração post-hoc.