Resumo Técnico: A Relevância da Tarefa Não é a Substituibilidade Local

Declaração do Problema

Em redes de visão, a importância dos canais é tipicamente resumida por uma única pontuação escalar. Essa prática confunde duas questões distintas:

1. Relevância da Tarefa: Quanto de informação um canal transmite sobre a tarefa-alvo?
2. Substituibilidade Local: Se um canal é removido, os canais restantes na mesma camada podem fornecer as informações necessárias para manter a função da rede?

Os autores argumentam que essas propriedades não precisam estar alinhadas. Um canal altamente preditivo pode ser facilmente removível se os pares carregarem informações sobrepostas, enquanto um canal menos preditivo pode ser crítico se nenhum par cobrir seu papel específico. Métricas existentes (magnitude, sensibilidade ao gradiente, erro de reconstrução, etc.) frequentemente comprimem esses efeitos em um único valor, falhando em distinguir explicitamente entre a contribuição para a tarefa e a recuperabilidade por pares da mesma camada.

Metodologia

O artigo introduz uma visão de dois eixos da informação do canal, separando a relevância da tarefa da substituibilidade local. A análise é realizada post-hoc em redes congeladas treinadas no CIFAR-100 (ResNet-18, VGG-16, MobileNetV2) usando um conjunto de calibração fixo.

Os Dois Eixos

1. Eixo Local (Substituibilidade):

   • Captura de Entrada ($I_X$): Um proxy para quão fortemente um canal captura a variação de entrada, calculado via o quociente de Rayleigh do vetor de pesos e da covariância de entrada ($w_i^\top \Sigma_X w_i$).
   • Sobreposição de Pares ($\bar{R}_X$): Uma medida de quanto o sinal de um canal se sobrepõe aos pares da mesma camada, derivada da matriz de correlação par a par das ativações dos canais.
   • Definição: Um canal com alta $I_X$ e baixo $\bar{R}_X$ carrega estrutura local distintiva e é mais difícil de substituir.

2. Eixo Alvo (Relevância):

   • Informação Mútua da Tarefa ($I(T; Y)$): Mede a informação que um canal possui sobre a margem da tarefa (margem de logit da verdade fundamental).
   • Redundância/Excesso do Alvo: Utiliza proxies de Decomposição de Informação Parcial (PID) Gaussiana. O artigo observa que, sob a definição escalável de MMI Gaussiana (Informação Mútua Máxima), a redundância do alvo colapsa para a relevância da tarefa de singleton, tornando-a distinta da sobreposição local de pares.

Protocolo Experimental

• Análise Estrutural: Medição de correlações e agrupamentos (Índice Rand Ajustado) entre os dois eixos através das camadas e sementes.
• Trajetórias de Treinamento: Rastreamento do alinhamento dos eixos da inicialização aleatória até a convergência para determinar se a separação é aprendida.
• Análise de Gradiente: Derivação de um modelo linear Gaussiano para explicar o desacoplamento geométrico dos dois eixos por meio de direções de gradiente residualizadas.
• Testes de Intervenção:
  • Lesões: Remoção de canais individuais sem ajuste fino para medir o aumento imediato da perda.
  • Poda: Poda estruturada com recuperação compatível com FLOPs (ajuste fino) para avaliar a retenção de precisão.
  • Substituição de Pares: Substituir a ativação de um canal removido por uma reconstrução linear dos principais pares para testar a recuperabilidade.

Principais Contribuições

1. Separação Estrutural dos Eixos

O estudo demonstra que, em redes treinadas, os eixos local e alvo estão fracamente alinhados (Spearman $\rho \approx 0,01$) e definem agrupamentos diferentes de canais (baixo Índice Rand Ajustado). Isso contrasta com a inicialização aleatória, onde os eixos estão fortemente acoplados ($\rho \approx 0,7$). A separação é um fenômeno aprendido, não um artefato da inicialização.

2. Mecanismo de Desacoplamento

Os autores propõem um mecanismo de residualização Gaussiana. Em um modelo linear-Gaussiano, o gradiente para a captura de entrada segue a direção projetada da potência do sinal, enquanto o gradiente para a relevância da tarefa segue uma direção de covariância da tarefa residualizada. Quando a direção da covariância da tarefa está fracamente alinhada com as direções dominantes de potência de entrada, os dois gradientes tornam-se quase ortogonais, explicando o desacoplamento observado durante o treinamento.

3. Previsibilidade da Poda

Sob um protocolo de poda fixo compatível com FLOPs, métricas do eixo local são preditores mais confiáveis de removibilidade do que métricas do eixo alvo.

• Evidência de Lesão: Dentro de faixas de relevância da tarefa compatível, a $R^2$ de reconstrução por pares (suporte local) prevê a recuperação de danos, enquanto a relevância da tarefa e a captura de entrada não o fazem.
• Resultados de Poda: Através de ResNet-18, VGG-16 e MobileNetV2, os melhores métodos do eixo local superam os melhores métodos do eixo alvo por margens significativas (por exemplo, +8,0% a +10,1% de AUC).
• Dependência da Arquitetura: Embora a substituibilidade local seja geralmente superior, o artigo observa que no VGG-16, a magnitude dos pesos permanece uma linha de base forte, sugerindo que detalhes específicos de alocação da arquitetura ainda importam.

4. Estrutura de Ordem Superior

A análise revela que a substituibilidade local muda de "duplicatas de singleton" nas camadas iniciais para "casulos distribuídos" nas camadas mais profundas. Por outro lado, a informação do lado do alvo requer cada vez mais sinergia de nível de triplet nas camadas mais profundas, sugerindo que as camadas intermediárias são mais difíceis de comprimir do lado do alvo devido à informação sinérgica distribuída.

Resultados

• Alinhamento Fraco: A correlação entre captura de entrada ($I_X$) e relevância da tarefa ($I(T; Y)$) cai abruptamente durante o treinamento, estabilizando-se perto de zero nos modelos finais.
• Divergência de Agrupamentos: Canais agrupados por características locais (redundância) e características alvo (relevância) mostram sobreposição quase aleatória (ARI $\approx 0,02$), confirmando que eles identificam subconjuntos diferentes de canais.
• Desempenho de Poda:
  • ResNet-18: Melhor método local (+8,0 pp) > Melhor método alvo.
  • VGG-16: Melhor método local (+6,6 pp) > Melhor método alvo, embora a magnitude (uma linha de base baseada em norma) permaneça competitiva.
  • MobileNetV2: Melhor método local (+10,1 pp) > Melhor método alvo.
  • Testes de Estresse: A hierarquia local-sobre-alvo mantém-se no CIFAR-10, Tiny-ImageNet, ImageNet-100 e em um piloto ConvNeXt-T, embora o grau de separação dos eixos varie.
• Ortogonalidade de Gradiente: Medições empíricas confirmam que a direção de atualização SGD torna-se quase ortogonal a ambos os gradientes de informação após o treinamento inicial, apoiando a hipótese de residualização.

Significado e Alegações

O artigo alega uma distinção ao nível de eixos em vez de uma classificação universal de pontuações de poda.

• Insight Central: A poda é fundamentalmente uma intervenção de substituibilidade. Ela pergunta se um canal ainda é necessário quando o restante da camada está disponível. A relevância da tarefa explica o que um canal representa, mas a substituibilidade local explica se a rede precisa dele.
• Limitações: A evidência mais forte é derivada de CNNs no CIFAR-100. Embora testes de estresse no ImageNet e ConvNeXt apoiem a tendência, os autores não alegam aplicabilidade universal em todas as arquiteturas (por exemplo, Transformers) sem validação adicional.
• Implicação Prática: As descobertas sugerem que heurísticas de poda devem levar explicitamente em conta o suporte local de pares. Pontuações baseadas em norma (como magnitude) podem permanecer competitivas em arquiteturas específicas (como VGG-16) onde atuam como um proxy para a captura local de entrada, mas falham em capturar a sobreposição de pares, que é o fator crítico para a removibilidade.

O trabalho reestrutura a importância do canal não como um único escalar, mas como uma propriedade bidimensional, oferecendo um diagnóstico mais sutil para entender a redundância da rede e orientar estratégias de poda.