Entropy Reveals Block Importance in Masked Self-Supervised Vision Transformers

Resumo Técnico: A Entropia Revela a Importância dos Blocos em Transformers de Visão com Auto-supervisão Mascarada

Definição do Problema
Transformers de visão com auto-supervisão mascarada (ex: MAE, VideoMAE) estabeleceram um paradigma dominante para pré-treinamento, aprendendo representações visuais ricas a partir de dados não rotulados. No entanto, o tamanho substancial desses modelos cria barreiras significativas para a implantação em ambientes com recursos limitados (ex: dispositivos de borda/edge) e para o aprendizado de transferência eficiente. Uma questão fundamental permanece: todos os blocos do transformer são igualmente importantes para o desempenho em tarefas de jusante (downstream)?

As soluções existentes enfrentam limitações críticas. A poda baseada em sensibilidade, embora eficaz, requer a remoção iterativa de blocos e o ajuste fino (finetuning) completo, incorrendo em um custo computacional proibitivo. Métodos de poda baseados em dados dependem de dados de jusante ou estatísticas de ativação, introduzindo viés de conjunto de dados e limitando a aplicabilidade quando os dados estão indisponíveis ou restritos. A poda não estruturada frequentemente resulta em padrões de esparsidade irregulares que são difíceis de implementar eficientemente em hardware moderno. Consequentemente, há uma necessidade de um método principiado, livre de dados e computacionalmente eficiente para estimar a importância dos blocos e identificar redundâncias sem acesso a dados de treinamento ou gradientes.

Metodologia: Gardener e a Entropia de Número de Pesos
Os autores propõem o Gardener, um algoritmo de poda de nível de bloco, de etapa única (one-shot) e livre de dados para transformers de visão com auto-supervisão mascarada. O insight central é que a importância do bloco está codificada nos próprios parâmetros pré-treinados, especificamente na distribuição estrutural dos pesos.

O método baseia-se em uma nova métrica chamada entropia de número de pesos. Diferente das definições convencionais de entropia que operam sobre magnitudes de pesos ou ativações, esta formulação caracteriza a distribuição de contagens de parâmetros através de intervalos de valores dentro de um bloco do transformer.

1. Formulação: Para um bloco $B_l$ com $N_l$ pesos escalares, o intervalo de valores dos pesos é particionado em $K$ intervalos disjuntos. A massa de probabilidade empírica $p_l(i)$ é calculada como a razão entre os pesos que caem no intervalo $i$ e o número total de pesos no bloco.
2. Cálculo de Entropia: A entropia de número de pesos $H(B_l)$ é computada como $-\sum p_l(i) \log p_l(i)$. Esta métrica captura a diversidade estrutural dos pesos dentro de um bloco, permanecendo invariante à escala de peso.
3. Estratégia de Poda: O Gardener computa esta entropia para cada bloco em uma única passagem sobre os parâmetros pré-treinados. Os blocos são classificados em ordem crescente de entropia. Uma entropia menor indica uma distribuição de parâmetros mais concentrada, o que os autores hipotetizam corresponder a uma menor importância para o aprendizado de transferência. O algoritmo remove os blocos de menor classificação com base em uma taxa de poda alvo em uma única etapa, sem exigir propagação direta/inversa, acesso a dados ou ajuste fino iterativo.

Principais Contribuições

• Formulação do Problema: O artigo define o desafio da estimativa de importância de blocos livre de dados para transformers de visão com auto-supervisão mascarada sob configurações de recursos limitados.
• Insight Teórico: Introduz a entropia de número de pesos como um critério de teoria da informação computado exclusivamente a partir dos parâmetros pré-treinados, demonstrando uma forte correlação com a sensibilidade de oráculo (derivada da remoção iterativa de blocos e ajuste fino).
• Proposta de Algoritmo: Os autores propõem o Gardener, um algoritmo de poda de complexidade linear, de etapa única, com sobrecarga de memória negligenciável que opera inteiramente sem dados.
• Validação Empírica: Experimentos extensivos no VideoMAE-B através de múltiplas taxas de poda e benchmarks de reconhecimento de vídeo de jusante (UCF101) mostram que o Gardener consistentemente iguala ou supera as linhas de base livres de dados existentes e se aproxima de perto do desempenho da poda baseada em sensibilidade (oráculo).
• Análise Estrutural: O trabalho fornece evidência empírica de uma heterogeneidade estrutural sistemática em modelos de auto-supervisão mascarada, revelando que blocos iniciais e intermediários tendem a ter maior entropia (capturando padrões diversos de baixo/médio nível), enquanto blocos profundos mostram menor entropia (especializando-se em abstração semântica).

Resultados
Experimentos conduzidos no VideoMAE-B (pré-treinado no Kinetics-400) e ajustado no UCF101 yielded os seguintes achados:

• Heterogeneidade de Blocos: Remover diferentes blocos do transformer leva a desempenhos de jusante drasticamente diferentes, confirmando que os blocos não são igualmente importantes. Por exemplo, remover o Bloco 1 causou uma queda massiva no Weighted Average Recall (WAR) para 46,73%, enquanto remover o Bloco 12 resultou em um WAR de 91,29% (comparado ao original de 91,78%).
• Correlação com o Oráculo: A classificação dos blocos por entropia de número de pesos alinha-se fortemente com a classificação de sensibilidade do oráculo. Blocos com maior entropia correspondem consistentemente a maiores quedas de desempenho quando removidos.
• Desempenho de Poda: O Gardener supera outros critérios livres de dados (incluindo baseados em magnitude, variância e seleção aleatória) em todas as taxas de poda. Notavelmente, mesmo após podar até 91,7% dos blocos, o modelo podado retém um desempenho de transferência competitivo (WAR de 68,81%), aproximando-se de perto do resultado da poda baseada em sensibilidade na mesma taxa.
• Eficiência: O método incorre em uma sobrecarga computacional negligenciável, operando em uma única passagem sobre os parâmetros, tornando-o ordens de magnitude mais eficiente que métodos iterativos baseados em sensibilidade.

Significância e Alegações
O artigo afirma que a análise de informação teórica de pesos pré-treinados oferece um caminho principiado e eficiente para compressão de modelos e aprendizado de transferência com uso eficiente de recursos. Ao demonstrar que a importância do bloco pode ser estimada com precisão sem qualquer acesso a dados, os autores desafiam a necessidade de poda baseada em dados ou iterativa para transformers de visão com auto-supervisão mascarada.

O trabalho destaca que existe uma redundância substancial de nível de bloco nesses modelos e que a entropia de número de pesos captura propriedades representacionais intrínsecas aprendidas durante o pré-treinamento. Isso permite a identificação de blocos redundantes através de medições simples, permitindo uma rápida adaptação do modelo. Os autores posicionam o Gardener não como um substituto perfeito para todos os cenários de poda, mas como um substituto robusto e de baixo custo que aproxima o comportamento do oráculo sob rigorosas restrições de zero-dados, facilitando a implantação de modelos de fundação de larga escala em ambientes onde dados e computação são limitados.

Limitações
Os autores reconhecem que a entropia de número de pesos é uma medida estática e de grão grosso que não considera o comportamento dependente de entrada ou padrões de ativação específicos da tarefa, o que pode limitar a adaptabilidade para tarefas de jusante altamente especializadas. Além disso, o estudo atual foca na poda de nível de bloco em modelos de autoencoders baseados em ViT; estender esses critérios para estruturas de grão mais fino (ex: cabeças de atenção) permanece uma questão aberta. Finalmente, embora a correlação com a sensibilidade seja forte, não é garantido que seja perfeita em todas as arquiteturas ou regimes de treinamento.