Resumo Técnico: SnapViT – Vision Transformers Elásticos de Modelos Pré-treinados sem Retreinamento

Declaração do Problema

Os modelos de fundação de visão alcançaram um desempenho de estado da arte em diversas tarefas, mas são tipicamente lançados em um conjunto limitado de tamanhos pré-determinados (por exemplo, contagens de parâmetros específicas para as famílias DINOv3 ou DeIT). Essa rigidez força os profissionais a fazerem escolhas de implantação subótimas ao enfrentarem restrições do mundo real em computação, latência e custo. As soluções existentes para flexibilidade de modelos enfrentam limitações significativas:

• Destilação de Conhecimento: Requer uma arquitetura alvo pré-determinada e frequentemente depende de conjuntos de dados de pré-treinamento não públicos, minando a robustez.
• Inferência Elástica: Métodos como representações Matryoshka ou Redes Slimmable exigem que os modelos sejam projetados com estruturas aninhadas específicas durante o pré-treinamento, tornando-os inaplicáveis a modelos pré-treinados prontos para uso (off-the-shelf).
• Poda Estruturada (Structured Pruning): Embora eficaz na redução de memória e computação, a maioria das técnicas de poda atuais é adaptada para tarefas ou restrições específicas e normalmente requer retreinamento, deixando uma lacuna para modelos universalmente adaptáveis que não necessitam de dados rotulados ou de um cabeçalho de classificação.

Metodologia: SnapViT

Os autores propõem o SnapViT (Single-shot network approximation for pruned Vision Transformers), um método de poda estruturada pós-pré-treinamento que gera um continuum de sub-redes elásticas a partir de um único modelo pré-treinado sem retreinamento ou dados rotulados. O núcleo do método é um índice de podabilidade ($P$) que classifica os parâmetros para remoção com base em dois componentes:

1. Aproximação de Hessian Local (Gradientes Autossupervisionados)

Para capturar a sensibilidade local dos parâmetros sem um cabeçalho de classificação, o método aproxima a diagonal da matriz Hessian usando gradientes autossupervisionados. Especificamente, ele utiliza o objetivo DINO para computar gradientes sobre um conjunto de dados de imagens. A curvatura local $H^{(l)}$ é estimada como a norma quadrada média dos gradientes:
$$H^{(l)} \approx \frac{1}{N_D} \sum_{i=1}^{N_D} \|\nabla_\theta L_i\|^2$$
Isso fornece uma medida de base de quão críticos são os parâmetros individuais dentro de seus blocos específicos (por exemplo, neurônios de feed-forward ou cabeças de atenção).

2. Estimativa de Hessian Global (Algoritmo Evolutivo)

Para abordar a limitação de ignorar dependências entre blocos (elementos off-diagonal da Hessian), o SnapViT introduz uma nova aproximação usando a Estratégia de Evolução Natural Exponencial (xNES).

• Em vez de computar explicitamente a completa e intratável Hessian total, o xNES aprende um conjunto de fatores de escala por estrutura ($c$) que reponderam as sensibilidades locais.
• O algoritmo otimiza uma distribuição Gaussiana multivariada sobre esses fatores de escala. A função de aptidão (fitness function) é isenta de rótulos (label-free), medindo a similaridade de cosseno entre os embeddings do modelo original e do modelo podado (após compressão PCA).
• Através de atualizações de gradiente natural, a matriz de covariância ($\Sigma$) da estratégia evolutiva evolui para aproximar a inversa da verdadeira Hessian inter-blocos ($H^{(g)} \approx \alpha \Sigma^{-1}$). Isso permite que o método identifique quais blocos podem ser podados conjuntamente sem degradar a qualidade da representação.

3. Índice de Podabilidade Unificado e Geração Elástica

O índice de podabilidade final é o produto elemento a elemento da sensibilidade local e dos fatores de escala globais:
$$P = \text{diag}(H^{(l)}) \odot (M c)$$
onde $M$ é uma matriz de pertinência que expande os fatores ao nível de bloco para o nível de parâmetro individual.

• Geração Single-Shot: Uma vez que $P$ é computado, todos os parâmetros são classificados globalmente. Esse ranking único permite a extração de sub-redes para qualquer nível de esparsidade desejado ($S \in [0, 1]$) sem otimização adicional.
• Escopo: O método poda tanto combinações linha-coluna dentro de blocos de feed-forward quanto cabeças de atenção inteiras.

Principais Contribuições

1. Estratégia de Poda Elástica: Uma estratégia de poda eficiente e rápida para Vision Transformers pré-treinados que gera modelos elásticos adaptáveis a qualquer restrição computacional sem retreinamento.
2. Aproximação de Hessian Evolutiva: Uma estratégia inovadora usando um algoritmo genético (xNES) para aproximar os componentes off-diagonal da Hessian para estruturas de rede, capturando correlações entre blocos que as aproximações diagonais tradicionais perdem.
3. Desempenho Isento de Rótulos e Independente de Cabeçalho: O método atinge desempenho de estado da arte sob poda significativa sem exigir dados rotulados ou um cabeçalho de classificação, generalizando através de modelos de fundação supervisionados e autossupervisionados.

Resultados Experimentais

Os autores avaliaram o SnapViT em oito conjuntos de dados (incluindo ImageNet-1k, Pascal VOC e vários benchmarks de granularidade fina) usando classificação k-nearest neighbor (k-NN), linear probing e segmentação semântica linear.

• Desempenho vs. SOTA: O SnapViT consistentemente iguala ou supera os métodos de estado da arte (LAMP, LLM Surgeon, FPTP, SparseGPT, SNIP Magnitude, NViT) em vários níveis de esparsidade.
  • Para o DINOv1 ViT-B/16, o método poda até 40% de esparsidade com menos de 5% de degradação de precisão, alcançando um aumento de velocidade de inferência de 1.58x.
  • Com 50% de esparsidade em modelos AugReg supervisionados, ele supera o SNIP em 7% e o FPTP em 12,3% em classificação linear.
  • Para SigLIPv2 e DINOv3 (modelos de fundação de larga escala), o método supera significativamente os baselines, com melhorias de até 34,3% em classificação linear sobre os segundos melhores métodos.
• Eficiência: Todo o processo de poda para uma família de modelos (por exemplo, DeIT-III) leva menos de cinco minutos em uma única GPU A100.
• Pós-processamento: O método é compatível com correção de pesos pós-poda (estilo SparseGPT) e fine-tuning completo. Com um único passo de correção de peso, o desempenho em esparsidade extrema (por exemplo, 50% no SigLIPv2) é amplamente preservado.
• Escalabilidade: Embora o pré-treinamento em larga escala (por exemplo, DINOv3, SigLIPv2) torne a poda mais desafiadora devido ao conhecimento representacional distribuído, o SnapViT permanece eficaz, especialmente quando combinado com correção de peso ou horizontes de otimização mais longos (500 iterações de xNES).

Significância e Alegações

O artigo afirma que o SnapViT preenche a lacuna entre a rigidez das implantações atuais de modelos de fundação e a necessidade de inferência flexível e adaptável a recursos. Ao permitir a extração de um continuum de sub-redes de um único modelo pré-treinado em um único passo (single-shot), ele permite que os usuários moldem precisamente modelos de estado da arte aos seus orçamentos computacionais específicos.

Os autores enfatizam que sua abordagem:

• Elimina a necessidade de retreinamento, economizando recursos computacionais e tempo significativos.
• Remove a dependência de dados rotulados, tornando-o aplicável a modelos de fundação autossupervisionados que carecem de cabeçalhos de classificação.
• Captura correlações estruturais globais via aproximação evolutiva, superando as limitações de métricas de poda apenas locais.
• Reduz o impacto ambiental ao diminuir os requisitos de computação e o uso de energia dos Vision Transformers, potencialmente reduzindo as emissões de CO2 da inferência.

O trabalho é apresentado como uma solução prática para implantar modelos de visão de larga escala em ambientes restritos, mantendo alto desempenho em diversas tarefas downstream.