🤖 AI

Interpretability-Guided Soft Pruning of Attention Heads in Vision Transformers

Este artigo apresenta o SAPER, um framework de poda suave guiada por interpretabilidade que utiliza análise espectral e agrupamento semântico de cabeças de atenção para reduzir eficientemente o custo computacional de Vision Transformers, mantendo uma alta precisão de classificação.

Autores originais: Kamil KsiąĊek, Piotr Suszyński, Michał Jan Włodarczyk, Jacek Tabor, Przemysław Biecek

Publicado 2026-08-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Kamil KsiąĊek, Piotr Suszyński, Michał Jan Włodarczyk, Jacek Tabor, Przemysław Biecek

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine o mundo da inteligência artificial como uma cidade movimentada e de alta tecnologia onde os computadores aprendem a ver o mundo. Nesta cidade, os edifícios mais poderosos são chamados de "Vision Transformers". Estes não são apenas câmeras simples; são estruturas massivas e complexas que podem reconhecer um gato, um carro ou uma nuvem com uma precisão incrível. Eles fazem isso dividindo uma imagem em minúsculas peças de quebra-cabeça e enviando-as através de uma rede de "cabeças de atenção". Pense nessas cabeças como uma equipe de detetives especializados, cada um escaneando a imagem em busca de pistas diferentes. Alguns procuram por bordas, outros por cores e outros pela forma geral de um objeto.

No entanto, há um porém. Para tornar esses detetives super inteligentes, os engenheiros os construíram em arranha-céus enormes e ávidos por energia. Esses edifícios são tão grandes que exigem quantidades massivas de eletricidade e computadores poderosos para funcionar, tornando-os difíceis de usar em dispositivos menores, como telefones ou robôs. A grande questão que os cientistas estão fazendo é: Precisamos realmente de cada um dos detetives da equipe? Ou alguns deles estão apenas parados por aí, copiando o trabalho uns dos outros ou olhando para coisas que não importam? Se pudéssemos demitir os detetives redundantes sem perder a capacidade da equipe de resolver crimes, poderíamos encolher o arranha-céu até transformá-lo em uma cabana aconchegante, economizando energia e tornando esses sistemas inteligentes acessíveis a todos.

Este é exatamente o quebra-cabeça abordado por uma equipe de pesquisadores que desenvolveu um novo método chamado SAPER (Soft Attention PrunER). Eles perceberam que a redundância nesses modelos de IA não é um erro; é, na verdade, um efeito colateral de como os modelos são treinados para serem super flexíveis. Como os modelos são ensinados com milhões de imagens sem instruções específicas, eles constroem muitos caminhos de reserva para o caso de ser necessário. Os pesquisadores queriam encontrar uma maneira de identificar quais "detetives" estão realmente realizando um trabalho único e importante e quais estão apenas se repetindo, para que pudessem ser removidos com segurança.

Para resolver isso, a equipe primeiro inventou uma nova maneira de "ver" o que cada detetive está pensando. Eles criaram algo chamado mapas de Laplace, que são como mapas de calor coloridos ou impressões digitais espectrais para cada cabeça de atenção. Em vez de apenas olhar para números, esses mapas transformam a matemática complexa de como uma cabeça foca em uma imagem em um padrão visual. É um pouco como ouvir um coro e perceber que, enquanto alguns cantores estão atingindo as mesmas notas, outros estão cantando melodias inteiramente diferentes. Ao analisar esses padrões, os pesquisadores descobriram que os "detetives" não estão apenas organizados em fileiras organizadas; eles formam grupos funcionais. Algumas cabeças nas camadas iniciais da rede atuam como cabeças "convolucionais", focando em bordas e texturas simples, enquanto outras em camadas mais profundas focam em formas globais complexas. Surpreendentemente, eles descobriram que cabeças que fazem o mesmo trabalho podem estar espalhadas por todo o edifício, não apenas presas em um andar específico.

Armados com esse entendimento, eles construíram o SAPER, uma ferramenta inteligente que atua como um editor gentil. Em vez de cortar partes do modelo cegamente, o SAPER usa um processo de seleção "suave" para decidir quais cabeças manter e quais deixar ir. É como um peneira que filtra gradualmente as cabeças redundantes enquanto mantém as essenciais, permitindo que o modelo aprenda quais são verdadeiramente necessárias. Eles testaram isso em enormes conjuntos de dados de imagens como o ImageNet-1K e o CIFAR-100. Os resultados foram promissores: o SAPER conseguiu reduzir significativamente o número de cabeças de atenção — às vezes mantendo apenas uma fração da equipe original — enquanto ainda mantinha alta precisão na identificação de objetos. Por exemplo, eles mostraram que, mesmo com poucas cabeças, o modelo ainda poderia ter um bom desempenho, especialmente quando utiliza uma técnica chamada "destilação de conhecimento", onde o modelo menor aprende com o maior e mais inteligente.

O artigo sugere que esta abordagem oferece um equilíbrio muito melhor entre velocidade e inteligência do que métodos anteriores. Enquanto outras técnicas tentavam cortar blocos inteiros do modelo de uma só vez, a capacidade do SAPER de escolher e selecionar cabeças individuais permitiu um controle muito mais fino. Em seus experimentos, o SAPER frequentemente utilizou menos poder computacional (medido em FLOPs) do que os métodos concorrentes, alcançando resultados semelhantes ou melhores. Os pesquisadores concluem que, ao compreender os papos específicos dessas cabeças de atenção através de suas assinaturas espectrais, podemos construir modelos de visão que não são apenas poderosos, mas também eficientes e transparentes, pavimentando o caminho para uma IA mais inteligente que caiba em nossos bolsos sem esgotar nossas baterias.

Resumo Técnico: Poda Suave de Cabeças de Atenção de Visão Transformers Guiada por Interpretabilidade

Declaração do Problema

Modelos de fundação de visão, particularmente arquiteturas autossupervisionadas como o DINOv2, alcançaram um desempenho notável em diversas tarefas de jusante (downstream). No entanto, seu sucesso depende de arquiteturas massivas e superparametrizadas que criam gargalos computacionais e demandas de memória significativos. O mecanismo de autoatenção de múltiplas cabeças, embora poderoso, contribui para a opacidade e redundância do modelo.

O problema central abordado é a falta de compreensão em relação aos papéis funcionais específicos de cabeças de atenção individuais e a existência de redundâncias funcionais nesses modelos. Reduzir o tamanho do modelo cegamente baseando-se apenas em métricas de desempenho frequentemente falha em considerar a mecânica interna da rede. Além disso, à medida que esses modelos migram para dispositivos de borda (edge devices), cada cabeça retida traduz-se diretamente em latência, uso de memória e consumo de energia, necessitando de estratégias de compressão estruturadas ao nível de cabeça que se alinhem com a agenda "Green AI". Os autores postulam que essa redundância não é um defeito, mas uma consequência emergente do treinamento de representações de propósito geral em vastos conjuntos de dados, onde muitos caminhos paralelos são mantidos para garantir a robustez em potenciais tarefas de jusante.

Metodologia

O artigo introduz o SAPER (Soft Attention PrunER), um framework de poda diferenciável de ponta a ponta que une interpretabilidade e eficiência. A metodologia procede em três etapas principais:

1. Análise Espectral e Visualização (Mapas de Laplace)

Para compreender a estrutura funcional das cabeças de atenção, os autores propõem uma abordagem baseada em teoria dos grafos. Um mapa de atenção é tratado como um grafo ponderado onde os tokens são vértices e os pesos de atenção são arestas.

Autovetores de Laplace: O método computa o Laplaciano normalizado do grafo de atenção para cada cabeça.
Visualização: Os autovetores correspondentes ao segundo, terceiro e quarto menores autovalores são extraídos. O autovetor associado ao segundo menor autovalor (o vetor de Fiedler) captura o comportamento de partição dominante da cabeça.
Mapeamento RGB: Esses três autovetores são mapeados para os canais Vermelho, Verde e Azul para criar mapas de Laplace. Esta visualização revela que as cabeças das camadas iniciais frequentemente exibem um comportamento "convolucional" (respondendo a padrões globais ou bordas), enquanto as cabeças mais profundas focam em estruturas de nível de objeto.

2. Agrupamento Semântico

Os autores realizam o agrupamento semântico para identificar redundâncias funcionais através da rede.

Extração de Características: Para um conjunto de imagens, as matrizes de logit de atenção pré-softmax são extraídas. Os vetores de probabilidade de atenção espacial (do token CLS para os patches espaciais) são analisados.
Matriz de Similaridade: O valor máximo de atenção através dos patches espaciais é usado para construir uma matriz de características. Um coeficiente de correlação de Pearson é computado entre todos os pares de cabeças para gerar uma matriz de similaridade.
Agrupamento (Clustering): O agrupamento espectral é aplicado a esta matriz para particionar as cabeças em clusters distintos. Ao contrário de trabalhos anteriores (ex: RAPTOR) que assumem estruturas de blocos contíguos, esta abordagem atribui cabeças individuais a clusters baseando-se unicamente em suas representações produzidas, revelando que cabeças funcionalmente análogas podem existir em diferentes profundidades da rede.

3. Seleção de Cabeça Diferenciável (LapSum Soft Top-K)

O SAPER emprega um mecanismo de seleção diferenciável para podar cabeças sem operações discretas e não diferenciáveis.

LapSum: O framework utiliza o algoritmo LapSum, que formula uma relaxação suave do problema de seleção discreta Top-K.
Mecanismo: Dado um vetor de pontuação para as cabeças, o LapSum computa probabilidades de seleção suaves usando a função de distribuição cumulativa (CDF) da distribuição de Laplace. Um parâmetro de temperatura negativa ( $\alpha$ ) controla a nitidez da seleção; conforme $\alpha \to 0$ , a máscara suave se aproxima de uma seleção Top-K rígida (hard).
Pipeline de Treinamento: O modelo passa por uma fase de treinamento "suave", onde as Top-K cabeças são selecionadas via máscara diferenciável, seguida por uma fase de ajuste fino (fine-tuning) ou destilação de conhecimento "rígida" utilizando apenas as cabeças selecionadas.

Principais Contribuições

Mapas de Laplace: Uma técnica de visualização espectral inovadora para cabeças de atenção individuais baseada no Laplaciano do grafo de atenção, permitindo a interpretação de tarefas específicas de cada cabeça (ex: detecção de bordas vs. estrutura semântica global).
Agrupamento Semântico de Cabeças: Um método para identificar representações compartilhadas através da rede ao agrupar cabeças individuais em vez de camadas inteiras. Isso generaliza a descoberta de fases representacionais em Vision Transformers (ViTs), mostrando que a redundância funcional existe em diversas profundidades, não apenas dentro de blocos contíguos.
Framework SAPER: Um framework de seleção de cabeça Top-K diferenciável que alcança um desempenho de classificação competitivo com uma redução significativa de FLOPs. Ele oferece maior flexibilidade do que métodos de poda baseados em blocos ao permitir a seleção de um número arbitrário de cabeças individuais.

Resultados Experimentais

Os autores avaliaram o SAPER no ImageNet-1K e CIFAR-100 utilizando backbones DINOv2 (ViT-Small e ViT-Base).

Troca de Acurácia-Eficiência: O SAPER demonstra uma troca altamente favorável. Por exemplo, no ViT-S com apenas 6 cabeças retidas (de 72), o SAPER alcança aproximadamente 73% de acurácia de classificação (via destilação de conhecimento), o que é apenas ~8% inferior ao modelo com 24 cabeças.
Comparação com RAPTOR: O SAPER supera o baseline competitivo RAPTOR em termos de redução de FLOPs. Em um número de cabeças comparável (ex: 24 cabeças), o SAPER reduz os GFLOPs em cerca de um fator de dois comparado ao RAPTOR (ex: 32.17 vs. 61.86 GFLOPs para ViT-B), apesar de reter um número maior de parâmetros. Esta eficiência advém da capacidade do SAPER de selecionar cabeças individuais em vez de estar restrito à restrição do RAPTOR de múltiplos de blocos contíguos.
Robustez de Dataset: No CIFAR-100, o SAPER consistentemente supera o RAPTOR em todos os orçamentos de cabeças comparáveis, utilizando substancialmente menos GFLOPs.
Modos de Treinamento: O estudo compara o ajuste fino puro e a destilação de conhecimento. A destilação de conhecimento geralmente rendeu melhores resultados, particularmente no ImageNet-1K, e os autores observam que manter as cabeças de atenção pré-treinadas congeladas durante o ajuste fino foi frequentemente benéfico.

Significância e Alegações

O artigo posiciona-se como um passo em direção a modelos de fundação de visão interpretáveis e transparentes. Sua principal significância reside em:

Interpretabilidade Mecanística: Fornecer ferramentas para pré-visualizar o comportamento de cabeças de atenção individuais através de visualização espectral, indo além da poda de caixa-preta.
Poda Flexível: Demonstrar que a poda pode ser vista como uma especialização de um modelo geral, em vez de um reparo de um modelo defeituoso. Ao identificar e remover cabeças funcionalmente redundantes, o método adapta o modelo a restrições específicas de eficiência sem perda catastrófica de acurácia.
Green AI: Oferecer uma solução prática para implantar grandes modelos de fundação em dispositivos de borda com recursos limitados, reduzindo significativamente os custos computacionais (FLOPs) enquanto mantém um forte desempenho.

Os autores concluem que sua abordagem une a lacuna entre interpretabilidade e eficiência, validando a hipótese de que cabeças funcionalmente análogas existem em diferentes profundidades da rede e podem ser selecionadas e retidas para otimizar o desempenho do modelo. O trabalho futuro é proposto para estender este framework ao nível de token e incluir pesos de MLP.