💻 computer science

Sparse but not Simpler: A Multi-Level Interpretability Analysis of Vision Transformers

Este artigo apresenta o framework IMPACT para analisar a interpretabilidade em Vision Transformers e demonstra que, embora a esparsidade estrutural reduza o número de conexões nos circuitos, ela não resulta necessariamente em modelos semanticamente mais interpretáveis, pois a poda apenas redistribui o cálculo em vez de isolar módulos funcionais mais simples.

Autores originais: Siyu Zhang

Publicado 2026-03-18

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Siyu Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um grande escritório de arquitetura (o modelo de Inteligência Artificial) cheio de milhares de engenheiros (neurônios) trabalhando juntos para desenhar um prédio (reconhecer uma imagem, como um gato ou um carro).

A grande pergunta que os cientistas se faziam era: "E se demitirmos a maioria dos engenheiros e deixarmos apenas alguns? O escritório ficaria mais fácil de entender?"

A teoria era que, com menos pessoas, seria mais fácil rastrear quem fez o quê. Mas este novo estudo, feito por pesquisadores da Universidade do Texas, descobriu que a realidade é um pouco mais complicada. O título do trabalho é, em tradução livre: "Esparsos, mas não mais simples".

Aqui está a explicação do que eles descobriram, usando analogias do dia a dia:

1. A Ideia Original: "Menos é Mais"

Os pesquisadores queriam testar se criar uma rede neural "esparça" (com muitos pesos zerados, como se fossem cadeiras vazias no escritório) tornaria o modelo mais transparente.

A analogia: Pense em um mapa de metrô muito complexo, com milhares de linhas cruzando. A ideia era que, se você fechasse 70% das linhas, o mapa restante seria mais simples de ler e você saberia exatamente qual trem leva aonde.

2. O Experimento: O "IMPACT"

Para testar isso, eles criaram um kit de ferramentas chamado IMPACT. Eles pegaram um modelo de visão de computador muito famoso (DeiT-III) e usaram uma técnica de "poda" (chamada Wanda) para remover 70% das conexões, mantendo a precisão do modelo quase a mesma.

Depois, eles analisaram o modelo em quatro níveis diferentes:

O Nível do "Engenheiro Individual" (Neurônio): Um engenheiro específico sabe fazer apenas uma coisa ou ele faz de tudo um pouco?
O Nível da "Equipe" (Camada): Como o grupo de engenheiros trabalha junto?
O Nível do "Circuito" (O Caminho): Qual é o caminho exato que a informação percorre para tomar uma decisão?
O Nível do "Chefe" (Modelo): Quando o modelo aponta para uma parte da imagem e diz "é aqui que está o gato", ele está certo?

3. O Que Eles Descobriram (A Surpresa)

A. O Mapa Ficou Menor, Mas Não Mais Claro (Nível de Circuito)

Verdade: Sim, os modelos "podados" tinham circuitos muito menores. Eles usavam cerca de 2,5 vezes menos conexões (linhas de metrô) para fazer o trabalho.
O Problema: Mesmo com menos linhas, eles ainda precisavam usar quase a mesma quantidade de engenheiros (nós ativos).
A Analogia: É como se, ao fechar 70% das estradas, os carros não ficassem parados, mas sim que todos os motoristas restantes tivessem que dirigir por rotas muito mais tortuosas e complexas para chegar ao mesmo lugar. O mapa ficou menor, mas o tráfego ainda está confuso e espalhado.

B. Os Engenheiros Continuaram "Poliglotas" (Nível de Neurônio)

Esperava-se que, com menos conexões, cada engenheiro se especializasse em uma coisa só (ex: "só vejo olhos de gato").
A Realidade: Não aconteceu. Os engenheiros continuaram fazendo de tudo um pouco. Um único neurônio ainda respondia a "olhos", "orelhas" e "textura de pele" ao mesmo tempo. A poda não os tornou mais especialistas; apenas redistribuiu o trabalho de forma diferente.

C. O Mapa de Calor Não Ficou Melhor (Nível do Modelo)

Quando o modelo tentava explicar por que achou que era um gato (marcando a área da imagem), os modelos podados não foram consistentemente melhores. Às vezes, a explicação ficou um pouco mais nítida com pouca poda, mas com muita poda, a qualidade das explicações nem sempre melhorou.

4. A Conclusão: "Esparsidade não é Mágica"

O estudo conclui que apenas cortar conexões não torna a Inteligência Artificial mais compreensível para humanos.

O que a poda fez: Ela reduziu o tamanho do "mapa de conexões" (o número de linhas), o que é ótimo para economizar memória e energia.
O que a poda NÃO fez: Ela não organizou o pensamento do modelo. A lógica interna continua tão bagunçada e misturada quanto antes.

A Lição Final:
Se você quer entender como uma IA pensa, não basta apenas "diminuir o tamanho" dela. É como tentar entender uma conversa em um barulhento estádio: mesmo que você diminua o número de pessoas gritando (poda), se as pessoas restantes continuarem gritando todas as coisas ao mesmo tempo, você ainda não vai entender a conversa.

Para tornar as IAs mais interpretáveis, os pesquisadores sugerem que precisamos mudar como elas são treinadas ou projetadas desde o início, e não apenas tentar "podar" o que já foi construído depois.

Título: Sparse but not Simpler: Uma Análise de Interpretabilidade Multi-Nível de Vision Transformers

1. Problema e Motivação

A interpretabilidade mecânica visa entender como as redes neurais calculam suas previsões internamente. Uma hipótese comum na comunidade é que redes neurais esparsas (com muitas conexões removidas) seriam mais interpretáveis do que modelos densos, pois se acredita que a esparsidade estrutural levaria a circuitos computacionais mais compactos e fáceis de analisar.

O Conflito: Embora estudos em modelos de linguagem tenham mostrado que a esparsidade pode criar circuitos compactos para tarefas algorítmicas, não está claro se a esparsidade estrutural por si só melhora a interpretabilidade semântica (clareza conceitual, fidelidade de atribuição, desentrelaçamento de características) em modelos de visão complexos, como Vision Transformers (ViTs).
A Lacuna: A maioria das evidências existentes baseia-se em métricas estruturais (tamanho do circuito), ignorando se a simplicidade estrutural se traduz em clareza semântica real (ex: neurônios ainda podem ser polissêmicos, e mapas de atribuição podem não ser mais fiéis).

2. Metodologia

Os autores realizaram uma comparação sistemática entre ViTs densos e esparsos utilizando o modelo DeiT-III B/16 como base. Os modelos esparsos foram criados através do método de poda Wanda (que considera a magnitude do peso e a norma da ativação de entrada) seguido de fine-tuning.

Para avaliar a interpretabilidade de forma abrangente, o trabalho introduz o framework IMPACT (Interpretability Multi-level Pipeline for Assessing Computational Transparency), que analisa quatro níveis complementares:

Nível de Neurônio:
- Avalia se a esparsidade reduz a polissemia (neurônios respondendo a múltiplos conceitos).
- Métricas: Impacto da ablação, seletividade (AUROC), variância de classe e entropia de rótulo.
Nível de Camada (Representação):
- Utiliza Autoencoders Esparsos (SAEs), especificamente a variante BatchTopK, para decompor ativações densas em características esparsas latentes.
- Objetivo: Verificar se modelos esparsos produzem características latentes mais desentrelaçadas e interpretáveis.
- Métricas: Qualidade de reconstrução (NMSE, variância explicada) e as mesmas métricas de seletividade/entropia aplicadas às características do SAE.
Nível de Circuito:
- Extrai circuitos funcionais mínimos responsáveis pela previsão de uma única categoria (em um subconjunto de 100 classes do ImageNet).
- Método: Máscara de nós aprendível para identificar quais nós são necessários.
- Métrica Proposta: NCQ (Normalized Circuit Quality), que equilibra a fidelidade (acurácia mantida) e a compactação (nós removidos).
Nível de Modelo (Atribuição):
- Avalia a fidelidade dos mapas de atribuição de entrada (explicabilidade final).
- Método: Atribuição de Transformer (Chefer et al.) combinada com métricas de Inserção e Deleção (AUC).

3. Contribuições Principais

Comparação Sistêmica: Primeira comparação abrangente da interpretabilidade entre ViTs densos e esparsos, estendendo a análise de circuitos esparsos do domínio de linguagem para o de visão.
Framework IMPACT: Introdução de um pipeline de avaliação multi-nível (neurônio, camada, circuito, modelo) e da métrica NCQ para avaliar circuitos de forma justa.
Descoberta Contraintuitiva: Evidência empírica de que a esparsidade estrutural não garante uma melhoria mecânica na interpretabilidade, desafiando a suposição de que "menos conexões" equivalem a "mais transparência".

4. Resultados Chave

Circuitos Estruturalmente Menores, mas Não Mais Simples:
- Modelos esparsos (70% de esparsidade) produziram circuitos com aproximadamente 2,5x a 2,6x menos arestas (conexões) que os modelos densos.
- Porém, a fração de nós ativos (neurônios/recursos utilizados) nos circuitos esparsos foi maior (41,60% vs 29,03% no denso).
- Interpretação: A poda não isola módulos funcionais mais simples; em vez disso, ela redistribui o cálculo através de um número similar (ou maior) de componentes sobreviventes. A redução de arestas reflete a arquitetura esparsa subjacente, não uma lógica preditiva intrinsecamente mais simples.
Falta de Melhoria na Seletividade e Desentrelaçamento:
- Nível de Neurônio: Não houve melhoria sistemática na seletividade, variância de classe ou entropia de rótulo. Os neurônios em modelos esparsos permaneceram tão polissêmicos quanto nos densos.
- Nível de Camada (SAE): As características aprendidas pelos SAEs em modelos esparsos não foram consistentemente mais seletivas ou monossêmicas. A qualidade de reconstrução piorou levemente com o aumento da esparsidade, indicando representações mais distribuídas.
Atribuição e Fidelidade:
- Houve uma melhoria modesta na fidelidade da atribuição apenas em níveis de esparsidade muito baixos (10-30%), possivelmente devido a um efeito de regularização leve.
- Em esparsidades altas (50-70%), a qualidade da atribuição não melhorou consistentemente e, em alguns casos, degradou-se. Visualmente, os mapas de atribuição não mostraram localização espacial mais clara ou consistente.

5. Significado e Conclusão

O artigo conclui que a esparsidade estrutural sozinha não é suficiente para gerar modelos de visão mais interpretáveis.

Redução de Parâmetros $\neq$ Interpretabilidade: Embora a poda reduza o custo computacional e o número de parâmetros, ela não necessariamente simplifica a lógica interna do modelo ou desentrelaça as representações semânticas.
Implicações Futuras: Para melhorar a interpretabilidade, pode ser necessário focar em objetivos de treinamento ou priores arquitetônicos que encorajem explicitamente estruturas semânticas modulares, em vez de depender apenas de técnicas de esparsificação post-hoc (como a poda).
Importância da Avaliação: O trabalho destaca a necessidade de frameworks de avaliação que vão além da "compactação de circuitos" para incluir métricas de fidelidade semântica e desentrelaçamento de características.

Em suma, o estudo demonstra que, no contexto de Vision Transformers, "Esparsos, mas não mais Simples". A complexidade semântica persiste mesmo quando a estrutura física do modelo é drasticamente reduzida.