🤖 machine learning

Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models

Este artigo apresenta o PORTA, um framework de poda agnóstico à tarefa e livre de retreinamento para modelos de visão-linguagem que aproveita a variação de ativação e a alocação de esparsidade adaptativa para alcançar altas taxas de compressão, mantendo um amplo desempenho em tarefas subsequentes sem exigir dados específicos da tarefa ou ajuste fino.

Autores originais: Minseok Kang, Hyunwoo Kim, Chanyoung Kim, Minwoo Kim, Jaekoo Lee, Dahuin Jung

Publicado 2026-08-10

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Minseok Kang, Hyunwoo Kim, Chanyoung Kim, Minwoo Kim, Jaekoo Lee, Dahuin Jung

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro de robô superinteligente que consegue olhar para uma imagem e ler uma frase, e então entende instantaneamente como elas se conectam. Este é o mundo dos Modelos de Visão-Linguagem (VLMs). Pense nesses modelos como bibliotecas gigantes e famintas que leram todos os livros e viram todas as fotos da internet. Eles são incríveis para resolver quebra-cabeças, responder perguntas e encontrar imagens específicas, mas há um porém: eles são incrivelmente pesados. Eles exigem computadores massivos com enormes quantidades de memória e energia para funcionar, algo como tentar carregar uma biblioteca em sua mochila enquanto faz uma trilha subindo uma montanha. Por causa disso, é muito difícil colocar esses robôs inteligentes em dispositivos menores, como telefones ou tablets.

Para resolver isso, cientistas usam uma técnica chamada poda (pruning). Imagine que o cérebro do robô é uma enorme teia de conexões. A poda é como cortar cuidadosamente os fios minúsculos e inúteis que não ajudam o robô a pensar, deixando apenas os mais fortes e importantes. Isso torna o robô mais leve e rápido sem fazê-lo esquecer como realizar seu trabalho. No entanto, a maioria das formas existentes de decidir quais fios cortar é como usar um mapa feito para um país diferente; elas geralmente precisam de testes de prática específicos (dados) para cada tarefa que o robô possa enfrentar, ou ficam confusas quando o robô muda de olhar para imagens para ler palavras. Este artigo aborda o problema de como podar esses cérebros gigantes uma única vez, perfeitamente, para que possam rodar em qualquer lugar sem precisar ser treinados ou ajustados novamente para cada novo trabalho.

O Corte de Cérebro "Uma Vez e Pronto"

Conheça o PORTA (Prune-Once: Retraining-free Task-Agnostic pruning), um novo método introduzido pelos pesquisadores Minseok Kang e sua equipe. O objetivo deles era resolver um problema frustrante: os métodos de poda atuais costumam agir como um alfaiate que precisa tirar suas medidas toda vez que você quer usar uma camisa diferente. Se você quer que o robô faça classificação de imagens, você o poda de um jeito; se você quer que ele faça recuperação de informações, você tem que podá-lo de outro. Isso é lento e caro. O PORTA é diferente. É como um mestre alfaiate que olha para o tecido uma única vez, corta perfeitamente e, então, o traje resultante serve você para qualquer ocasião — seja para correr uma corrida, sentar em uma reunião ou dançar em uma festa.

O artigo sugere que a principal razão pela qual outros métodos falham nessa abordagem "uma vez e pronto" é que eles dependem do tamanho (magnitude) dos sinais internos do robô para decidir o que manter. Os autores argumentam que, nesses modelos gigantes, o tamanho de um sinal pode ser enganoso porque a parte da "linguagem" do cérebro e a parte da "visão" do cérebro se comportam de maneira diferente. É como tentar julgar a importância de um grito em uma biblioteca versus um grito em um estádio; o volume (magnitude) é diferente, mas o significado pode ser o mesmo. Por causa disso, métodos que apenas olham para o volume acabam cortando as coisas erradas, especialmente quando o robô é solicitado a realizar uma tarefa que ele não viu antes.

O Ingrediente Secreto: Variância em vez de Volume

Em vez de ouvir o quão alto um sinal é, o PORTA ouve o quão mutável ele é. Os pesquisadores chamam isso de variação de ativação.

Aqui está a analogia: Imagine um grupo de alunos em uma sala de aula.

O Jeito Antigo (Magnitude): O professor pergunta: "Quem é o mais barulhento?" e mantém apenas os alunos que gritam mais. Mas talvez o aluno mais barulhento esteja apenas gritando porque está animado com um tópico específico, enquanto o aluno quieto está, na verdade, prestando atenção em tudo o que o professor diz.
O Jeito PORTA (Variância): O professor pergunta: "Quem muda sua resposta mais dependendo da pergunta?" O aluno que adapta sua resposta com base no tópico é aquele que realmente entende o material.

No cérebro do robô, o PORTA procura por características que mostrem muita variação (flutuação) através de diferentes entradas. Se uma parte do cérebro reage de forma diferente a muitas imagens ou palavras diferentes, ela está realizando um trabalho importante. Se uma parte do cérebro permanece a mesma, não importa o que você mostre a ela, ela provavelmente é apenas peso morto. Ao usar essa pontuação de "mutabilidade", o PORTA consegue descobrir quais partes do robô são verdadeiramente úteis, independentemente de ele estar olhando para um gato ou lendo um poema. Isso torna a poda "agnóstica à modalidade", o que significa que ela trata as partes de visão e linguagem de forma justa, sem enviesar o corte para um dos lados.

O Corte Inteligente: Nem Todas as Camadas São Iguais

Uma vez que o PORTA sabe quais características são importantes, ele tem que decidir quanto cortar de cada camada do cérebro do robô. O cérebro não é um bloco uniforme; algumas camadas são como o alicerce de uma casa, e outras são como o telhado. Você não cortaria o alicerce tão agressivamente quanto o telhado.

O PORTA utiliza um mecanismo de esparsidade adaptativa inteligente. Ele observa quanto "trabalho" cada camada está realizando com base na variação de sua saída.

Se uma camada está fazendo muito esforço pesado (alta variação em sua saída), o PORTA diz: "Não toque tanto nisso!" e lhe dá uma baixa proporção de poda (mantém a maior parte dela).
Se uma camada está apenas navegando no piloto automático (baixa variação), o PORTA diz: "Podemos reduzir isso significamente".

Isso garante que o robô não perca sua capacidade de pensar só porque tentamos torná-lo menor. O artigo mostra que este método evita os "abismos de desempenho" onde outros métodos subitamente desabam quando você tenta cortar demais.

Os Resultados: Mais Fortes, Mais Leves, Prontos para Qualquer Coisa

Os pesquisadores testaram o PORTA em três cérebros de robôs famosos: CLIP, BLIP e Qwen2-VL. Eles não o testaram apenas em uma tarefa; eles jogaram tudo contra ele:

Classificação de Imagens: Identificar o que está em uma foto (como diferenciar uma flor de um cachorro).
Recuperação (Retrieval): Encontrar a imagem certa para uma descrição de texto (ou vice-versa).
VQA (Visual Question Answering): Responder perguntas complexas sobre uma imagem.

Os resultados foram impressionantes. Mesmo quando cortaram 65% dos parâmetros do robô (tornando-o muito pequeno), o PORTA manteve o robô performando muito melhor do que outros métodos.

No modelo CLIP, com 65% de esparsidade, o PORTA melhorou o desempenho médio em 12,6% em comparação ao método chamado SparseGPT e em 21,5% em comparação ao Wanda.
No BLIP (com 45% de esparsidade), o PORTA alcançou uma pontuação média de 90,26, superando os 89,95 do SparseGPT.
No Qwen2-VL (com 50% de esparsidade), o PORTA atingiu uma precisão média de 54,30, superando o próximo melhor método (Wanda) em 0,87 pontos percentuais.

Talvez o mais importante é que o PORTA é robusto. O artigo mostra que não importa se você usa um conjunto pequeno de imagens para "calibrar" a poda ou um conjunto grande, ou se você usa imagens de um site ou de outro. O PORTA permanece estável, enquanto outros métodos oscilam drasticamente de desempenho dependendo dos dados utilizados.

A Conclusão

O PORTA sugere que não precisamos retreinar esses modelos gigantes para torná-los menores. Ao simplesmente observar o quanto os sinais internos do robô mudam em vez de quão altos eles são, e ao cortar mais das camadas que realizam menos trabalho, podemos criar um único modelo enxuto que está pronto para qualquer tarefa. É uma abordagem de "podar uma vez, usar para sempre" que pode finalmente permitir que esses modelos de visão-linguagem superinteligentes rodem nos dispositivos que carregamos nos nossos bolsos, sem precisar de um supercomputador para alimentá-los. Os autores confirmam isso através de extensos experimentos zero-shot, mostrando que um modelo podado com o PORTA pode saltar diretamente para novas tarefas sem nenhum treinamento extra, mantendo alta precisão mesmo quando fortemente comprimido.

Resumo Técnico: PORTA – Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models

Declaração do Problema

Modelos de Visão-Linguagem (VLMs) têm demonstrado uma generalização notável através de tarefas multimodais por meio de pré-treinamento em larga escala. No entanto, o aumento rápido de sua contagem de parâmetros e requisitos computacionais dificulta a implantação em ambientes com recursos limitados. Embora técnicas de compressão de modelos como a poda (pruning) sejam essenciais, as estratégias existentes enfrentam limitações significativas no contexto de VLMs:

Dependência de Tarefa Específica: A maioria dos métodos de poda depende de critérios ou dados de calibração específicos da tarefa. Quando a tarefa downstream muda, o modelo frequentemente requer nova poda ou re-treinamento, introduzindo um overhead não negligenciável.
Viés de Modalidade: Muitas abordagens adotam medidas de importância derivadas de Grandes Modelos de Linguagem (LLMs), como Wanda e SparseGPT, que dependem da magnitude de ativação e padrões de outliers. Esses padrões não se manifestam identicamente em codificadores de visão, levando a um viés de modalidade específica onde a poda afeta desproporcionalmente o ramo de visão ou o de linguagem.
Instabilidade: Estimativas de importância orientadas para LLMs são altamente sensíveis à escolha dos dados de calibração. Em configurações agnósticas à tarefa, onde amostras específicas da tarefa não estão disponíveis, esses métodos produzem estimativas de importância instáveis e resultados de poda subótimos.

Consequentemente, há uma falta de um framework de poda robusto e agnóstico à tarefa que possa podar um VLM uma única vez usando dados gerais e implantá-lo em diversas tarefas downstream sem re-treinamento ou nova poda.

Metodologia: PORTA

Os autores propõem o PORTA (Prune-Once: Retraining-free Task-Agnostic pruning), um framework projetado para abordar o viés de modalidade e a sensibilidade de calibração através de dois componentes principais: uma formulação de importância agnóstica à modalidade e um mecanismo de alocação de esparsidade adaptativo.

1. Formulação de Importância Baseada em Variância

Métodos existentes utilizam primariamente a magnitude da ativação para estimativa de importância. Os autores argumentam que a magnitude é sensível às diferenças de escala específicas da modalidade (ex: diferenças entre distribuições de ativação de texto vs. visão). Em vez disso, o PORTA utiliza a variação de ativação (variância) como um sinal mais estável e agnóstico à modalidade.

Racional: Características com alta variância respondem amplamente a diversos inputs, capturando estruturas generalizáveis, enquanto características de baixa variância codificam padrões localizados ou específicos do input.
Formulação: Para uma camada com ativações de entrada $X \in \mathbb{R}^{B \times T \times D_{in}}$ e pesos $W$ , o escore de importância $S_{i,j}$ para o peso $W_{i,j}$ é calculado combinando a magnitude absoluta do peso com a variância da característica de entrada correspondente $j$ :
$v_j = \mathrm{Var}_{b,t}(X_{b,t,j})$
$S_{i,j} = v_j \cdot |W_{i,j}|$
Esta formulação garante que características que contribuem significativamente para a capacidade representacional do modelo através de diversos inputs sejam retidas, mitigando o viés causado pelas diferentes escalas de ativação entre os ramos de visão e linguagem.

2. Alocação de Esparsidade Adaptativa

O PORTA evita a esparsidade uniforme ao atribuir razões de poda por camada baseadas na variabilidade do espaço de características de saída da camada.

Mecanismo: O método estima a variância dos canais de saída para determinar a "utilização" da capacidade representacional de uma camada. Camadas com maior variância de saída (indicando maior utilização) recebem razões de esparsidade menores para preservar o desempenho, enquanto camadas com menor variância são podadas de forma mais agressiva.
Eficiência: Para garantir eficiência computacional, a matriz de covariância de entrada é aproximada como diagonal, permitindo o reuso das estatísticas de variância computadas durante a etapa de estimativa de importância.
Algoritmo: Os escores por camada são normalizados e ajustados via um parâmetro de força $\alpha$ para atingir um nível de esparsidade global alvo (detalhado no Algoritmo 1 do artigo).

Principais Contribuições

Um Framework Sem Re-treinamento: O PORTA introduz um paradigma de "podar uma vez" onde um VLM pré-treinado é podado uma única vez usando dados de calibração gerais e aplicado diretamente a diversas tarefas downstream (classificação, recuperação, VQA) sem qualquer treinamento adicional ou nova poda.
Critério de Importância Agnóstico à Modalidade: O artigo propõe uma nova métrica de importância baseada na variância da ativação em vez da magnitude. Isso aborda o viés de modalidade inerente às métricas derivadas de LLMs, fornecendo um sinal estável tanto para codificadores de visão quanto de linguagem.
Alocação de Esparsidade Adaptativa: Um mecanismo de razão de poda por camada é introduzido para se adaptar à utilidade representacional específica de cada camada, superando as limitações da esparsidade uniforme.
Robustez à Calibração: O framework demonstra estabilidade entre diferentes conjuntos de dados de calibração e tamanhos de amostra, tornando-o prático para cenários onde dados específicos da tarefa não estão disponíveis.

Resultados Experimentais

Os autores avaliaram o PORTA em três arquiteturas representativas de VLM: CLIP (OpenAI ViT-bigG), BLIP e Qwen2-VL. As avaliações foram conduzidas em um cenário totalmente zero-shot através de classificação de imagem, recuperação de imagem-texto e Visual Question Answering (VQA).

Desempenho sob Alta Esparsidade: O PORTA superou consistentemente os baselines (Wanda, SparseGPT, ECoFLaP, Multiflow) em níveis de esparsidade elevados (55%–65%).
- No CLIP com 65% de esparsidade, o PORTA melhorou o desempenho médio em 12,6% sobre o SparseGPT e 21,5% sobre o Wanda em oito métricas.
- No BLIP com 45% de esparsidade, o PORTA alcançou um escore de recuperação médio superior (90,26) comparado ao SparseGPT (89,95).
- No Qwen2-VL para VQA (ScienceQA) com 50% de esparsidade, o PORTA alcançou a maior acurácia média (54,30%), superando o segundo melhor baseline (Wanda) em 0,87 pontos percentuais.
Robustez de Calibração: Experimentos variando o conjunto de dados de calibração (Flickr30K, MSCOCO, Visual Genome) e o tamanho da amostra mostraram que o desempenho do PORTA permaneceu estável (flutuações <1%), enquanto os baselines exibiram mudanças significativas de desempenho (até ~5%).
Eficiência: O PORTA completou a poda em aproximadamente 195 segundos no CLIP, o que é cerca de 4x mais rápido que o SparseGPT e 2x mais rápido que o ECoFLaP, em grande parte devido ao reuso das estatísticas de variância e aproximação de covariância diagonal.

Significância e Alegações

O artigo afirma que o PORTA avança a implantação prática de VLMs ao permitir a compressão agnóstica à tarefa. Ao derivar a importância da variação de ativação em vez da magnitude, o método mitiga com sucesso o viés de modalidade que afeta as estratégias de poda orientadas para LLM.

Os autores enfatizam que o PORTA permite que um único modelo podado se generalize através de aplicações downstream heterogêneas (recuperação, classificação, geração) sem a necessidade de nova poda ou re-treinamento. Essa capacidade de "podar uma vez" reduz significativamente o overhead de implantação, particularmente em cenários onde dados de calibração específicos da tarefa são difíceis de obter. O trabalho valida que a poda agnóstica à tarefa e à modalidade é alcançável com desempenho robusto mesmo sob altos níveis de compressão, desde que a estimativa de importância seja fundamentada na utilidade de representação invariante à modalidade.