Resumo Técnico: CORP - Poda Estruturada de Representação Preservada em Um Único Passo com Forma Fechada para Transformers

1. Declaração do Problema

Modelos baseados em Transformers alcançam desempenho state-of-the-art, mas incorrem em custos computacionais e de memória proibitivos, dificultando a implantação em hardware com recursos limitados. Embora a poda estruturada (remoção de dimensões inteiras ou subestruturas) ofereça acelerações práticas, a maioria dos métodos existentes depende de re-treinamento, otimização iterativa ou acesso a dados rotulados e gradientes. Em cenários estritos de implantação pós-treinamento, esses recursos frequentemente não estão disponíveis.

A poda estruturada ingênua em um único passo falha sob essas restrições porque a remoção de canais ou dimensões de atenção introduz erros sistemáticos de representação que se acumulam através das camadas, levando a um colapso rápido da precisão mesmo em níveis moderados de esparsidade. Os autores argumentam que essa falha é impulsionada não meramente pela qualidade da classificação de importância, mas pela falta de recuperação explícita de erro para os componentes removidos.

2. Metodologia: CORP

Os autores propõem o CORP (Poda Estruturada de Representação Preservada em Um Único Passo com Forma Fechada), um quadro que reformula a poda como um problema de recuperação de representação. O CORP opera sem rótulos, gradientes ou ajuste fino, utilizando apenas um pequeno conjunto de dados de calibração não rotulados.

Filosofia Central

Em vez de visualizar a poda apenas como uma tarefa de seleção, o CORP modela os componentes removidos como funções afins dos componentes retidos. Ele deriva soluções de regressão ridge de forma fechada para estimar as contribuições faltantes e incorpora essas compensações diretamente nos pesos das camadas restantes. Isso preserva a distribuição de saída da camada sem exigir otimização iterativa ou módulos de inferência adicionais.

Componentes Técnicos

O método visa duas estruturas primárias em Transformers:

A. Poda de Canal MLP

Para uma camada MLP definida por $y = Wx + b$, onde a entrada $x$ é partitionada em canais mantidos ($x_S$) e podados ($x_P$):

1. Modelagem: As ativações podadas $x_P$ são aproximadas como uma função afim das ativações mantidas: $x_P \approx Bx_S + c$.
2. Solução de Forma Fechada: Os parâmetros $(B, c)$ são derivados via regressão ridge no conjunto de calibração $D$:
   $$B = \Sigma_{PS}(\Sigma_{SS} + \lambda I)^{-1}, \quad c = \mu_P - B\mu_S$$
   onde $\Sigma$ representa as matrizes de covariância das ativações.
3. Dobramento de Pesos: A compensação é incorporada nos pesos restantes:
   $$\hat{W}_S = W_S + W_P B, \quad \hat{b} = b + W_P c$$
   Isso resulta em uma camada linear padrão com dimensões reduzidas que minimiza o erro de reconstrução da saída original.

B. Poda de Dimensão de Atenção (Query/Key)

Para a auto-atenção, o CORP poda dimensões nas projeções Query ($Q$) e Key ($K$), deixando a projeção Value ($V$) intacta para evitar problemas complexos de acoplamento.

1. Recuperação de Logits: Os logits de atenção originais são $L = QK^\top = Q_S K_S^\top + Q_P K_P^\top$. O termo $Q_P K_P^\top$ (logits faltantes) é aproximado usando os subespaços mantidos: $Q_P K_P^\top \approx Q_S M K_S^\top$, onde $M$ é uma pequena matriz de compensação.
2. Solução de Forma Fechada: $M$ é estimado resolvendo um problema de regressão ridge sobre o conjunto de calibração, formulado como uma equação de Sylvester ou um sistema linear vetorizado:
   $$\left[ \sum_b (K_{S,b}^\top K_{S,b}) \otimes (Q_{S,b}^\top Q_{S,b}) + \lambda I \right] \text{vec}(M) = \sum_b \text{vec}((Q_{S,b}^\top Q_{P,b})(K_{P,b}^\top K_{S,b}))$$
3. Dobramento de Pesos: A matriz $I + M$ é fatorada via SVD ($U\Sigma V^\top$) e incorporada nas projeções Query e Key:
   $$\hat{W}_{Q,S} = W_{Q,S} U \Sigma^{1/2}, \quad \hat{W}_{K,S} = W_{K,S} V \Sigma^{1/2}$$

Estratégia de Classificação

Antes da compensação, o CORP classifica canais/dimensões para remoção usando métricas simples e orientadas por dados:

• MLP: Uma métrica combinada de energia de ativação ($E_i = E[x_i^2]$) e magnitude de peso ($|W_{:,i}|^2$).
• Atenção: Energia de logit esperada ($s_j = E[\|q_j\|^2 \|k_j\|^2]$).
  Canais com as pontuações mais baixas são podados.

3. Contribuições Principais

1. Reformulação da Poda: Os autores deslocam o foco da poda em um único passo de puramente "classificação" para "recuperação de representação", demonstrando que a compensação é crítica para preservar a precisão.
2. Quadro de Forma Fechada: O CORP fornece uma solução unificada e de forma fechada para tanto a poda de canal MLP quanto a poda de dimensão de atenção Q/K, que não requer gradientes, rótulos ou ajuste fino.
3. Compensação Unificada: Diferentemente de trabalhos anteriores que podem compensar apenas a saída de um bloco, o CORP realiza recuperação de representação por camada e introduz compensação específica no espaço de logits para dimensões de atenção, incorporando todas as correções diretamente nas projeções reduzidas.

4. Resultados Experimentais

Os experimentos foram conduzidos no ImageNet (modelos DeiT e ViT), WikiText-2 (OPT-1.3B) e tarefas downstream (DINOv2 em NYU Depth V2 e ADE20k).

• Preservação de Precisão:

  • DeiT-Huge: Alcança 83,27% de precisão Top-1 após podar 50% das estruturas MLP e de atenção (uma queda de apenas ~1,7% em relação à linha de base de 84,97%).
  • Escalabilidade: Modelos maiores (por exemplo, DeiT-Huge) mostram redundância mais forte e melhor retenção de precisão sob esparsidade agressiva em comparação com modelos menores (por exemplo, DeiT-Tiny).
  • Comparação: O CORP supera ou iguala métodos state-of-the-art como GRAIL, SNOWS e VBP. Por exemplo, no DeiT-Base com 50% de esparsidade MLP, o CORP alcança 72,0% de precisão Top-1, comparado a 68,6% para o GRAIL e 66,4% para o VBP.
  • Sem Ajuste Fino: O CORP iguala o desempenho do DC-ViT (que usa ajuste fino de few-shot com imitação de características) sem nenhuma atualização de gradiente.

• Ganhos de Eficiência:

  • DeiT-Huge: Em 50% de esparsidade, parâmetros e FLOPs são reduzidos em ~40–45%, resultando em um aumento de velocidade de throughput de 1,6× em uma NVIDIA RTX 3090.
  • OPT-1.3B: A poda de 30% das estruturas MLP e de atenção reduz FLOPs em 27,2% e parâmetros em 25,0%, com a perplexidade aumentando modestamente (de 14,60 para 25,41 para poda conjunta).
  • Tarefas Downstream: No DINOv2, a poda de 50% da espinha dorsal preserva o desempenho downstream em estimativa de profundidade (RMSE melhora de 0,3308 para 0,3167 para DINOv2-Huge) e segmentação.

• Eficiência de Calibração:

  • O método é robusto ao tamanho do conjunto de calibração; modelos maiores permanecem estáveis mesmo com pequenos conjuntos de calibração (por exemplo, 1000 amostras).
  • A análise de tempo de execução mostra que a calibração domina o custo, enquanto a classificação e a compensação de forma fechada adicionam sobrecarga negligenciável.

5. Significado e Alegações

O artigo afirma que o CORP demonstra que a poda estruturada pode ser efetivamente realizada em um cenário estrito de um único passo, pós-treinamento, tratando-a como um problema de recuperação de representação. O significado chave reside em:

• Implantabilidade Prática: Permite compressão em hardware onde o re-treinamento é impossível devido à falta de rótulos ou gradientes.
• Insight Teórico: Destaca que o "erro sistemático" introduzido pela remoção de componentes aditivos é a causa principal do colapso de precisão, e que uma simples compensação afim/logit pode recuperar esse erro sem otimização complexa.
• Aplicabilidade Ampa: O método mostra resultados fortes em modelos de visão (DeiT, ViT, DINOv2) e modelos de linguagem (OPT), sugerindo forte redundância tanto nas representações MLP quanto de atenção através de modalidades.

Os autores observam modestamente limitações, incluindo a suposição de compensação de módulo independente (ignorando interações entre módulos), o uso de taxas de esparsidade uniformes e a falta de otimização para composição de quantização-poda. Eles afirmam que o desempenho pode degradar sob fortes deslocamentos de distribuição entre dados de calibração e implantação.