💬 NLP

RCPU: Rotation-Constrained Error Compensation for Structured Pruning of Large Language Models

O artigo propõe o RCPU, um método de compensação de erros com restrição de rotação e pontuação de importância baseada na variância, que melhora a precisão e reduz a perplexidade em modelos de linguagem grandes após a poda estruturada, preservando a geometria das representações de saída.

Autores originais: Shuichiro Haruta, Kazunori Matsumoto, Zhi Li, Yanan Wang, Mori Kurokawa

Publicado 2026-03-02

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Shuichiro Haruta, Kazunori Matsumoto, Zhi Li, Yanan Wang, Mori Kurokawa

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um gênio superinteligente (um Modelo de Linguagem Grande, ou LLM) que aprendeu a ler e escrever tudo o que existe na internet. Esse gênio é incrível, mas é gigante: ele ocupa muito espaço na memória do seu computador e é lento para responder.

Para usar esse gênino em um celular ou em um sistema rápido, precisamos "emagrecê-lo". A técnica chamada Poda Estruturada (Structured Pruning) é como cortar os galhos desnecessários de uma árvore. O problema é: se você cortar os galhos errados ou cortar demais, a árvore pode morrer ou parar de dar frutos (o modelo deixa de fazer sentido).

Aqui entra o RCPU, a nova solução proposta por este artigo. Vamos entender como funciona com uma analogia simples:

1. O Problema: O "Corte" Destrói o Equilíbrio

Quando cortamos partes do cérebro do modelo (os pesos da rede neural), o que sobra não se encaixa perfeitamente no que era antes. É como se você tirasse algumas peças de um quebra-cabeça gigante e tentasse juntar as restantes. A imagem final fica torta, distorcida.

Métodos antigos tentavam consertar isso ajustando as peças restantes como se estivessem "esticando" ou "deformando" o quebra-cabeça para caber. O problema é que, com poucas informações para guiar esse ajuste (poucos dados de calibração), eles acabam esticando demais e estragando o conhecimento que o modelo já tinha. É como tentar consertar um vaso quebrado com cola de má qualidade: ele pode parecer inteiro, mas a forma original se perdeu.

2. A Solução do RCPU: A "Dança" Perfeita

O RCPU (Rotational-Constrained Parameter Update) propõe uma ideia diferente: em vez de esticar ou deformar as peças restantes, vamos apenas girá-las para que elas se alinhem novamente com a imagem original.

A Analogia da Dança: Imagine que o modelo original é um grupo de dançarinos em formação perfeita. Ao podar, você remove alguns dançarinos. O grupo restante está desalinhado.
- Métodos antigos tentam empurrar os dançarinos para frente e para trás, mudando o tamanho deles (o que estraga a coreografia).
- O RCPU diz: "Não mudem o tamanho de ninguém. Apenas girem o grupo inteiro no lugar, como se estivessem dançando um passo de rotação, até que a formação restante fique alinhada com a direção que o grupo original estava indo."
Por que isso é bom? Ao girar (rotacionar), você preserva a "geometria" da dança. As distâncias entre os dançarinos e o ângulo entre eles permanecem os mesmos. Isso garante que o conhecimento original do modelo não seja distorcido, mesmo com menos peças.

3. Escolhendo Quem Fica: O "Filtro de Variação"

Antes de fazer essa dança de rotação, você precisa decidir quais galhos cortar e quais manter. O RCPU usa um critério inteligente chamado "Pontuação Consciente de Variância".

A Analogia da Orquestra: Imagine que você tem que escolher quais instrumentos de uma orquestra manter.
- Métodos simples olham apenas para quem toca mais alto (maior peso).
- O RCPU olha para quem varia mais na música. Se um instrumento toca sempre a mesma nota, ele é menos importante. Mas se um instrumento muda de tom, ritmo e intensidade o tempo todo (alta variância), ele é crucial para a direção da música.
O RCPU garante que os "instrumentos" que mais contribuem para a direção principal da música (os dados) sejam mantidos. Assim, quando você gira o grupo restante, ele tem a base sólida necessária para se realinhar perfeitamente.

4. O Resultado: Um Modelo Mais Leve e Inteligente

Os autores testaram isso em modelos famosos (Llama-7B e Llama-2-13B) e descobriram que:

Menos Erros: O modelo podado com RCPU comete menos erros (tem menor "perplexidade") do que os modelos podados com métodos antigos.
Melhor Entendimento: Em testes de compreensão de linguagem (como responder perguntas ou resolver problemas de lógica), o modelo RCPU se saiu melhor, especialmente quando a poda foi agressiva (cortando 30% do modelo).
Rápido e Barato: O processo de "girar" as peças é matematicamente simples e rápido. Não precisa de um computador superpoderoso para fazer o ajuste, nem de reescrever toda a arquitetura do modelo.

Resumo Final

O RCPU é como um cirurgião muito cuidadoso que, ao remover partes de um cérebro artificial, não apenas corta, mas reorienta o que sobrou. Ele usa uma "dança de rotação" para garantir que a mente do modelo continue pensando de forma coerente e precisa, mesmo ficando menor e mais rápido. É uma forma de economizar espaço e energia sem sacrificar a inteligência do gênio.

1. Problema Abordado

O artigo foca no desafio de realizar poda estruturada (structured pruning) em Modelos de Linguagem Grandes (LLMs) sem a necessidade de re-treinamento (fine-tuning).

O Dilema: LLMs acumulam conhecimento semântico rico em seus espaços de representação durante o pré-treinamento massivo. A poda estruturada (remoção de colunas inteiras de matrizes de pesos) é eficiente para reduzir custos de inferência e memória, mas introduz erros de saída inevitáveis, especialmente quando realizada com conjuntos de dados de calibração limitados.
Limitações das Abordagens Atuais:
- Ajuste por Mínimos Quadrados (Least-Squares): Tentar corrigir os erros diretamente ajustando os pesos restantes via regressão linear tende a causar overfitting em conjuntos de calibração pequenos, distorcendo a geometria do espaço de saída (escalas e cisalhamentos indesejados) e degradando o desempenho em tarefas downstream.
- Compensação por Viés (Bias): Métodos como o FLAP adicionam um termo de viés para corrigir erros médios, mas falham em lidar com discrepâncias direcionais dependentes da entrada.
- Poda Não Estruturada: Métodos como o WANDA funcionam bem, mas não reduzem o número de parâmetros de forma eficiente em hardware sem suporte especial.

2. Metodologia Proposta: RCPU

Os autores propõem o RCPU (Rotation-Constrained Parameter Update), uma abordagem que combina uma nova métrica de importância com uma atualização de parâmetros restrita a rotações ortogonais.

A. Compensação Baseada em Rotação (Orthogonal Procrustes)

Em vez de um ajuste linear livre, o RCPU formula a recuperação pós-poda como um Problema de Procrustes Ortogonal.

Objetivo: Encontrar uma matriz de rotação $Q$ que alinhe a saída do modelo podado ( $Z$ ) com a saída do modelo original ( $Y$ ) no conjunto de calibração, minimizando $\|Y - QZ\|_F^2$ .
Restrição Geométrica: Ao restringir a atualização a uma matriz ortogonal ( $Q^T Q = I$ $Q^{T} Q = I$ ), o método preserva:
- Normas dos vetores de saída.
- Produtos internos (ângulos) entre representações.
Vantagem: Isso evita a distorção geométrica (escalas e cisalhamentos) que ocorre em ajustes de mínimos quadrados não restritos, mantendo a estabilidade estatística e o conhecimento pré-treinado, mesmo com poucos dados de calibração.
Solução: A matriz ótima $Q^*$ é obtida via decomposição em valores singulares (SVD) de $M = YZ^T$ , onde $Q^* = UV^T$ . Uma variante escalada ( $s^*Q^*$ ) também é explorada, mas com ganhos marginais.

B. Pontuação de Importância Consciente de Variância

Para que a compensação por rotação seja eficaz, é crucial manter as colunas que contribuem para as direções principais de saída.

Métrica Proposta: O RCPU estende a heurística do WANDA (produto de magnitude de pesos e ativações) adicionando um fator de variância da entrada.
Fórmula: $\gamma_j = \|W_{[:,j]}\| \cdot \|X_{[j,:]}\| \cdot \text{Var}(X_{[j,:]})$ .
Lógica: Colunas com alta variância nas ativações de calibração são mais propensas a alinhar-se com as direções dominantes de saída. Priorizar a retenção dessas colunas facilita a recuperação da orientação do espaço de representação após a poda.

C. Algoritmo

O processo é aplicado camada por camada:

Coletar ativações de entrada e saídas originais de um pequeno conjunto de calibração.
Calcular as pontuações $\gamma_j$ e selecionar as colunas a serem mantidas (top-k).
Remover as colunas não selecionadas.
Resolver o problema de Procrustes para encontrar a rotação ótima $Q^*$ .
Atualizar os pesos mantidos: $\hat{W}_K = Q^* W_K$ .

3. Contribuições Principais

Formulação Geométrica: Introdução de uma compensação de erro baseada em rotação ortogonal imediata após a poda, preservando a estrutura geométrica (normas e ângulos) das representações.
Métrica de Importância Híbrida: Desenvolvimento de uma pontuação de poda que integra magnitude, escala de ativação e variância da entrada, garantindo que componentes críticos para a orientação sejam preservados.
Eficiência e Simplicidade: O método não requer alterações arquitetônicas, não necessita de fine-tuning downstream e possui complexidade computacional baixa (dominada por SVD de matrizes de tamanho $d_{out} \times d_{out}$ ), sendo comparável a métodos de poda não estruturada como o SparseGPT.
Estabilidade Estatística: Redução do overfitting em conjuntos de calibração pequenos ao limitar os graus de liberdade da atualização (restrição ortogonal), superando métodos baseados em mínimos quadrados regularizados.

4. Resultados Experimentais

Os experimentos foram realizados nos modelos Llama-7B e Llama-2-13B, utilizando o conjunto de dados WikiText-2 para calibração e diversos benchmarks de compreensão de linguagem (BoolQ, PIQA, HellaSwag, etc.).

Perplexidade (PPL): O RCPU demonstrou consistentemente melhor perplexidade em comparação com as bases (WANDA-sp e FLAP) em todas as taxas de poda (10%, 20%, 30%).
- Em calibrações pequenas (128 amostras), o RCPU superou significativamente o ajuste por mínimos quadrados (LS), que sofreu de overfitting.
- Em calibrações maiores (512 amostras), o RCPU manteve-se competitivo ou superior, especialmente em benchmarks downstream.
Acurácia em Benchmarks: O RCPU obteve a maior média de acurácia em todos os níveis de poda.
- Em taxas de poda altas (30%), a vantagem do RCPU sobre o WANDA-sp e FLAP foi mais pronunciada, indicando que a preservação geométrica é crítica quando o subespaço retido é pequeno.
- Tarefas que exigem consistência contextual e resolução de pronomes (HellaSwag, WinoGrande) mostraram ganhos notáveis, sugerindo que a rotação preserva melhor as propriedades estruturais do espaço de representação.
Eficiência: O tempo de poda por camada é inferior a 10 segundos em uma GPU A100, tornando o método viável para modelos de grande escala.

5. Significado e Conclusão

O RCPU representa um avanço significativo na poda de LLMs ao demonstrar que restringir a compensação de erros a transformações geométricas preservadoras (rotações) é mais robusto do que ajustes lineares livres, especialmente em cenários com dados de calibração limitados.

Impacto Prático: Oferece um método "plug-and-play" que melhora a eficiência de modelos sem exigir re-treinamento custoso ou alterações na arquitetura.
Insight Teórico: O trabalho destaca que, para modelos pré-treinados, a estabilidade estatística e a preservação da geometria do espaço latente são mais importantes do que a minimização pura do erro de calibração via ajuste de parâmetros livres.
Futuro: Abre caminho para investigações sobre atualizações de modelos conscientes da poda que equilibram estabilidade estatística e eficiência computacional, sugerindo que restrições geométricas são uma direção promissora para a compressão de modelos.