🤖 machine learning

CoCurve: Cross-Module Co-Pruning Curvature for Training-Free Structured LLM Pruning

O CoCurve é um método de poda estruturada livre de treinamento para LLMs que otimiza conjuntamente a remoção de unidades de atenção e FFN ao alavancar uma expansão de Taylor de segunda ordem para capturar dependências entre módulos por meio de uma matriz de Fisher, permitindo uma compressão eficiente e sem rótulos via um programa quadrático de etapa única sem ajuste fino.

Autores originais: Zhiren Gong, Zihao Zeng, Zijie Wang, Tiantong Wang, Chau Yuen, Wei Yang Bryan Lim

Publicado 2026-07-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhiren Gong, Zihao Zeng, Zijie Wang, Tiantong Wang, Chau Yuen, Wei Yang Bryan Lim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um cérebro de robô gigante e superinteligente, feito de bilhões de minúsculas engrenagens e molas. Este é um Grande Modelo de Linguagem (LLM), um tipo de IA que pode escrever histórias, resolver problemas matemáticos e até codificar softwares. Mas aqui está o detalhe: esses cérebros são tão enormes e pesados que são incrivelmente caros para operar e lentos para pensar. Para torná-los úteis para as pessoas comuns, os cientistas precisam encolhê-los, como se estivessem guardando uma biblioteca massiva em um livro de bolso. Esse processo é chamado de "poda" (pruning).

Pense na poda como editar um filme longo. Você quer cortar as cenas entediantes para tornar o filme mais curto e rápido de assistir, mas não quer arruinar o enredo. Por muito tempo, os editores (cientistas) pensaram que a melhor maneira de fazer isso era olhar para cada cena individualmente. Se uma cena parecesse monótona por si só, eles a cortariam. Eles assumiam que, se cortassem várias cenas monótonas, o filme apenas ficaria um pouco mais curto, mas a história permaneceria a mesma. Eles tratavam o filme como uma simples lista de clipes independentes.

Apresentando o CoCurve: O Detetive que Mapeia as Conexões

Os pesquisadores por trás deste artigo, da Universidade Tecnológica de Nanyang, introduziram um novo método chamado CoCurve (Curvatura de Co-Poda Cruzada de Módulos). Em vez de apenas olhar para cada engrenagem individualmente para ver se ela é fraca, o CoCurve atua como um detetive que mapeia como cada engrenagem está conectada a todas as outras.

Aqui está como eles fizeram isso, usando uma analogia simples: Imagine que o cérebro da IA é uma cidade gigante com dois tipos de edifícios: Torres de Atenção (que ajudam a IA a focar em palavras específicas) e Fábricas FFN (que processam e compreendem essas palavras).

O Jeito Antigo (O Erro do "Foco no Nó"): Os métodos tradicionais percorreriam a cidade, verificariam cada edifício individualmente e diriam: "Esta torre parece um pouco vazia, vamos derrubá-la", ou "Esta fábrica parece lenta, vamos fechá-la". Eles assumiam que derrubar alguns edifícios vazios não prejudicaria a cidade. Mas eles perderam o fato de que algumas torres "vazias" eram, na verdade, as únicas pontes conectando duas fábricas movimentadas. Derrubá-las causava congestionamentos que paravam toda a cidade.
O Jeito CoCurve: O CoCurve não verifica apenas os edifícios; ele verifica as pontes entre eles. Ele usa um truque matemático inteligente (uma expansão de Taylor de segunda ordem de uma "divergência KL", que é apenas uma forma sofisticada de medir o quanto as respostas da IA mudam quando você esconde uma parte dela) para desenhar um mapa da cidade.
- A diagonal mostra o quão importante é um único edifício por si só (como o método antigo).
- As linhas fora da diagonal mostram a "co-poda de curvatura". Isso é o dano extra causado se você derrubar dois edifícios específicos juntos. Isso revela que, às vezes, dois edifícios fracos são, na verdade, uma equipe superforte, e você deve manter ambos.

O Truque de Mágica: Sem Necessidade de Treinamento

Normalmente, descobrir essas conexões exige muito esforço, como o retreinamento da IA ou a execução de milhões de testes. Mas o CoCurve é um método "livre de treinamento" (training-free). É como um truque de mágica de um só passo.

Os pesquisadores pegam uma pequena amostra de texto não rotulada (como algumas páginas de um livro).
Eles passam a IA por esse texto, mas "mascaram" (escondem) um edifício de cada vez para ver como as respostas da IA oscilam.
Usando um atalho matemático elegante (um produto de Gram), eles podem calcular todo o mapa de conexões apenas a partir desses testes únicos. Eles não precisam testar todos os pares possíveis de edifícios (o que levaria uma eternidade), nem precisam atualizar os pesos da IA. Tudo é feito de uma só vez.

O Que Eles Descobriram

A equipe testou o CoCurve em quatro modelos diferentes de IA, variando de 3 bilhões a 24 bilhões de parâmetros. Eles o compararam com outros nove métodos populares de poda.

Os Resultados: O CoCurve superou consistentemente os outros. Ele manteve a IA mais inteligente e capaz, especialmente em tarefas difíceis como escrever código ou resolver problemas matemáticos, onde outros métodos frequentemente faziam a IA "colapsar" e falhar completamente.
A Grande Vitória: Em um modelo massivo de 24 bilhões de parâmetros, quando podaram 40% do cérebro, o CoCurve foi 14,5 vezes melhor em prever a próxima palavra (uma medida chamada perplexidade) do que o segundo melhor método.
A Descoberta da "Ponte": O artigo provou que os ganhos não vieram apenas de encontrar os "melhores" edifícios para manter. Os ganhos vieram especificamente das arestas cross-module — as conexões entre as Torres de Atenção e as Fábricas FFN. Quando removeram essas conexões da matemática, o método teve um desempenho muito pior, provando que essas pontes ocultas são o ingrediente secreto.

Quando Funciona?

Os pesquisadores também descobriram uma regra para quando esse trabalho de detetive é mais útil. Se um modelo possui edifícios redundantes demais (como uma cidade com 100 fábricas idênticas que fazem a mesma coisa), o mapa de conexões torna-se ruidoso e confuso. Nesses casos, o CoCurve possui um "interruptor de segurança" (um fator de amortecimento) que desliga o mapeamento complexo de pontes e apenas adota o método simples de "verificar cada edifício". Isso garante que ele nunca piore as coisas, mesmo em modelos onde as conexões não são tão críticas.

A Conclusão

O CoCurve muda o jogo ao nos ensinar que, em um cérebro de IA complexo, você não pode apenas podar os nós (as partes), você tem que podar as arestas (as conexões). Ao respeitar o trabalho de equipe oculto entre diferentes partes da IA, o CoCurve cria modelos menores e mais rápidos que não perdem sua inteligência. É uma maneira mais inteligente de editar o filme, garantindo que o enredo permaneça intacto mesmo quando o tempo de exibição é cortado pela metade.

Resumo Técnico: CoCurve

Definição do Problema

A poda estruturada comprime Grandes Modelos de Linguagem (LLMs) removendo unidades computacionais inteiras, como cabeças de atenção e grupos de canais de redes feed-forward (FFN). Embora métodos que não exigem treinamento sejam preferidos por sua ausência de requisitos de dados e computação, eles tipicamente sofrem de um ponto cego crítico: eles classificam as unidades removíveis de forma independente.

A maioria das abordagens existentes assume que a perda ao podar um conjunto de unidades é a soma das perdas individuais dessas unidades ( $\Delta L(S) \approx \sum \Delta L(u)$ ). Essa suposição falha em arquiteturas Transformer onde as subcamadas são acopladas através de um fluxo residual compartilhado. Consequentemente, duas unidades que parecem fracas individualmente (baixa saliência) podem ser conjuntamente indispensáveis. A classificação independente é cega a esse acoplamento e frequentemente remove tais "unidades de ponte" (bridge units) juntamente com as unidades que elas suportam, causando danos desproporcionais às capacidades generativas do modelo, particularmente em tarefas de código e matemática.

Metodologia: CoCurve

Os autores introduzem o CoCurve (Cross-Module Co-Pruning Curvature), um método de calibração apenas, sem necessidade de treinamento, que poda conjuntamente unidades de atenção e FFN ao modelar suas interações.

1. Risco de Poda como Autodestilação de Segunda Ordem

O método define o risco de poda como a divergência de Kullback-Leibler (KL) ao nível de token entre o modelo completo congelado (professor) e sua cópia mascarada (aluno) sobre texto não rotulado.

Ordem Zero e Primeira Ordem: No nível de poda zero, as distribuições coincidem, portanto, o risco e seu gradiente desaparecem.
Segunda Ordem: O termo principal da expansão de Taylor é puramente quadrático: $R(s) \approx \frac{1}{2} s^\top H s$ .
A Matriz de Fisher ( $H$ ): Esta matriz única $H$ $H$ contém:
- Diagonal ( $H_{uu}$ ): Saliência clássica de nó (semelhante ao Optimal Brain Damage).
- Fora da Diagonal ( $H_{uv}$ ): Arestas de curvatura de coprodução, representando a distorção extra incorrida ao remover as unidades $u$ e $v$ juntas.

2. Estimativa Prática via Ablações de Unidade Única

Computar uma matriz de interação completa $M \times M$ tipicamente requer $O(M^2)$ ablações pareadas. O CoCurve evita isso derivando um estimador de forma fechada:

As entradas fora da diagonal $H_{uv}$ são mostradas como um produto Gram de características de perturbação de logit de unidade única.
Ao realizar apenas $M$ passagens de ablação de unidade única (uma por unidade) e computar os produtos escalares ponderados por Fisher de seus deslocamentos de logit, a matriz de interação completa é recuperada.
Isso não requer gradientes, produtos de vetor-Hessiano ou varreduras pareadas.

3. Solucionador Ganancioso de Passo Único (One-Shot Greedy Solver)

A poda é formulada como um programa quadrático binário com orçamento. Os autores empregam um solucionador ganancioso normalizado pelo custo que:

Seleciona unidades para remoção baseando-se no risco marginal, que inclui tanto a saliência do nó quanto a interação acumulada com as unidades já selecionadas.
Opera sob um orçamento compartilhado para unidades de atenção e FFN, permitindo que a otimização determine a divisão ideal em vez de fixá-la manualmente.
Inclui um escalar de região de confiança ( $\lambda$ ) para amortecer o termo de aresta em altas taxas de poda, onde a aproximação de segunda ordem se degrada. Este $\lambda$ é determinado por uma regra livre de rótulos baseada na redundância de canais FFN do modelo.

4. Compensação (Opcional)

Para taxas agressivas, um passo de compensação de forma fechada pode reescalar as saídas dos grupos de FFN mantidos para absorver o deslocamento do fluxo residual causado pelas unidades removidas. Este passo também é livre de gradiente e utiliza os mesmos blocos de aresta computados durante a seleção.

Principais Contribuições

Um Objetivo de Nó-para-Aresta: Derivação de um risco de poda quadrático onde os termos fora da diagonal representam a curvatura de coprodução entre módulos (atenção e FFF), indo além da classificação de nós independente.
Um Estimador e Solucionador Prático: Demonstração de que a matriz de interação completa é um produto Gram de características de ablação de unidade única, recuperável em $O(M)$ passagens. O método resolve o problema de seleção em um único passo sem atualizações de peso ou recuperação.
Um Mecanismo Interpretável: O método protege explicitamente as "unidades de ponte" (baixa saliência, mas alta conectividade) que métodos focados em nós descartariam. Ele coloca a poda estruturada em um continuum com métodos clássicos de segunda ordem (OBD/OBS).
Uma Regra Preditiva: Uma única estatística de calibração (redundância de canal FFN) prevê a priori quando o termo de aresta deve ser confiado ou amortecido, transformando uma observação empírica em uma regra de nível de arquitetura.

Resultados

Os autores avaliaram o CoCurve em quatro LLMs densos (3B–8B) e um estudo de escala em um modelo de 24B, comparando-o com nove baselines sem treinamento em 14 benchmarks (incluindo modelagem de linguagem, senso comum, conhecimento, matemática e código).

Desempenho: O CoCurve supera consistentemente os fortes baselines sem treinamento. No modelo principal (Llama-3.1-8B-Instruct) com 20% de poda, ele alcança os melhores escores em modelagem de linguagem, conhecimento de mundo e geração de código, e a maior média para tarefas de senso comum.
Tarefas Frágeis: O método mostra os maiores ganhos em tarefas generativas frágeis (código e matemática), onde outros métodos frequentemente colapsam. Com 40% de poda no modelo de 24B, o CoCurve alcança uma perplexidade 14,5× menor do que o baseline válido mais forte.
Ablações:
- Remover o termo de aresta fora da diagonal reduz o desempenho para o de um selecionador de apenas diagonal (estilo OBD), confirmando que as arestas impulsionam o ganho.
- A poda conjunta de atenção-FFN supera a poda de cada módulo isoladamente.
- O benefício da aresta é inversamente correlacionado com a redundância de canais FFN; o método inclui um portão para amortecer arestas em modelos de alta redundância (ex: Qwen2.5-32B) para evitar degradação.

Significância e Alegações

O artigo reformula a poda estruturada de LLMs: "Pode as arestas, não apenas os nós."

Mecanismo: Os autores alegam que a falha dos métodos existentes advém de ignorar o acoplamento entre módulos heterogêneos (atenção e FFN) via fluxo residual. O CoCurve captura esse acoplamento através de uma matriz de curvatura de Fisher derivada.
Eficiência: O método é estritamente livre de treinamento, não requer rótulos, ajuste fino ou reestimação iterativa. É computacionalmente eficiente, exigindo apenas passagens de ida (forward passes) para ablações de unidade única.
Robustez: A abordagem fornece um "fallback gracioso". Em modelos de alta redundância onde as arestas podem induzir ao erro, o método retorna automaticamente para um selecionador de diagonal forte (estilo OBD), garantindo que nunca performe pior que um baseline clássico robusto.
Escopo: Os autores posicionam o CoCurve como uma solução para regimes de compressão moderada (até ~30-40%). Eles reconhecem que, como todos os métodos sem treinamento, ele degrada superlinearmente em taxas extremas sem recuperação, mas estende significativamente a fronteira de compressão utilizável em comparação com métodos de classificação independente.

O artigo conclui que as interações entre módulos não são meramente decorativas, mas são estruturais para a função (load-bearing) para preservar a computação necessária para a geração complexa, e que modelar essas interações é essencial para uma poda estruturada eficaz.