Rethinking Layer Redundancy in Large Language Models: Calibration Objectives and Search for Depth Pruning

1. Formulação do Problema

Os Grandes Modelos de Linguagem (LLMs) incorrem em custos significativos de implantação devido à sua escala. A poda de profundidade, que remove blocos inteiros de Transformer, é uma técnica de compressão estruturada que reduz os custos de inferência linearmente com o número de camadas retidas.

Pesquisas anteriores em poda de profundidade operaram amplamente sob uma "visão estrutural" da redundância. Essa perspectiva assume que a importância da camada é uma propriedade intrínseca da rede pré-treinada, independente da tarefa downstream. Consequentemente, trabalhos anteriores focaram em encontrar um único ranking "universal" de camadas (via critérios de importância como similaridade de cosseno ou magnitude) e aplicar algoritmos de busca sofisticados para identificar o subconjunto ótimo de camadas a remover.

A Questão Central: A redundância de camada é realmente uma propriedade estrutural do modelo, ou é uma propriedade funcional determinada conjuntamente pelo modelo e pelo objetivo de avaliação específico (função de perda de calibração)? Os autores hipotetizam que uma camada considerada redundante para modelagem de linguagem (perplexidade) pode ser crítica para raciocínio downstream, sugerindo que um ranking universal é insuficiente.

2. Metodologia

Para testar empiricamente as visões estrutural versus funcional, os autores projetaram um experimento controlado que desentrelaça dois eixos-chave da poda de profundidade: o Objetivo de Calibração e o Algoritmo de Busca.

• Formulação do Problema: A poda de profundidade é enquadrada como um problema de seleção de subconjunto:
  $$S^* = \arg \min_{|S|=k} \mathcal{L}(D; f_{\theta_0} \odot m_S)$$
  Onde $S$ é o conjunto de camadas removidas, $\mathcal{L}$ é a função de perda e $D$ é o conjunto de dados de calibração.
• Variáveis Experimentais:
  • Modelos: Três famílias de LLMs de pesos abertos (LLaMA3 8B, LLaMA3.1 8B, Qwen3 8B) com pipelines de treinamento variados, mas escalas comparáveis.
  • Objetivos de Calibração ($\mathcal{L}$):
    1. Perplexidade (Agente de Tarefa): Negativa da verossimilhança logarítmica no conjunto de dados C4.
    2. Margem de Verossimilhança da Tarefa (Centrada na Tarefa): A lacuna de verossimilhança logarítmica entre respostas corretas e incorretas no Commonsense 170k.
  • Algoritmos de Busca: Sete algoritmos distintos foram testados sob cada objetivo para isolar o impacto da estratégia de busca:
    1. Seleção top-k de uma só vez (One-shot)
    2. Deleção iterativa gananciosa (Greedy)
    3. Busca em feixe (Beam search)
    4. Algoritmo Genético (GA) guiado por prior
    5. Otimização Bayesiana (BO) guiada por prior
    6. Otimização Binária Constrained (CBO)
    7. Seleção rápida de blocos (Fast-block-select)
• Avaliação:
  • Modelos podados via Perplexidade foram avaliados em WikiText-2, C4 e LAMBADA.
  • Modelos podados via Margem de Verossimilhança da Tarefa foram avaliados zero-shot em benchmarks de raciocínio de senso comum (HellaSwag, WinoGrande, ARC, PIQA, BoolQ).
  • Orçamentos de Poda: Dois níveis de compressão ($M=7$ e $M=9$ camadas removidas).

3. Principais Contribuições

1. Visão Funcional da Redundância: O artigo articula e valida empiricamente que a redundância de camada não é uma propriedade estrutural intrínseca, mas sim funcional, dependendo do objetivo de avaliação.
2. Desentrelaçamento de Busca e Objetivo: Ao manter uma variável fixa enquanto varia a outra em três famílias de modelos, os autores isolam a fonte de ganhos de desempenho, abordando o "confundimento métrica-busca" comum na literatura anterior.
3. Desalinhamento Sistemático: Os autores identificam uma desconexão sistemática entre a perplexidade de calibração e a precisão de raciocínio downstream, demonstrando que otimizar para um não garante otimização para o outro.

4. Principais Resultados

A. Objetivos Moldam Padrões de Poda (Seção 5.1)

• Calibração por Perplexidade: Os padrões de poda foram altamente consistentes entre diferentes algoritmos de busca. As remoções concentraram-se em clusters contíguos de camadas do meio ao final (por exemplo, camadas 9–12 e 22–26 no LLaMA3).
• Calibração por Margem de Verossimilhança da Tarefa: Os padrões de poda foram dispersos pela rede e variaram significativamente dependendo do algoritmo de busca utilizado.
• Conclusão: Os dois objetivos produzem conjuntos estruturalmente diferentes de camadas "redundantes", refutando a ideia de um único mapa universal de redundância.

B. Desalinhamento entre Perplexidade e Precisão (Seção 5.2)

• Os autores compararam o ranking de modelos podados baseado na perplexidade de calibração contra sua precisão de raciocínio downstream.
• Resultado: As correlações de Spearman variaram de $\rho = -0,78$ a próximo de zero. Na maioria das condições, a correlação foi negativa.
• Implicação: A configuração do modelo que minimiza a perplexidade frequentemente não é aquela que maximiza a precisão de raciocínio downstream.

C. Algoritmos de Busca são Secundários (Seção 5.3)

• Variância Dentro do Objetivo: Quando o objetivo de calibração foi fixado, diferentes algoritmos de busca convergiram para soluções com desempenho muito similar.
  • Para poda por verossimilhança da tarefa, as diferenças de precisão entre os melhores e piores algoritmos de busca foram tipicamente de 1 a 3 pontos percentuais.
  • Mesmo métodos complexos (como BO ou GA) ofereceram retornos decrescentes em comparação com métodos mais simples (como One-shot ou Greedy) uma vez que o objetivo foi fixado.
• Custo-Benefício: Métodos simples (One-shot, Fast-block-select) alcançaram resultados quase ótimos em minutos, enquanto métodos complexos levaram horas para ganhos marginais.
• Conclusão: A escolha do objetivo de calibração tem uma influência muito maior no desempenho e na estrutura final do modelo do que a escolha do algoritmo de busca.

5. Significado e Implicações

• Mudança de Paradigma: O artigo desafia a premissa predominante de que a importância da camada é estática. Sugere que os pesquisadores devem parar de buscar um ranking "universal" de camadas e, em vez disso, focar na redundância condicionada ao objetivo.
• Eficiência Prática: Para praticantes, os resultados implicam que investir recursos computacionais em algoritmos de busca complexos (por exemplo, busca evolutiva, otimização bayesiana) gera benefícios limitados se o objetivo de calibração for subótimo.
• Prioridade de Design: A decisão de design mais crítica na poda de profundidade é o objetivo de calibração. Selecionar um objetivo que se alinhe com a tarefa downstream pretendida (por exemplo, usar uma perda de margem específica da tarefa para tarefas de raciocínio em vez de perplexidade genérica) é mais impactante do que refinar a estratégia de busca.
• Direções Futuras: Trabalhos futuros devem priorizar o design de objetivos de calibração e o estudo de como diferentes tarefas definem redundância, em vez de focar exclusivamente em melhorar heurísticas de busca.

Em resumo, o artigo demonstra que, na poda de profundidade de LLMs, o objetivo define a paisagem, enquanto o algoritmo de busca apenas a navega. Um objetivo pobre não pode ser corrigido por uma busca sofisticada, mas um objetivo bem escolhido permite que até mesmo métodos de busca simples encontrem soluções de alta qualidade.