Resumo Técnico: Poda de Redundância Consciente de Localidade para Compressão de Profundidade em LLMs

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) baseados em arquiteturas Transformer sofrem com profundidade extrema e superparametrização, levando a custos computacionais e de memória substanciais durante a inferência. Embora a poda por camadas (profundidade) seja uma estratégia eficaz para reduzir latência e memória ao remover blocos inteiros de Transformer, os métodos existentes one-shot, sem treinamento baseiam-se em suposições falhas regarding redundância.

As abordagens atuais geralmente se enquadram em duas categorias:

1. Métodos baseados em importância local: Estimam redundância usando pontuações de camadas isoladas (por exemplo, Influência de Bloco).
2. Métodos baseados em similaridade contígua: Assumem que a redundância está concentrada dentro de regiões de profundidade adjacentes.

No entanto, a análise empírica revela que essas suposições são insuficientes. A redundância intercamadas não é uniforme entre as arquiteturas; ela pode ser localizada (concentrada em regiões específicas de profundidade) ou globalmente distribuída (espalhada por toda a rede). Priors de poda fixos falham em contabilizar essas diferenças estruturais dependentes da arquitetura, levando a degradações de desempenho subótimas.

2. Metodologia: Poda de Redundância Consciente de Localidade (LoRP)

Os autores propõem o LoRP, um framework de poda de profundidade one-shot e sem treinamento que se adapta à geometria de representação específica de cada LLM. O fluxo de trabalho consiste em cinco etapas principais:

2.1 Medição de Similaridade Intercamadas

Utilizando um pequeno conjunto de dados de calibração (128 sequências do C4), o LoRP coleta ativações de estados ocultos de entrada para cada bloco Transformer. Ele calcula uma matriz de similaridade cosseno de estados ocultos intercamadas ($S$) em pares, onde cada entrada $S_{ij}$ representa a similaridade cosseno média por token entre as representações de entrada das camadas $i$ e $j$.

2.2 Pontuação de Localidade de Representação (RLS)

Para quantificar a estrutura global da redundância, os autores introduzem a Pontuação de Localidade de Representação (RLS).

• Primeiro, a média global de similaridade fora da diagonal ($\bar{S}_{off}$) é calculada entre todos os pares de camadas.
• A RLS é definida como: $RLS(S) = -\log_2(\bar{S}_{off})$.
• Interpretação: Uma RLS alta indica um decaimento rápido na similaridade ao longo da profundidade, implicando redundância localizada (a redundância está concentrada em regiões específicas). Uma RLS baixa indica similaridade global forte, implicando redundância distribuída (a redundância está espalhada pela rede).

2.3 Agrupamento de Camadas

Com base na matriz de similaridade $S$ e na RLS, as camadas são particionadas em clusters representacionais usando agrupamento espectral em uma matriz de afinidade $A = (S + 1)/2$.

• A granularidade do agrupamento é guiada pela RLS: uma RLS mais alta leva a um agrupamento mais grosseiro (regiões concentradas), enquanto uma RLS mais baixa incentiva um particionamento mais fino para lidar com redundância distribuída.
• Esta etapa agrupa camadas que processam representações de fluxo residual semelhantes, independentemente de sua adjacência física.

2.4 Poda Consciente de Redundância em Duas Etapas

O LoRP aloca o orçamento de poda ($k$ camadas a remover) por meio de um procedimento em duas etapas para equilibrar cobertura e redundância:

1. Etapa 1: Inicialização Consciente de Cobertura: Para evitar que a poda colapse em um único cluster, o método seleciona a camada elegível mais redundante de cada cluster para formar um pool inicial de candidatos.
2. Etapa 2: Alocação de Redundância Residual: O orçamento restante é alocado iterativamente. Em cada passo, o algoritmo identifica o cluster com a maior redundância residual (similaridade média em pares entre as camadas elegíveis restantes) e poda a camada mais redundante dentro desse cluster.

Essa alocação dinâmica garante que arquiteturas com redundância localizada realizem a poda dentro de regiões concentradas, enquanto aquelas com redundância distribuída realizem a poda em múltiplas regiões.

3. Contribuições Principais

O artigo faz as seguintes contribuições específicas:

• Observação Empírica: Demonstrou que a localidade de representação varia substancialmente entre famílias de LLMs (por exemplo, modelos Qwen exibem similaridade distribuída, enquanto LLaMA/Mistral exibem redundância localizada).
• Proposta de Métrica: Introduziu a Pontuação de Localidade de Representação (RLS), uma métrica simples derivada da similaridade global de estados ocultos intercamadas para quantificar esse fenômeno.
• Design de Framework: Propôs o LoRP, um framework de poda one-shot e sem treinamento que agrupa camadas por similaridade representacional e aloca a poda com base na estrutura de redundância específica da arquitetura.
• Validação de Desempenho: Mostrou que o LoRP melhora consistentemente a perplexidade e a precisão de raciocínio downstream em diversas famílias de LLMs, sem exigir recuperação pós-poda ou ajuste fino.

4. Resultados Experimentais

Os experimentos foram conduzidos em cinco LLMs de código aberto (LLaMA-3.1-8B, OLMo-3-7B, Mistral-Nemo-12B, Qwen3-8B, Qwen3-14B) usando nove benchmarks de raciocínio zero-shot e três conjuntos de dados de perplexidade (WikiText-2, C4, PTB).

• Perplexidade (PPL): O LoRP alcançou a perplexidade média mais baixa na maioria dos modelos e orçamentos de poda em comparação com as linhas de base (ShortGPT, LLM-Streamline, LaCo). A melhoria foi particularmente significativa para modelos Qwen, onde métodos de poda contígua falharam.
• Precisão Downstream: O LoRP preservou o desempenho de raciocínio zero-shot melhor do que os métodos existentes. Por exemplo, no Qwen3-8B com 7/36 camadas podadas, o LoRP alcançou 56,65% de precisão média, superando o ShortGPT (51,50%) e o LaCo (55,82%).
• Padrões de Poda: A visualização confirmou que o LoRP adapta seu padrão de poda ao modelo: remove camadas de regiões concentradas para LLaMA/Mistral (alta RLS) e espalha as remoções por toda a rede para Qwen (baixa RLS).
• Comparação com Métodos Iterativos: Embora métodos iterativos como o Shortened LLaMA às vezes alcançassem perplexidade mais baixa (devido à adaptação ao objetivo de calibração), o LoRP manteve uma precisão de generalização downstream superior, sugerindo maior robustez além do conjunto de calibração.

5. Significado e Alegações

O artigo afirma que a localidade de representação é um fator crítico e dependente da arquitetura para a poda de profundidade eficaz. O significado deste trabalho reside na mudança de paradigma de pontuação de camadas fixa, contígua ou isolada para uma abordagem global e consciente de geometria.

• Alegações Modestas: Os autores afirmam explicitamente que suas descobertas sugerem que a redundância é uma propriedade estruturada da geometria de representação. Eles não afirmam que o LoRP é uma solução universal para todas as tarefas de compressão, mas sim um framework que melhora a eficiência ao respeitar diferenças arquitetônicas.
• Limitações: Os autores reconhecem que sua política de agrupamento guiada por RLS é derivada empiricamente dos modelos avaliados. Eles observam que o método atual depende de um número de clusters ($K$) especificado manualmente com base em faixas de RLS e ainda não inclui recuperação pós-poda ou ajuste fino. Trabalhos futuros são necessários para validar a generalização em arquiteturas, escalas e receitas de treinamento mais amplas, e para desenvolver estratégias totalmente automáticas para seleção de parâmetros de agrupamento.

Em resumo, o LoRP demonstra que, ao caracterizar e adaptar-se à estrutura de redundância específica de um LLM, é possível alcançar uma compressão de profundidade mais eficiente sem sacrificar o desempenho do modelo.