Resumo Técnico: Camadas Fantasma – Alinhamento de Ativação Desconstrito para Recuperação de LLMs com Camadas Podadas

1. Declaração do Problema

A poda de camadas é uma técnica prática de compressão para Modelos de Linguagem de Grande Escala (LLMs) que remove blocos inteiros de decodificadores Transformer para reduzir o tamanho do modelo e o custo de inferência, sem exigir kernels personalizados ou alterações arquitetônicas. No entanto, a remoção desses blocos cria uma mismatch de ativação de fronteira. O estado oculto passado para a próxima camada sobrevivente difere significativamente da distribuição que a camada foi originalmente treinada para processar. Essa mudança de distribuição propaga-se pelas camadas subsequentes, levando a uma degradação substancial no desempenho, tanto em perplexidade quanto em precisão em tarefas downstream.

Métodos existentes de recuperação sem treinamento tentam mitigar essa incompatibilidade, mas sofrem de limitações estruturais:

• ReplaceMe aproxima o cálculo do bloco podado por meio de uma transformação linear absorvida nos pesos sobreviventes, mas não aborda diretamente a incompatibilidade de fronteira.
• LinearPatch ataca diretamente a incompatibilidade de ativação de fronteira inserindo um operador linear parametrizado como uma escala de canal rotacionada por Hadamard. Crucialmente, essa parametrização é simétrica por construção, restringindo o espaço de busca a um subespaço estrito de operadores lineares e impedindo que o método atinja o ótimo global do objetivo de alinhamento.

Análises empíricas mostram que esses métodos deixam uma parte significativa do erro de ativação de fronteira não corrigido, sugerindo que a natureza restritiva de seus operadores é insuficiente para recuperar totalmente o desempenho do modelo podado.

2. Metodologia: Camadas Fantasma

Os autores propõem Camadas Fantasma, um módulo de recuperação sem treinamento, plug-and-play, que aborda a incompatibilidade de ativação de fronteira resolvendo o operador linear ótimo desconstrito.

Formulação Central

O método formula a recuperação como um problema de alinhamento de ativação. Seja $X_{pre}$ o estado oculto de entrada para a primeira camada podada e $X_{post}$ o estado oculto de saída da última camada podada (entrada para a próxima camada sobrevivente) no modelo original, não podado. O objetivo é encontrar um operador linear $W$ tal que $X_{pre}W \approx X_{post}$.

Os autores definem a lacuna de ativação de fronteira como $\Delta = X_{post} - X_{pre}$. Eles reparametrizam o operador como $W = I + M$, transformando o objetivo em minimizar o erro de reconstrução da lacuna:
$$\min_{M \in \mathbb{R}^{C \times C}} \| X_{pre}M - \Delta \|_F^2$$

Solução de Forma Fechada

Ao contrário de métodos anteriores que otimizam sobre subespaços restritos, Camadas Fantasma deriva uma solução de mínimos quadrados de norma mínima de forma fechada sobre o espaço completo de operadores lineares $\mathbb{R}^{C \times C}$:
$$M^* = X_{pre}^\dagger \Delta$$
onde $X_{pre}^\dagger$ é a pseudoinversa de Moore-Penrose das ativações pré-fronteira. O operador final é $W^* = I + M^*$.

Implementação

1. Calibração: Um pequeno conjunto de sequências de calibração (por exemplo, 128 sequências do C4) é passado pelo modelo original não podado para coletar $X_{pre}$ e $X_{post}$ por meio de ganchos de pré-forward.
2. Cálculo: O operador ótimo $M^*$ é computado offline usando um solver de mínimos quadrados regularizado (ou SVD) para garantir estabilidade numérica.
3. Implantação: O operador $W^*$ é inserido na fronteira de poda por meio de um gancho de forward. A operação é $x_{new} = x W^* = x + x M^*$, onde o termo aditivo $x M^*$ estima a atualização incremental que as camadas podadas teriam contribuído.

Vantagem Teórica

O artigo prova que o operador ótimo $W^*$ contém um componente anti-simétrico substancial. Como o LinearPatch restringe sua busca a matrizes simétricas (onde $W = W^\top$), ele estruturalmente não consegue acessar esse componente anti-simétrico. Camadas Fantasma, ao operar sobre o espaço desconstrito, captura esse componente, atingindo teoricamente o verdadeiro ótimo do objetivo de alinhamento.

3. Contribuições Principais

1. Formulação da Recuperação Pós-Poda: Os autores formulam a recuperação como um problema de alinhamento de ativação e derivam sua solução ótima de forma fechada diretamente das ativações de fronteira.
2. Optimalidade Desconstrita: Eles demonstram que essa formulação produz um ótimo desconstrito que inclui um componente anti-simétrico significativo, inacessível a construções simétricas como o LinearPatch.
3. Módulo Camadas Fantasma: Eles propõem um módulo sem treinamento, plug-and-play, compatível com qualquer critério de poda e arquitetura de modelo. Ele consistentemente supera as linhas de base sem treinamento anteriores em custos de inferência equivalentes.

4. Resultados Experimentais

O método foi avaliado em múltiplos backbones de LLM (LLaMA-3-8B, LLaMA-3.1-8B, DeepSeek-R1-Distill-LLaMA-8B e outros no apêndice) e estratégias de poda (LLM-Streamline, ShortGPT, LLaMA Encurtado).

• Precisão: Camadas Fantasma consistentemente alcança a maior ou competitiva precisão média zero-shot em nove benchmarks de raciocínio de senso comum (ARC, HellaSwag, WinoGrande, etc.) em comparação com linhas de base sem treinamento. Por exemplo, no LLaMA-3.1-8B com 7 camadas podadas, Camadas Fantasma alcançou 60,01% de precisão média, superando o LinearPatch (Rotate) em 53,27% e o ReplaceMe (LS) em 59,68%.
• Perplexidade: O método reduz significativamente a perplexidade no WikiText-2, C4 e Penn Treebank. Em cenários de poda agressiva (11 camadas removidas), a margem de melhoria sobre as linhas de base se amplia, com Camadas Fantasma alcançando a menor perplexidade na maioria das combinações.
• Eficiência: Apesar de resolver para uma matriz completa $C \times C$, Camadas Fantasma incorre em nenhum custo adicional de inferência em comparação ao LinearPatch. Ambos os métodos fundem suas operações em uma única multiplicação de matriz densa $C \times C$ na fronteira. Medições empíricas de latência confirmam que são indistinguíveis dentro das margens de ruído.
• Sensibilidade à Calibração: O método é robusto ao tamanho do conjunto de calibração; a precisão satura com tão poucas quanto 32 sequências, e a escolha do conjunto de dados de calibração (C4 vs. WikiText-2) tem impacto mínimo no desempenho.
• Ajuste Fino: Mesmo quando combinado com destilação de conhecimento leve, Camadas Fantasma mantém uma vantagem de desempenho sobre variantes do LinearPatch ajustadas finamente, sugerindo que a inicialização de forma fechada fornece um ponto de partida superior.

5. Significado e Alegações

O artigo alega que resolver o alinhamento de ativação de fronteira em seu ótimo desconstrito é suficiente para recuperar substancialmente o desempenho de LLMs com camadas podadas sem retreinamento.

O significado deste trabalho reside em demonstrar que a degradação de desempenho em modelos podados não é meramente um resultado de capacidade ausente, mas de uma mudança de distribuição corrigível. Ao ir além de subespaços de operadores restritos (como matrizes simétricas) para o espaço completo de mapas lineares, Camadas Fantasma recupera informações estruturais (especificamente componentes anti-simétricos) que métodos anteriores perderam. Essa abordagem oferece uma solução simples, computacionalmente eficiente e altamente eficaz para implantar LLMs menores e podados, preservando suas capacidades originais.