Resumo Técnico: Compressão Ponderada Compensada por Movimento (MCWC)

Declaração do Problema

A implantação de redes neurais está cada vez mais limitada não pela capacidade de computação, mas pelo armazenamento, largura de banda e sobrecarga de inicialização fria necessários para stagear checkpoints em aceleradores. Pipelines de compressão existentes, dominados por quantização e poda pós-treinamento, geralmente tratam cada camada como um objeto independente. Essa abordagem ignora redundâncias cruzadas entre camadas substanciais induzidas por simetrias que preservam a função (por exemplo, a capacidade de reindexar unidades ocultas ou cabeças de atenção sem alterar a função de entrada-saída do modelo). Consequentemente, esses métodos falham em explorar a forte similaridade e previsibilidade cruzadas entre camadas inerentes a arquiteturas modernas como Transformers.

Metodologia

O MCWC propõe um codec apenas de pesos que trata a profundidade do modelo como um sinal sequencial, análogo a quadros de vídeo. A premissa central é que, ao remover o "movimento" induzido por simetrias de permutação, a evolução restante dos pesos entre camadas torna-se altamente previsível, permitindo codificação residual eficiente. O pipeline consiste em quatro etapas principais:

1. Compensação de Movimento via Alinhamento Funcional

O codificador identifica permutações que preservam a função para blocos de pesos (por exemplo, unidades ocultas de FFN, cabeças de atenção) que maximizam a correspondência entre camadas.

• Mecanismo: Para cada camada $\ell$, o método seleciona uma permutação $\Pi_\ell$ que alinha blocos com seus correspondentes na camada anterior $\ell-1$. Isso é alcançado resolvendo um problema de atribuição linear para maximizar a similaridade (uma combinação de similaridade de cosseno baseada em pesos e similaridade baseada em estatísticas de ativação) entre blocos candidatos e a referência previamente alinhada.
• Resultado: Isso transforma a sequência de pesos em um "sistema de coordenadas alinhado" onde camadas adjacentes são geometricamente comparáveis, reduzindo significativamente a energia das diferenças entre elas.

2. Codificação Preditiva Sequencial por Camada

Uma vez alinhados, os pesos são tratados como uma sequência temporal.

• Previsão: Um preditor leve e sequencial por camadas ($g_\theta$) estima os blocos alinhados da camada atual com base no contexto previamente decodificado (blocos alinhados da camada $\ell-1$), condicionado a embeddings de índice de camada e tipo de bloco.
• Resíduos: O codec codifica apenas os resíduos de previsão quantizados ($R = \text{AlvoAlinhado} - \text{Previsão}$).
• Quadros-Chave: Para evitar acúmulo de erro (deriva) ao longo de sequências longas, "quadros-chave" periódicos são codificados como valores absolutos em vez de resíduos. Eles atuam como pontos de sincronização, permitindo que o decodificador redefina seu contexto.

3. Quantização Aprendida e Modelagem de Entropia

• Quantização: Os resíduos são mapeados para índices de código discretos usando um quantizador escalar aprendido com tamanhos de passo e médias por canal.
• Codificação de Entropia: Um modelo de entropia aprendido atribui probabilidades aos símbolos quantizados, permitindo codificação aritmética. O modelo é condicionado ao índice da camada, tipo de bloco e estatísticas locais derivadas da saída do preditor.
• Treinamento: Todo o sistema (preditor, quantizador, modelo de entropia) é treinado de ponta a ponta sob um objetivo de taxa-distorção ($L = L_{task} + \lambda E[-\log p_\psi(c)]$), onde $L_{task}$ é uma perda de destilação garantindo que os pesos reconstruídos mantenham o desempenho da tarefa.

4. Informações Laterais e Decodificação

O fluxo de bits inclui resíduos/quadros-chave codificados por entropia, informações laterais de permutação (codificadas via códigos de Lehmer codificados por delta para reduzir sobrecarga) e parâmetros do quantizador. O decodificador inverte o processo: decodifica por entropia, dequantiza, reconstrói resíduos via previsão e aplica permutações inversas para restaurar a estrutura original do tensor para implantação.

Contribuições Principais

1. Compensação de Movimento no Espaço de Pesos: A introdução da seleção de permutação em blocos para aumentar a correspondência entre camadas enquanto mantém a função representada, análoga à estimativa de movimento na compressão de vídeo.
2. Codec Preditivo para Profundidade: Uma arquitetura inovadora que trata a profundidade como um eixo temporal, utilizando quadros-chave explícitos e codificação residual para transformar camadas alinhadas em "quadros" previsíveis.
3. Treinamento de Taxa-Distorção de Ponta a Ponta: Treinamento conjunto de quantização e modelos de entropia para garantir que o fluxo residual discreto seja preciso após a decodificação e de baixa entropia sob o modelo de probabilidade aprendido.
4. Validação Empírica: Demonstração de fronteiras de Pareto de taxa-precisão aprimoradas tanto em modelos de linguagem Transformer (Pythia) quanto em classificadores de visão (ViT), com estudos de ablação confirmando que alinhamento, previsão e modelagem de entropia são todos necessários para ganhos completos.

Resultados

O MCWC foi avaliado em Pythia-1.4B (modelagem de linguagem) e ViT-B/16 (classificação de visão) contra bases fortes, incluindo quantização uniforme INT8/INT4, SmoothQuant, GPTQ, AWQ e quantização escalar aprendida.

• Modelagem de Linguagem: Em taxas de compressão agressivas (por exemplo, 2,8 bits/parâmetro), o MCWC alcança uma perplexidade de 16,40, superando Poda+Quantização (18,10) e quantização escalar aprendida (17,30). No regime de taxa média (4,2 bits/parâmetro), alcança uma perplexidade de 15,95, superando INT4 uniforme (16,85) e permanecendo competitivo com métodos conscientes do Hessiano como GPTQ (16,40) e AWQ (16,25).
• Classificação de Visão: Em 2,8 bits/parâmetro, o MCWC retém 80,15% de precisão top-1 no ImageNet-1k, superando Poda+Quantização (77,60%) e quantização escalar aprendida (78,70%). Em 4,2 bits/parâmetro, alcança 80,92% de precisão, excedendo INT4 uniforme (79,35%).
• Eficiência de Decodificação: Os tempos de decodificação permanecem competitivos com bases de quantização padrão (por exemplo, ~2,5s para Pythia-1.4B em CPU), pois a reconstrução preditiva e a permutação inversa são operações de tempo linear, sendo o custo dominante a decodificação de entropia e a materialização do tensor.
• Diagnósticos: Estudos de ablação confirmam que o alinhamento funcional aumenta a similaridade de cosseno entre camadas adjacentes (de ~0,28 para ~0,67 para Pythia-1.4B) e reduz a energia residual normalizada, validando que o alinhamento expõe um sistema de coordenadas mais previsível.

Significado e Alegações

O artigo posiciona o MCWC não como um substituto para kernels de inferência de baixa precisão (por exemplo, multiplicação de matrizes INT8/INT4), mas como um codec especializado de armazenamento e transporte de checkpoints. Seu principal valor reside na redução da pegada de armazenamento, largura de banda de rede e latência de inicialização fria associadas à distribuição e materialização repetida de pesos de modelos grandes.

Os autores afirmam que, ao explorar redundâncias cruzadas entre camadas por meio de compensação de movimento, o MCWC aborda um gargalo ortogonal à quantização tradicional. O método é mais eficaz em regimes de implantação onde checkpoints são movidos, armazenados ou replicados muitas vezes (por exemplo, inicializações frias serverless, registros de modelos, distribuição em borda), permitindo que o custo de codificação offline único seja amortizado sobre economias repetidas de implantação. O trabalho sugere que tratar pesos neurais como trajetórias estruturadas através da profundidade, em vez de tensores isolados, oferece um novo caminho para compressão eficiente de modelos.