Capability-Guided Compression: Toward Interpretability-Aware Budget Allocation for Large Language Models

---

1. O Problema: Compressão Cega a Capacidades

O artigo identifica uma limitação fundamental nas atuais técnicas de compressão de Grandes Modelos de Linguagem (LLMs), como poda (pruning), quantização e decomposição de baixo posto. O problema central é a "Compressão Cega a Capacidades" (Capability-Blind Compression).

• A Falha Atual: Os métodos existentes alocam orçamentos de compressão baseados em sinais estatísticos proxy (como magnitude dos pesos, curvatura do Hessian ou variância de ativação), sem entender o que os componentes do modelo (cabeças de atenção, camadas FFN) fazem funcionalmente.
• Consequências:
  1. Insensibilidade da Perplexidade: Métricas tradicionais como perplexidade (PPL) não detectam a perda de capacidades críticas (ex: raciocínio, recuperação de fatos), permitindo que modelos pareçam bons em PPL mas falhem em tarefas complexas.
  2. Transições de Fase Abruptas: Baseado em trabalhos recentes (Ma et al., 2026), a compressão não degrada o modelo suavemente. Ao contrário, ocorre um colapso súbito de desempenho (Transição de Fase) quando certos "buffers de redundância" são esgotados. A compressão cega remove componentes de alta capacidade antes do tempo, precipitando esse colapso.

2. Metodologia: Compressão Guiada por Capacidade (CGC)

Os autores propõem o framework Capability-Guided Compression (CGC), que utiliza mapas de densidade de capacidade derivados de Autoencoders Esparsos (SAEs) para alocar orçamentos de compressão de forma diferenciada.

A. Densidade de Capacidade (Capability Density)

O núcleo do método é a definição de uma métrica escalar, $\delta^{(c)}$, para cada componente $c$ do modelo, calculada a partir das ativações de um SAE treinado sobre esse componente. A densidade é uma média geométrica ponderada de três sub-métricas:

1. Amplitude de Recursos (Feature Breadth): Quantos recursos do dicionário do SAE são ativados.
2. Diversidade de Recursos (Feature Diversity): Entropia de Shannon da distribuição de ativação dos recursos (mede se o componente usa muitos recursos de forma equilibrada ou apenas um dominante).
3. Consistência entre Entradas (Cross-Input Consistency): Similaridade de Jaccard dos conjuntos de recursos ativados entre diferentes entradas semânticas.

B. Conexão Teórica

O artigo prova teoricamente (Teorema 1) que componentes com alta densidade de capacidade possuem menor redundância estrutural.

• Hipótese: Componentes de alta densidade codificam conceitos complexos e monossêmicos espalhados por muitas direções no espaço de saída. Portanto, eles atingem seu "Ponto de Transição de Fase" (PTP) individual com taxas de poda menores.
• Implicação: A compressão uniforme remove desproporcionalmente esses componentes críticos, causando o colapso. O CGC visa proteger esses componentes.

C. O Algoritmo CGC

O algoritmo opera como uma camada de alocação dentro-dimensão sobre frameworks existentes (como o de Ma et al.):

1. Entrada: Mapa de densidade de capacidade ($\Delta$) e orçamento global de compressão ($\rho$).
2. Restrição: Define um "teto de orçamento" ($\rho^{(c)}_{max}$) para cada componente baseado em sua densidade. Componentes de alta densidade têm limites de compressão mais rigorosos (são protegidos).
3. Otimização: Utiliza uma inicialização proporcional à densidade (CGC-L) refinada por uma busca evolutiva (CGC-F) que rejeita mutações que violem os tetos de capacidade.

3. Resultados Experimentais

Os experimentos foram conduzidos no modelo GPT-2 Medium (355M parâmetros).

• Descoberta de Ortogonalidade (Sucesso Principal):

  • A densidade de capacidade mostrou-se estatisticamente independente das pontuações de importância do método Wanda (o estado da arte atual).
  • Correlação de Spearman: $\rho = -0.054$ ($n=384$ cabeças).
  • Significado: A densidade de capacidade é um sinal de compressão genuinamente novo e ortogonal aos existentes.

• Compressão e Perplexidade (Resultado Negativo):

  • Ao comparar a compressão uniforme vs. CGC-L no GPT-2 Medium, o CGC-L teve um desempenho ligeiramente pior em Perplexidade (PPL 27.87 vs 27.57).
  • Não houve correlação significativa entre a densidade de capacidade e o impacto da ablação de cabeças individuais.

• Diagnóstico dos Resultados Negativos:
  Os autores atribuem a falta de ganho em PPL a três fatores, e não a uma falha da teoria:

  1. Uniformidade do Modelo: O GPT-2 Medium possui cabeças de atenção funcionalmente muito uniformes (densidade entre 0.63 e 0.80), sem a estrutura esparsa de alta capacidade encontrada em modelos maiores (ex: LLaMA-7B+).
  2. Limitação da Métrica: A Perplexidade é insensível à perda de circuitos de raciocínio. O CGC visa preservar capacidades, não apenas PPL.
  3. Treinamento Shallow de SAE: Os SAEs foram treinados com poucos dados (5 épocas), possivelmente não recuperando recursos monossêmicos suficientemente limpos para guiar a compressão no GPT-2.

4. Contribuições Chave

1. Novo Sinal de Compressão: Introdução da "Densidade de Capacidade" derivada de SAEs, provando sua independência estatística de métricas baseadas em pesos (Wanda).
2. Fundação Teórica: Estabelecimento de uma ligação teórica entre a entropia de ativação de recursos e os pontos de transição de fase individuais dos componentes.
3. Algoritmo de Alocação: Proposta de um algoritmo que usa mapas de densidade para criar orçamentos diferenciados, evitando a poda excessiva de componentes críticos.
4. Análise Crítica de Avaliação: Demonstração honesta de que a avaliação baseada apenas em Perplexidade é inadequada para medir a eficácia de métodos que visam preservar capacidades de raciocínio.

5. Significado e Direções Futuras

O artigo sugere que o campo de compressão de LLMs está otimizando para a métrica errada (Perplexidade), permitindo que modelos percam capacidades críticas sem que isso seja detectado.

• Validação Futura: Os autores argumentam que a hipótese completa do CGC deve ser validada em modelos maiores (como LLaMA-2-7B) com SAEs treinados adequadamente e avaliados em benchmarks de raciocínio (ARC-Challenge, GSM8K), onde a estrutura de "cabeças críticas" é mais pronunciada.
• Impacto: O CGC não é apenas um novo método de compressão, mas uma mudança de paradigma que exige que a comunidade avalie a compressão com base na preservação de capacidades funcionais e não apenas na eficiência estatística ou na perda de perplexidade.

Em resumo, o trabalho propõe que para comprimir modelos sem colapsar suas capacidades, devemos entender o que os componentes fazem (via interpretabilidade mecânica) antes de decidir quanto comprimir.