Resumo Técnico: Postos Sensíveis à Ativação e à Influência (AIR)

1. Definição do Problema

Grandes Modelos de Linguagem (LLMs) dependem de escala para desempenho, o que torna necessária a compressão pós-treinamento para implantação eficiente. A Decomposição de Valores Singulares (SVD) é um candidato primário para compressão devido à estrutura implícita de baixo posto dos pesos dos transformers e à otimalidade teórica das aproximações de posto-$k$ (teorema de Eckart–Young). No entanto, a "SVD Vanilla" padrão ignora o papel funcional de pesos individuais, o que frequentemente causa uma degradação severa no desempenho em tarefas subsequentes.

Métodos existentes de "preservação de função" tentam mitigar isso usando dados de calibração, mas enfrentam uma dicotomia:

• Abordagens de ativação direta (forward) (ex: ASVD, SVD-LLM(W)) são computacionalmente baratas e locais por camada, mas são agnósticas ao fato de as ativações preservadas realmente influenciarem a predição final.
• Abordagens de sinal de retropropagação (backward) (ex: FWSVD, ACIP) incorporam perda de tarefa ou influência na saída, mas ou apresentam desempenho inferior aos baselines de apenas ativação ou exigem otimização end-to-end dispendiosa (retreinamento total ou gradiente descendente).

O desafio central abordado por este artigo é como integrar uma métrica de influência de sinal de retropropagação em uma compressão SVD sem incorrer no custo computacional da otimização end-to-end, preservando a eficiência de soluções de forma fechada e locais por camada.

2. Metodologia: Postos Sensíveis à Ativação e à Influência (AIR)

O AIR propõe um framework híbrido que combina a consciência de ativação de passagem direta com a consciência de influência de passagem reversa através de uma única varredura de Mínimos Quadrados Alternados (ALS).

2.1 Análise Direta-Reversa (Forward-Backward)

O método opera camada por camada sobre uma matriz de pesos $W \in \mathbb{R}^{m \times n}$:

1. Passagem Direta (Consciência de Ativação): Seguindo o SVD-LLM(W), o método coleta estados ocultos $X$ de dados de calibração para construir uma matriz de perfil $S = \text{cholesky}(\sum XX^\top)$. A matriz de pesos é transformada em um espaço latente: $W' = WS$. Este passo gera a solução ótima de posto-$k$ sensível à ativação via SVD padrão em $W'$.
2. Passagem Reversa (Consciência de Influência): Um sinal de retropropagação é usado para computar uma matriz de influência elemento a elemento $I \in \mathbb{R}^{m \times n}$. Este sinal quantifica a contribuição funcional de cada peso para a saída do modelo. O artigo aceita qualquer pontuação elemento a elemento da família de métricas de influência (ex: Peso $\times$ Gradiente, Fisher Empírico, ou Propagação de Relevância de Camada (LRP)). Os autores utilizam por padrão o AttnLRP com uma regra $\epsilon$ para supressão de ruído. A matriz $I$ é acumulada sobre os dados de calibração e normalizada para média unitária.

2.2 O Objetivo Híbrido

O AIR define uma função de perda híbrida que penaliza o erro de reconstrução em pesos de alta influência mais pesadamente do que em pesos de baixa influência:
$$\mathcal{L}_{act,infl} = \left\| \sqrt{1 + \delta \cdot I} \odot (W' - U'_k \Sigma'_k V'^\top_k) \right\|_F^2$$
onde $\delta$ controla a força do peso de influência, $\odot$ é o produto de Hadamard, e a raiz quadrada é elemento a elemento. O termo $(1 + \delta \cdot I)$ garante que a aproximação sensível à ativação não seja descontada para pesos de baixa influência.

2.3 Solução de Forma Fechada via ALS

Como o objetivo ponderado pela influência geralmente não admite uma solução SVD de forma fechada, o AIR emprega uma única varredura de Mínimos Quadrados Alternados (ALS).

• Inicialização: O processo começa com o ótimo global do objetivo sensível à ativação (SVD padrão de $W'$).
• Regra de Atualização: O algoritmo itera através dos postos $r = k-1$ até $0$. Para cada posto, ele realiza uma atualização de forma fechada dos vetores singulares ($u'_r, v'_r$) e do valor singular ($\sigma'_r$) para minimizar o objetivo perturbado.
• Descida Monótona: Os autores provam que, partindo do ótimo sensível à ativação, esta única varredura reversa garante uma descida não crescente (descida monótona) do objetivo híbrido $\mathcal{L}_{act,infl}$.
• Eficiência: Esta abordagem evita a intratabilidade da aproximação de baixo posto ponderada elemento a elemento, resolvendo para cada componente de posto sequencialmente. Requer apenas uma passagem sobre os postos, tornando-a computacionalmente eficiente (aprox. 12 minutos para LLaMA-7B em uma A100).

2.4 Implementação de Sistema

Para realizar ganhos reais de tempo de execução, o AIR integra otimizações específicas de inferência:

• Propagação Sequencial: Computar $y = U_k(V^\top_k x)$ em vez de reconstruir $W$.
• Otimização de KV Cache: Armazenar valores intermediários de baixo posto e aplicar pré-armazenamento de Rotary Position Embeddings (RoPE) para evitar expansão de memória.
• Gerenciamento de Buffer: Buffers pré-alocados para eliminar alocações de memória dinâmica por token.

3. Principais Contribuições

1. Troca Performance-Eficiência: No LLaMA-7B, o AIR alcança 18%/33%/45% de menor perplexidade que o SVD-LLM(W) com 60%/40%/20% de retenção de parâmetros, respectivamente. Ele se generaliza entre as famílias LLaMA, Mistral e Vicuna.
2. Eficiência de Dados: O AIR iguala a qualidade do SVD-LLM(W) usando ~90% menos dados de calibração.
3. Complementaridade com Métodos End-to-End: O AIR é local por camada e ortogonal ao ajuste fino end-to-end.
   • AIR + LoRA supera o ACIP (um método end-to-end de estado da arte) em todas as taxas de compressão, com uma diferença de até 59% com 20% de retenção.
   • O artigo demonstra que proxies de influência local (AIR) e atualizações globais de parâmetros (LoRA/Retreinamento) fornecem ganhos independentes e aditivos.
4. Ganhos de Sistema: Com 60% de retenção de parâmetros, o AIR traduz a economia de parâmetros em ~64% de redução de pico de memória GPU e ~53% de redução de latência por token em uma A100 de 40 GB, permitindo configurações de inferência (ex: maiores tamanhos de lote ou comprimentos de sequência) que causariam erros de Out-Of-Memory (OOM) no modelo base.
5. Agnosticismo de Sinal: O mecanismo de integração (regra de atualização ALS) domina a escolha do sinal. Sinais de retropropagação principados (LRP, Peso $\times$ Gradiente, Fisher) produzem perplexidade idêntica, enquanto baselines não informativos (magnitude de peso, uns) falham.

4. Resultados e Avaliação

• Perplexidade: O AIR supera consistentemente o Vanilla SVD, FWSVD, ASVD e SVD-LLM(W) nos datasets WikiText-2 e C4. A diferença de desempenho aumenta conforme a compressão se torna mais agressiva (taxas de parâmetros menores).
• Tarefas de Raciocínio: O AIR mantém ou melhora a precisão média de raciocínio em benchmarks (OpenBookQA, ARC-E, WinoGrande, etc.) em comparação com os baselines.
• Quantização: Modelos comprimidos pelo AIR são passíveis de quantização pós-treinamento (RTN, GPTQ). Com 60% de retenção e 4-bit GPTQ, o AIR retém 11.99 de perplexidade (vs. 11.27 não quantizado).
• Tempo de Execução: Embora implementações padrão de SVD muitas vezes falhem em reduzir a latência devido a gargalos de largura de banda de memória e overhead de KV cache, as otimizações de nível de sistema do AIR (O1-O3) convertem com sucesso a redução de parâmetros em ganhos de latência, particularmente sob alta pressão de largura de banda (grandes lotes/sequências).

5. Significância e Alegações

O artigo afirma fechar a lacuna entre a compressão SVD de baixo custo e sensível à ativação e o retreinamento end-to-end caro.

• Local por Camada vs. End-to-End: Os autores argumentam que a otimização local por camada (AIR) e a otimização end-to-end (LoRA/Retreinamento) são complementares, não redundantes. O AIR fornece uma inicialização forte e sensível à influência sobre a qual o ajuste fino subsequente pode ser construído.
• Mecanismo sobre Sinal: Uma descoberta fundamental é que o mecanismo de integração (regra de atualização ALS) é mais crítico do que a escolha específica do sinal de retropropagação. Isso permite que o método seja robusto e agnóstico ao sinal.
• Implantação Prática: O artigo enfatiza que reduções teóricas de FLOPs não se traduzem automaticamente em ganhos de tempo de execução. Ao abordar gargalos de nível de sistema (KV cache, alocação de memória), o AIR entrega benefícios tangíveis de implantação, deslocando a "fronteira de OOM" para permitir cargas de trabalho de inferência maiores.

6. Limitações

Os autores observam que escalar para modelos maiores que 70 bilhões de parâmetros e para arquiteturas encoder-decoder ou Mixture-of-Experts (MoE) permanece um desafio aberto. Adicionalmente, o método atual utiliza uma taxa de posto uniforme por camada, deixando a alocação dinâmica de posto e a adaptação ao nível de token como potenciais extensões futuras.