Resumo Técnico: LASER (Decomposição de Valores Singulares e Alocação de Rank Sensíveis à Perda)

Definição do Problema

Os Modelos de Visão-Linguagem (VLMs) demonstraram fortes capacidades de raciocínio multimodal, mas enfrentam desafios significativos de implantação devido aos seus altos custos computacionais, contagens elevadas de parâmetros e requisitos substanciais de largura de banda de memória durante a decodificação autorregressiva. Embora a decomposição de baixo posto (low-rank) tenha surgido como uma técnica de compressão promissora, os métodos existentes sofrem de três limitações principais:

1. Otimização Local: A maioria dos métodos otimiza o erro de reconstrução de matriz local ou o erro de saída por camada, ignorando o impacto de ponta a ponta na perda do modelo.
2. Alocação de Rank Ineficiente: As abordagens atuais dependem frequentemente de alocação de rank uniforme ou heurística, falhando em considerar a sensibilidade variável de diferentes camadas e cabeças de atenção à compressão.
3. Escopo Limitado: Os esforços existentes concentram-se primariamente em projeções de atenção (Q, K, V), deixando as Redes de Alimentação Direta (FFNs) — que constituem uma grande fração dos parâmetros e armazenamento do modelo — amplamente subexploradas para compressão de baixo posto.

Metodologia

O artigo propõe o LASER (Loss-Aware Singular-value dEcomposition and Rank allocation), um framework projetado para alinhar a compressão de baixo posto com o desempenho do VLM a jusante, em vez de mera fidelidade de reconstrução. A metodologia consiste em quatro componentes principais:

1. Decomposição de Valor Singular (SVD) Sensível à Perda

Em vez de minimizar a norma de Frobenius do erro de reconstrução de peso, o LASER deriva um objetivo de SVD ponderado pela curvatura a partir de uma aproximação de segunda ordem da perda do modelo.

• Surrogate K-FAC: Utilizando a Curvatura Aproximada Fatorada por Kronecker (K-FAC), o método aproxima o aumento da perda causado pela perturbação do peso $\Delta W$ como $\Delta L \approx \frac{1}{2}\text{vec}(\Delta W)^\top (G \otimes X)\text{vec}(\Delta W)$, onde $X$ e $G$ são as matrizes de covariância de ativação e gradiente estimadas em um conjunto de calibração.
• Transformação: A matriz de peso $W$ é transformada em um espaço ponderado pela curvatura $\tilde{W} = S_x W S_g$ (onde $S_x$ e $S_g$ são fatores de Cholesky de $X$ e $G$). A SVD é realizada em $\tilde{W}$, e os fatores de baixo posto resultantes são mapeados de volta para o espaço original. Isso garante que os componentes truncados correspondam ao menor aumento estimado na perda do modelo.
• Branqueamento Sensível à Quantização (QAW): Para acomodar a inferência de baixa precisão, o método estima os fatores K-FAC usando ativações de calibração quantizadas, alinhando o objetivo de branqueamento com a camada de baixa precisão implantada.

2. Alocação de Rank Transversal Sensível à Perda

O artigo identifica que os valores singulares derivados do K-FAC não são diretamente comparáveis entre diferentes camadas ou cabeças de atenção devido aos variados fatores de escala na estimativa de curvatura.

• Pontuação de Importância de Fisher Empírico: Para permitir a alocação de rank global, o LASER introduz uma pontuação de importância baseada em gradientes de calibração. Para cada componente singular, a pontuação mede sua contribuição para a aproximação quadrática da perda de Fisher empírico, combinando a magnitude do valor singular com seu alinhamento aos gradientes de calibração no espaço de parâmetros original.
• Otimização Global: Os ranks são alocados selecionando avidamente os componentes singulares com as maiores pontuações de importância por custo de parâmetro até atingir um orçamento de parâmetros alvo, permitindo uma distribuição de rank não uniforme entre camadas e cabeças.

3. Híbrido SVD-Quantização para FFNs

Reconhecendo que a decomposição de baixo posto uniforme de FFNs pode causar uma degradação severa de precisão, o LASER emprega um esquema híbrido:

• Seleção de Canal: Uma SVD temporária é aplicada às projeções de porta (gate) e de subida (up) para identificar canais ocultos "amigáveis à SVD" (aqueles com baixo erro de reconstrução).
• Arquitetura Híbrida: Canais selecionados são comprimidos via SVD, enquanto os canais restantes são mantidos densos.
• Quantização: Uma rotação ortogonal é inserida entre os fatores SVD para suavizar outliers, seguida de quantização Round-to-Nearest (RTN) tanto para os ramos de baixo posto quanto para os densos.

4. Implementação de Sistema

Para realizar os benefícios de latência, os autores implementam kernels Triton fundidos para o FFN de baixo posto híbrido e para as camadas de Auto-Atenção (SA) de baixa precisão. Esses kernels fundem projeções de entrada, geração de ativação latente, operações SwiGLU e etapas de quantização/dequantização, reduzindo significativamente a movimentação de memória e o overhead de lançamento de kernel.

Principais Contribuições

1. Objetivo Sensível à Perda: Derivação de um objetivo de SVD ponderado pela curvatura que alinha a decomposição com o desempenho do VLM a jusante usando K-FAC, indo além do erro de reconstrução local.
2. Alocação de Rank Robusta: Identificação da incomparabilidade dos valores singulares K-FAC entre camadas e introdução de uma pontuação de importância baseada em gradiente de calibração para uma alocação de rank global confiável.
3. Extensão FFN: Um esquema híbrido de SVD-quantização que estende a compressão de baixo posto para camadas FFN ao aplicar SVD seletivamente a canais tolerantes enquanto preserva o cálculo denso para os sensíveis.
4. Otimização de Sistema: Desenvolvimento de kernels Triton fundidos que integram reconstrução de baixo posto, quantização e operações não lineares, alcançando ganhos significativos de velocidade de decodificação.

Resultados Experimentais

O framework foi avaliado em cinco VLMs (LLaVA-v1.5 7B, LLaVA-Next 7B/13B, Qwen2-VL 7B, SmolVLM 2B) através de ScienceQA-IMG, SEED-Bench-IMG e MMBench.

• Preservação de Precisão: Sob inferência FP16, o LASER-noQ (apenas SVD) superou consistentemente os baselines (SVD-LLM, QSVD, WSVD) em várias razões de parâmetros ($\rho_1$). No LLaVA-Next 13B com $\rho_1=50\%$, o LASER manteve a precisão comparável ao modelo FP16 completo, com uma queda inferior a 1%.
• Desempenho de Baixa Precisão: Em configurações quantizadas W8A8, o LASER alcançou uma queda de precisão média de apenas ~0,5% em relação aos baselines FP16, enquanto reduziu o tamanho do KV-cache para 25% do modelo FP16. Superou outros métodos de SVD sensíveis à quantização (QSVD, WSVD) e métodos de quantização pura (DuQuant, QVLM).
• Latência e Velocidade: Avaliações de sistema em GPUs RTX 4090 e 5090 demonstraram que o LASER alcança um ganho de velocidade de decodificação de 4,7× sobre o Flash Decoding e um ganho de 2,3× sobre o WSVD, atribuído aos kernels fundidos e à redução do tráfego de memória.

Significância e Alegações

O artigo afirma que o LASER fornece uma abordagem fundamentada para a compressão de baixo posto para VLMs ao deslocar o foco da otimização da reconstrução local para a sensibilidade da perda global. Ao abordar as limitações da alocação de rank uniforme e a negligência das camadas FFN, o LASER permite a inferência eficiente de baixa precisão em dispositivos com recursos limitados sem sacrificar as capacidades de raciocínio multimodal. O trabalho demonstra que combinar decomposição sensível à perda, alocação de rank baseada em gradiente e estratégias de compressão híbridas pode gerar ganhos substanciais tanto na retenção de precisão quanto na velocidade de inferência.