WSVD: Weighted Low-Rank Approximation for Fast and Efficient Execution of Low-Precision Vision-Language Models

1. O Problema

Os Modelos Visão-Linguagem (VLMs) são fundamentais para tarefas como descrição de imagens e resposta a perguntas visuais (VQA). No entanto, eles enfrentam grandes desafios de eficiência:

• Custo Computacional e de Memória: A codificação conjunta de entradas visuais e linguísticas de grande escala exige computação pesada. A geração autossoregressiva de tokens sobrecarrega a largura de banda de memória, criando gargalos de inferência.
• Ineficiência das Decomposições SVD Existentes: Técnicas anteriores de decomposição de baixo posto (SVD) aplicadas às matrizes de projeção (Q, K, V) falham em reduzir consistentemente a latência na prática.
  • Causa Raiz: A reconstrução dos vetores K e V a partir de latentes de baixo posto introduz um custo de recomputação e múltiplos acessos à memória. Em vez de economizar, isso frequentemente aumenta o tráfego de memória e a latência de decodificação, especialmente em cenários de Flash Decoding.
• Perda de Precisão: A decomposição SVD padrão trata todos os pesos igualmente, ignorando que certos elementos ("superpesos") são críticos para a precisão do modelo, levando a degradações significativas de desempenho quando comprimidos.

2. Metodologia (WSVD)

O WSVD (Weighted SVD) propõe um novo padrão computacional que integra três componentes principais para resolver os problemas de latência e precisão:

A. Operação SVD de Alta Granularidade (Per-Head)

Em vez de decompor as matrizes completas de Q, K e V, o WSVD aplica a SVD diretamente nas submatrizes correspondentes a cada cabeça de atenção individualmente.

• Mecanismo: Para cada cabeça $h$, a submatriz $W_{Kh}$ é decomposta em $A_{Kh}B_{Kh}$, onde o posto $r$ é muito menor que o posto global $R$.
• Vantagem: Elimina a necessidade de carregar repetidamente um grande latente compartilhado para reconstruir cada cabeça. Cada cabeça é reconstruída diretamente de seu próprio latente compacto.
• Resultado: Redução drástica no footprint de memória e no custo computacional de reconstrução, com fatores de redução de $r/R$ e $r/H$.

B. Ajuste Fino Ponderado Local (Weighted Local Finetuning)

Para mitigar a perda de precisão causada pela decomposição per-head, o método introduz uma ponderação baseada na importância dos pesos.

• Pontuação de Importância: Utiliza a Informação de Fisher para estimar a sensibilidade de cada elemento de peso em relação à perda do modelo.
• Otimização: O objetivo da decomposição SVD é modificado para minimizar o erro ponderado: $\min ||F^{1/2} \odot (W - AB)||^2_F$. Isso garante que os elementos mais importantes sejam preservados com maior fidelidade durante a aproximação de baixo posto.

C. Treinamento Consciente de Quantização (QAT) e Fusão de Kernel

• Quantização: Aplica quantização de baixa precisão (pesos e ativações) aos parâmetros de baixo posto.
• Tratamento de Outliers: Utiliza matrizes ortogonais (incluindo matrizes de Hadamard) para suavizar outliers nas ativações antes da quantização.
• Fusão de Kernel (Sistema): Para evitar o gargalo de I/O da reconstrução de K e V, os autores implementaram um kernel fundido em Triton.
  • Este kernel integra a reconstrução de baixo posto, o cálculo de atenção e o Flash Decoding em um único fluxo.
  • Os tensores intermediários permanecem na memória on-chip (registradores/shared memory), evitando escrever e reler dados da VRAM global, o que é crucial para a aceleração.

3. Contribuições Principais

1. Novo Padrão Computacional (Per-Head SVD): Reduz fundamentalmente o acesso à memória e o custo computacional na fase de decodificação, superando as limitações das abordagens SVD tradicionais que decomõem matrizes inteiras.
2. Decomposição Ponderada por Fisher: Introduz um mecanismo de ajuste fino local que atribui pontuações de importância a cada elemento de peso, preservando a precisão do modelo mesmo sob compressão agressiva.
3. Integração Sistema-Algoritmo: A combinação de SVD per-head, QAT e um kernel fundido de Flash Decoding permite uma aceleração prática sem perda de acurácia, resolvendo o problema de latência que afetava métodos anteriores.

4. Resultados

Os experimentos foram realizados em cinco VLMs (LLaVA-v1.5, LLaVA-Next, SmolVLM) em benchmarks como ScienceQA e SEED-Bench.

• Aceleração de Decodificação: O WSVD alcança um speedup de mais de 1.8x na decodificação em comparação com o Flash Decoding padrão, mantendo a precisão. Em GPUs de entrada (RTX 3060), o ganho chega a 2.6x devido à maior sensibilidade à largura de banda de memória.
• Precisão:
  • Em modelos grandes (LLaVA-Next 13B), o WSVD (sem quantização) mantém a precisão quase idêntica à do modelo original FP16, com menos de 1% de queda.
  • Em configurações de baixa precisão (W8A8), o WSVD supera todas as linhas de base (incluindo ASVD, SVD-LLM, DuQuant) com uma queda de precisão média de apenas ~1% em relação ao FP16, enquanto reduz o tamanho do cache KV para 25% do original.
• Eficiência de Memória: Reduz o tamanho do cache KV e o número de parâmetros significativamente, permitindo que modelos rodem em hardware com recursos limitados.

5. Significado e Impacto

O WSVD representa um avanço significativo na otimização de VLMs para a inferência em tempo real.

• Viabilidade de Implantação: Ao resolver o gargalo de I/O da reconstrução de baixo posto, torna possível executar modelos grandes em dispositivos com memória e largura de banda limitadas.
• Sinergia Algoritmo-Sistema: O trabalho demonstra que otimizações puramente algorítmicas (como SVD) falham se não forem acompanhadas de otimizações de sistema (kernels fundidos). A abordagem "per-head" é a chave para alinhar a compressão de dados com a arquitetura de memória das GPUs modernas.
• Código Aberto: O código e os modelos foram disponibilizados, facilitando a reprodução e a adoção pela comunidade de pesquisa.

Em resumo, o WSVD oferece uma solução prática e eficiente para a execução de modelos de visão e linguagem de baixa precisão, equilibrando velocidade, uso de memória e precisão de forma superior às técnicas existentes.