Resumo Técnico: Repensando a Quantização de sVLMs

Declaração do Problema

A emergência de modelos de linguagem e visão pequenos (sVLMs) com menos de 3 bilhões de parâmetros acelerou o potencial para inteligência multimodal em dispositivos, em ambientes móveis, offline e de baixo consumo de energia. No entanto, a implantação desses modelos em plataformas heterogêneas de System-on-Chip (SoC) de borda, como a série NVIDIA Jetson Orin, enfrenta restrições fundamentais em relação à largura de banda de memória e capacidade de VRAM. Embora a quantização de modelos seja uma técnica de compressão padrão, a pesquisa existente foca predominantemente na avaliação de ponta a ponta em ambientes de GPU de alto desempenho para servidores. Há uma carência de análise sistemática e por componentes para orientar engenheiros sobre quais componentes específicos do modelo (codificador de visão, projetor ou backbone do LLM) devem ser quantizados e como as larguras de bits devem ser alocadas para equilibrar precisão, latência e eficiência energética em hardware de borda.

Metodologia

Os autores propõem um framework de avaliação sistemática para validar empiricamente cinco hipóteses relativas à quantização por componente. O estudo utiliza cinco sVLMs arquiteturalmente diversos (Qwen3-VL-2B, DeepSeek-VL2-Tiny, PaliGemma2-3B, LLaVA-OV-0.5B e Kosmos-2.5) e os avalia em duas plataformas de borda heterogêneas: Jetson Orin NX (16 GB de VRAM, 102,4 GB/s de largura de banda) e Jetson Orin AGX (64 GB de VRAM, 204,8 GB/s de largura de banda).

Design Experimental:

• Configurações: Seis configurações de quantização foram definidas para isolar os efeitos dos componentes:
  • Ablações de componente único: Quantizando apenas o LLM (cfg1), o Projetor (cfg2) ou o Codificador de Visão (cfg4), mantendo os outros em FP16.
  • Configurações compostas: Quantizando simultaneamente o Projetor e o LLM (cfg3), ou o Codificador de Visão e o LLM (cfg5).
• Estratégia de Quantização: A quantização INT4 foi aplicada exclusivamente ao backbone do LLM para reduzir a VRAM, enquanto os componentes relacionados à visão foram mantidos em INT8 ou superior para preservar o alinhamento de modalidades. O framework BitsAndBytes foi utilizado para a quantização.
• Métricas: A avaliação incluiu pontuações do benchmark MME (Percepção e Cognição), uso de pico de VRAM, latência por componente (Codificador de Visão, Projetor e Tempo por Token de Saída - TPOT) e Inteligência por Joule (IPJ).

Principais Contribuições

1. Análise Sistemática por Componente: Este é o primeiro estudo a separar e quantificar independentemente a sensibilidade do codificador de visão, do projetor e do backbone do LLM em sVLMs sub-3B, indo além da avaliação holística do modelo.
2. Validação Empírica Cross-Hardware: Ao testar tanto no Jetson Orin NX quanto no AGX, o estudo distingue entre rankings de precisão invariantes à plataforma e perfis de latência/energia específicos de hardware.
3. Identificação de Atrito na Pilha de Hardware-Software: O artigo identifica e analisa fenômenos de latência anormal específicos de arquiteturas baseadas em SigLIP ao utilizar quantização INT8 em SoCs de borda baseados em Ampere.
4. Diretrizes Práticas de Implantação: O estudo fornece diretrizes baseadas em evidências para estratégias de alocação de precisão em ambientes de borda, desafiando a suposição de que modelos menores são inerentemente mais sensíveis à quantização.

Principais Resultados e Descobertas

1. A Sensibilidade à Quantização é Dependente da Arquitetura, Não Apenas da Escala (H1)

Ao contrário da hipótese de que modelos menores degradam mais severamente sob quantização INT4, os resultados mostram que o paradigma estrutural (MoE vs. Denso) é o fator determinante.

• Backbones MoE: Modelos como Qwen3-VL (baseado em MoE) e DeepSeek-VL2 (baseado em MoE) demonstraram, na verdade, melhorias na precisão MME (ex: +56,04 pontos para o Qwen3-VL) quando o LLM foi quantizado para INT4.
• Backbones Densos: Modelos densos como PaliGemma2 e LLaVA-OV sofreram degradação significativa de precisão (ex: -220,02 pontos para o LLaVA-OV).
• Conclusão: Arquiteturas MoE mitigam o ruído INT4, enquanto backbones densos degradam, independentemente da escala de parâmetros.

2. Anomalia de Latência Específica de SigLIP (H2)

A aplicação de quantização INT8 aos codificadores de visão baseados em SigLIP resultou em um aumento desproporcional de latência (2,43x a 4,66x) em plataformas Jetson Orin, apesar do impacto mínimo na precisão.

• Causa: Isso é atribuído a uma incompatibilidade da pilha de hardware-software, onde o kernel INT8 do BitsAndBytes falha em acelerar eficientamente os padrões computacionais específicos dos vision transformers do SigLIP na arquitetura Ampere.
• Contraste: Codificadores não-SigLIP (ex: Kosmos-2.5) mostraram aumentos de latência muito menores (1,15x–1,20x).

3. Troca entre Economia de VRAM vs. Eficiência de Inferência (H3)

Embora a quantização INT4 do backbone do LLM tenha reduzido o consumo de VRAM em 21,8%–47,5%, ela consistentemente aumentou o Tempo por Token de Saída (TPOT) em 10,4%–56,3%.

• Mecanismo: O overhead de desquantização introduzido pelo BitsAndBytes supera a aceleração de computação nativa de INT4 na arquitetura Ampere.
• Impacto Energético: Para modelos maiores (ex: Qwen3-VL), o aumento no tempo de inferência levou a um aumento significativo no consumo de energia (+45% a +55%), enquanto modelos menores (LLaVA-OV) viram aumentos de energia negligenciáveis. Assim, o INT4 via BitsAndBytes deve ser visto como uma técnica de economia de VRAM, e não de redução de latência.

4. Interação Não-Aditiva em Quantização Composta (H4)

• Projetor + LLM (cfg3): A degradação da precisão foi amplamente aditiva, aproximando-se da soma linear dos erros individuais de cada componente.
• Visão + LLM (cfg5): A interação foi não-aditiva e dependente da arquitetura. Por exemplo, o PaliGemma2 mostrou uma degradação adicional significativa (resíduo de -16,33), enquanto o DeepSeek-VL2 mostrou um padrão super-aditivo. Isso sugere que o caminho de alinhamento de modalidade é um gargalo crítico sensível a combinações arquiteturais específicas.

5. Invariância de Plataforma para Precisão vs. Especificidade de Eficiência (H5)

• Precisão: O ranking de desempenho dos modelos (Qwen3-VL > DeepSeek-VL2 > PaliGemma2 > LLaVA-OV > Kosmos-2.5) permaneceu estritamente consistente entre as plataformas Jetson NX e AGX, independentemente da configuração de quantização.
• Eficiência: A eficiência energética (IPJ) e a latência foram altamente específicas de cada plataforma. Por exemplo, o Qwen3-VL alcançou até 2,5x mais IPJ no AGX em comparação ao NX devido à maior largura de banda de memória que alivia os gargalos, enquanto outros modelos não mostraram tais ganhos.

Significância e Alegações

O artigo alega fornecer a primeira evidência sistemática e controlada de que a arquitetura algorítmica (MoE vs. Denso) é um determinante mais crítico da estabilidade de quantização do que a escala do modelo para sVLMs. O estudo destaca que ferramentas de quantização padrão (como o BitsAndBytes) podem introduzir penalidades de latência severas e específicas de arquitetura em hardware de borda que não são aparentes em avaliações de nível de servidor.

Os autores concluem que alcançar a eficiência máxima para IA de borda requer uma estratégia integrada de co-design de hardware-software, em vez de depender apenas de compressão de modelo isolada. Eles enfatizam que as decisões de implantação devem considerar as interações específicas da pilha hardware-software (ex: SigLIP em Ampere) e que os rankings de precisão são transferíveis entre plataformas de borda, enquanto os perfis de eficiência não o são. O estudo serve como um guia de cautela para engenheiros, sugerindo que aplicar quantização cegamente sem análise por componente pode levar a degradações inesperadas de desempenho ou picos de latência.