Resumo Técnico: ScalePredictor

Definição do Problema

Os Vision Transformers (ViTs) alcançaram um desempenho de estado da arte em visão computacional, mas enfrentam desafios significativos de implantação em dispositivos de borda (edge devices) com recursos limitados devido à sua intensidade computacional. A Quantização Pós-Treinamento (PTQ) oferece uma solução ao comprimir modelos para formatos de baixa bitagem (por exemplo, 8 bits ou menos) sem retreinamento. No entanto, os métodos de PTQ existentes baseiam-se predominantemente na quantização estática, onde um único conjunto de parâmetros de quantização (escalas) é aplicado uniformemente a todas as instâncias de entrada.

Este paradigma estático é inerentemente subótimo para ViTs porque imagens naturais exibem uma diversidade substancial, levando a variações significativas nas distribuições de ativação entre diferentes amostras. Essa heterogeneidade é particularmente prejudicial em configurações de ultra-baixa bitagem (ex: W3/A3), onde escalas fixas falham em capturar a dinâmica específica de cada instância. Por outro via, estratégias de quantização dinâmica que adaptam os parâmetros por amostra frequentemente exigem reduções de tensores completos em tempo de execução (cálculos de min/max) para cada camada. Essas operações introduzem barreiras de sincronização severas e sobrecargas limitadas por memória (memory-bound), prejudicando drasticamente a velocidade de inferência e anulando os benefícios de eficiência da quantização.

Metodologia: ScalePredictor

Os autores propõem o ScalePredictor, um framework de quantização dinâmica que alcança o aprendizado de escala consciente da instância com sobrecarga computacional mínima. O insight central que impulsiona o método é uma correlação descoberta: as escalas de quantização ideais para camadas mais profundas são fortemente dependentes da magnitude de ativação observada em camadas rasas.

O framework consiste em três componentes principais:

1. Extração de Intervalo Robusto (Robust Range Extraction):
   Em vez de calcular valores globais de min/max (sensíveis a outliers) ou realizar ordenação de percentil dispendiosa, o ScalePredictor extrai um "intervalo robusto" ($r(x)$) da saída do Patch Embedding (a camada mais rasa).

   • O tensor achatado é particionado em $K$ blocos (chunks) não sobrepostos.
   • Valores extremos locais (min/max) são computados para cada bloco.
   • Esses extremos locais são calculados pela média para derivar um intervalo robusto global.
   • Esta abordagem atua como uma aproximação de percentil de grão grosso, suprimindo efetivamente a influência de outliers enquanto mantém a complexidade $O(N \cdot C)$ e evita a ordenação.

2. Preditor Polinomial Motivado por Taylor (Taylor-Motivated Polynomial Predictor):
   Um módulo polinomial aprendível mapeia o intervalo robusto extraído $r(x)$ para as escalas de quantização ideais para todas as camadas subsequentes.

   • Com base na observação de que a relação entre as estatísticas das camadas rasas e as escalas ideais das camadas profundas segue uma tendência suave e não linear, o método modela a escala $s_l(x)$ para a camada $l$ como uma função polinomial de $r(x)$:
     $$s_l(x) = \sum_{k=0}^{d} c_{l,k} \cdot (r(x))^k$$
   • Os coeficientes $c_{l,k}$ são aprendidos durante uma fase de calibração usando uma perda de reconstrução por bloco (block-wise reconstruction loss).
   • Isso permite que o modelo preveja escalas específicas da instância para todas as camadas em uma única passagem, sem acessar os tensores de ativação profundos.

3. Calibração e Inferência:

   • Calibração: Os coeficientes polinomiais são otimizados usando um pequeno conjunto de calibração. O termo constante ($c_{l,0}$) é inicializado com a escala estática ideal para garantir estabilidade, enquanto os termos de ordem superior são aprendidos para capturar variações de instância.
   • Inferência: Para uma nova entrada, o intervalo robusto é computado uma única vez na camada de Patch Embedding. Todas as escalas das camadas subsequentes são geradas via avaliação polinomial ($O(1)$ FLOPs), eliminando a necessidade de reduções de tensores por camada em tempo de execução.

Principais Contribuições

1. PTQ Consciente da Instância para ViTs: O ScalePredictor é apresentado como o primeiro método de quantização pós-treinamento para ViTs que utiliza quantização dinâmica para abordar a heterogeneidade de distribuição ao nível da instância sem retreinamento.
2. Mecanismo Eficiente de Aprendizado de Escala: A integração de um mecanismo de extração de intervalo robusto (média de min/max baseada em blocos) com uma projeção polinomial inspirada em Taylor permite a previsão de escala precisa e instantânea com sobrecarga de inferência desprezível.
3. Descoberta da Correlação Rasa-Profunda: O trabalho revela uma dependência funcional consistente onde as estatísticas de ativação das camadas rasas (especificamente do Patch Embedding) podem prever efetivamente as escalas de quantização ideais para blocos de transformadores mais profundos em várias arquiteturas (ViT, DeiT, Swin).

Resultados Experimentais

Experimentos extensivos foram conduzidos no dataset ImageNet em sete arquiteturas de ViT (ViT-S/B, DeiT-T/S/B, Swin-S/B) e quatro baselines de PTQ (BRECQ, QDrop, AdaLog, I&S-ViT).

• Melhorias de Acurácia: O ScalePredictor supera consistentemente os baselines de PTQ estática, particularmente em regimes de baixa bitagem.
  • Ganhos notáveis incluem uma melhoria de 10,58% (de 33,57% para 44,15%) no Swin-Small usando I&S-ViT em W2/A3.
  • Melhorias significativas também foram observadas em W3/A3, como um ganho de 8,71% no ViT-Small usando BRECQ.
  • Mesmo em casos onde os baselines estáticos colapsaram (ex: BRECQ no ViT-Small em W2/A3 com 1,10% de acurácia), o ScalePredictor recuperou o desempenho para 4,15%.
• Comparação com Quantização Dinâmica JIT: Ao contrário dos métodos de quantização dinâmica Just-In-Time (JIT) (ex: JIT Min/Max), que degradam severamente a acurácia ao quebrar a relação calibrada peso-ativação, o ScalePredictor preserva a consistência da calibração enquanto permite a adaptabilidade.
• Eficiência:
  • Latência: Em uma NVIDIA RTX 3090, o ScalePredictor introduz apenas 0,6% de sobrecarga de latência end-to-end em comparação com o PTQ estático.
  • Computação de Escala: O método é 40–52× mais rápido que o JIT Min/Max e 507–1025× mais rápido que o JIT Percentile para computar as escalas de quantização, pois evita reduções de tensores por camada.

Significância e Alegações

O artigo afirma que o ScalePredictor consegue preencher a lacuna entre a acurácia da quantização dinâmica e a eficiência da quantização estática. Ao alavancar a correlação oculta entre as distribuições das camadas rasas e as escalas ideais das camadas profundas, o método evita a calibração custosa "just-in-time" exigida pelas abordagens dinâmicas tradicionais.

Os autores enfatizam que o ScalePredictor oferece um trade-off acurácia-eficiência favorável, tornando-o uma solução viável para implantar Vision Transformers de baixa bitagem em dispositivos de borda. O método foi projetado para ser integrado perfeitamente em frameworks de PTQ existentes, exigindo apenas a adição de um módulo preditor leve e um passo de extração de intervalo robusto, sem alterar a arquitetura de rede subjacente ou exigir retreinamento completo.