Resumo Técnico: E-PMQ: Quantização Pós-Fusão Guiada por Especialistas com Ancoragem de Pesos Fundidos

1. Formulação do Problema: Quantização Pós-Fusão (PMQ)

O artigo aborda um cenário específico de implantação com recursos limitados, onde múltiplos modelos especializados em tarefas, denominados "especialistas", são primeiro fundidos em um único modelo, e esse modelo fundido resultante é subsequentemente quantizado para inferência eficiente. Os autores definem esse cenário como Quantização Pós-Fusão (PMQ).

O desafio central identificado é que os métodos padrão de Quantização Pós-Treinamento (PTQ), como o GPTQ, são pouco confiáveis quando aplicados diretamente a modelos fundidos. Na PTQ padrão, o modelo em precisão completa é tratado como um alvo de reconstrução confiável. No entanto, na PMQ, o modelo fundido em precisão completa ($W_m$) não é um modelo multi-tarefa otimizado independentemente; é uma composição de parâmetros que já podem desviar dos comportamentos dos especialistas originais.

Os autores argumentam que a PMQ ingênua (quantizar diretamente $W_m$) acopla dois desvios distintos:

1. Desvio de Quantização: O erro introduzido pela reconstrução de pesos em um espaço de baixo bit.
2. Desvio de Fusão Relativo ao Especialista: O erro inerente ao próprio modelo fundido, representando o quanto $W_m$ se afastou dos comportamentos específicos dos especialistas originais ($W_i$).

Quando um algoritmo de PTQ ingênuo minimiza o erro de reconstrução de $W_m$ isoladamente, ele trata esse modelo potencialmente desviado como a verdade fundamental. Consequentemente, o processo de quantização falha em corrigir os desvios de fusão pré-existentes e, em vez disso, os compõe com erros de quantização, levando a uma degradação significativa do desempenho, especialmente em configurações de baixo bit agressivas (por exemplo, 4 bits) ou ao fundir muitas tarefas.

2. Metodologia: Framework E-PMQ

Para mitigar esses desvios acoplados, os autores propõem o E-PMQ, um framework guiado por especialistas que integra informações dos especialistas originais durante a fase de calibração, mantendo ao mesmo tempo a eficiência de implantação de um único modelo fundido.

Componentes Principais

O E-PMQ opera via quantização camada por camada em ordem forward. Para cada camada $\ell$, ele utiliza:

• Os pesos fundidos ($W_m^\ell$).
• Os pesos dos especialistas originais ($\{W_i^\ell\}_{i=1}^K$).
• Ativações de calibração coletadas do modelo parcialmente quantizado atual.

O método introduz dois mecanismos-chave:

A. Alvos de Saída Guiados por Especialistas

Em vez de reconstruir a saída do modelo fundido ($W_m^\ell X^\ell$) como o único alvo, o E-PMQ constrói alvos de saída baseados nos especialistas originais. Para cada especialista $i$, o alvo é $Y_i^\ell = W_i^\ell X_i^\ell$, onde $X_i^\ell$ são ativações coletadas do subconjunto de calibração associado a esse especialista.
O objetivo minimiza a discrepância entre a saída da camada quantizada e esses alvos induzidos por especialistas:
$$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2$$
Isso força o processo de quantização a alinhar-se com os comportamentos dos especialistas originais, mitigando assim o desvio de fusão relativo ao especialista.

B. Ancoragem de Pesos Fundidos

Confiar apenas em alvos de especialistas corre o risco de supercorrigir a camada fundida, potencialmente fazendo com que o modelo quantizado se desvie para um especialista específico e perca as capacidades integradas alcançadas pelo processo de fusão. Para evitar isso, o E-PMQ adiciona um termo de regularização que ancora os pesos quantizados ($Q^\ell$) aos pesos fundidos em precisão completa ($W_m^\ell$):
$$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2 + \lambda^\ell \| Q^\ell - W_m^\ell \|_F^2$$
A força da âncora $\lambda^\ell$ é adaptativa, escalada pela energia total de ativação da camada para garantir estabilidade entre diferentes camadas.

Implementação do Solucionador

Os autores adaptam o solucionador de arredondamento sequencial no estilo GPTQ para lidar com esse novo objetivo. O solucionador utiliza estatísticas quadráticas modificadas:

• Curvatura Efetiva: $H_{E-PMQ}^\ell = \sum H_i^\ell + \lambda^\ell I$
• Lado Direito: $R_{E-PMQ}^\ell = \sum W_i^\ell H_i^\ell + \lambda^\ell W_m^\ell$
  Isso permite que o método seja implementado de forma eficiente sem retreinamento de ponta a ponta, utilizando apenas um conjunto de calibração.

3. Contribuições Principais

O artigo delineia três contribuições primárias:

1. Formulação do Problema: Os autores definem formalmente a Quantização Pós-Fusão (PMQ) e identificam o modo de falha das abordagens ingênuas: o acoplamento do desvio de quantização com o desvio de fusão relativo ao especialista.
2. Proposta de Algoritmo: Eles introduzem o E-PMQ, que utiliza pesos de especialistas originais para fornecer alvos de saída guiados durante a calibração e emprega ancoragem de pesos fundidos para estabilizar a solução e preservar o comportamento integrado do modelo fundido.
3. Validação Empírica: Experimentos extensivos demonstram que o E-PMQ supera consistentemente as bases de PMQ ingênua (RTN, GPTQ, AWQ) em vários métodos de fusão (Task Arithmetic, TIES-Merging, Simple Averaging), arquiteturas de modelos (CLIP-ViT, FLAN-T5, Llama-3.1) e escalas de tarefas (8 a 20 tarefas).

4. Resultados Experimentais

O artigo avalia o E-PMQ em modelos de visão (CLIP) e linguagem (FLAN-T5, Llama-3.1) usando quantização de apenas pesos de 4 bits.

• CLIP-ViT-B/32 (8 Tarefas): Sob Task Arithmetic, o E-PMQ melhora a precisão do GPTQ de 4 bits de 65,0% para 73,6%. Sob TIES-Merging, melhora de 69,1% para 74,8%.
• CLIP-ViT-L/14 (20 Tarefas): Neste cenário mais difícil com mais interferência, o E-PMQ mostra ganhos dramáticos, melhorando o GPTQ de 34,8% para 76,7% sob Task Arithmetic.
• FLAN-T5-base (GLUE): O E-PMQ melhora a pontuação média de 78,26% para 83,34% sob Task Arithmetic e de 79,98% para 83,48% sob TIES-Merging.
• Llama-3.1 (3B e 8B): O E-PMQ alcança o melhor desempenho médio entre as variantes quantizadas, melhorando as pontuações sobre as bases GPTQ e AWQ.
• Estudos de Ablação: Remover a âncora de pesos fundidos ($\alpha=0$) causa colapso severo do desempenho (por exemplo, caindo para ~5% de precisão), confirmando que a orientação por especialistas sozinha é insuficiente sem ancoragem ao modelo fundido. O E-PMQ também demonstra robustez em várias larguras de bit (de 3 bits a 8 bits) e com orçamentos de calibração reduzidos.

5. Significado e Alegações

O artigo alega que o E-PMQ permite a implantação eficaz de baixo bit de modelos fundidos, um cenário anteriormente considerado pouco confiável devido à acumulação de desvios.

• Eficiência: O método requer acesso aos especialistas originais apenas durante a fase de quantização pré-implantação. O modelo implantado final é um único modelo fundido de baixo bit, sem módulos adicionais no tempo de inferência ou pesos de especialistas, mantendo a mesma contagem de parâmetros e velocidade de inferência que as bases ingênuas.
• Generalizabilidade: A abordagem mostrou-se eficaz em diferentes modalidades (visão e texto), escalas de modelos e estratégias de fusão.
• Limitações: Os autores notam modestamente que o E-PMQ requer acesso aos especialistas originais durante a quantização, o que aumenta os custos de computação e memória pré-implantação em comparação com a PTQ ingênua. Se apenas o modelo fundido estiver disponível, o método não pode construir alvos guiados por especialistas. Além disso, o desempenho do método depende da representatividade do conjunto de calibração.

Em resumo, o artigo argumenta que, para quantizar com sucesso modelos fundidos, é necessário olhar além do próprio modelo fundido e utilizar os especialistas originais para guiar a calibração, enquanto simultaneamente se ancora a solução aos pesos fundidos para preservar os benefícios da fusão.