Resumo Técnico: Quando Bits Quebram o Recurso: Quantização Fiel a Contrafactuais

1. Declaração do Problema

Os sistemas modernos de aprendizado de máquina dependem cada vez mais da quantização para reduzir a pegada de memória e a latência de inferência, particularmente em implantações móveis e de borda. Embora a Quantização Consciente do Treinamento (QAT) e a Quantização Pós-Treinamento (PTQ) sejam rigorosamente avaliadas quanto à sua capacidade de preservar a precisão preditiva, este artigo identifica uma incompatibilidade crítica de implantação: a quantização pode preservar a precisão no caso médio enquanto silenciosamente quebra o recurso algorítmico.

O recurso algorítmico fornece recomendações acionáveis (mínimas alterações em uma entrada) que invertem a decisão de um modelo para um resultado desejado. O artigo argumenta que as restrições de precisão aplicam-se à distribuição de dados, enquanto o recurso depende da geometria local da fronteira de decisão em vizinhanças específicas ao redor de pontos individuais. A quantização perturba pesos e ativações de maneira estruturada, mas não uniforme, o que pode deslocar margens de decisão e rotacionar fronteiras precisamente nas vizinhanças que importam para o recurso. Consequentemente, uma ação de recurso válida para um modelo de precisão total pode tornar-se inválida ou significativamente mais custosa após a quantização, mesmo que a precisão de teste do modelo permaneça inalterada.

2. Metodologia: Quantização Fiel a Contrafactuais (CFQ)

Os autores propõem a Quantização Fiel a Contrafactuais (CFQ), um método de treinamento consciente da quantização projetado para preservar o comportamento contrafactual como um objetivo de primeira classe, juntamente com a precisão preditiva.

Mecanismo Central

A CFQ trata a quantização como uma mudança estruturada no modelo. Ela utiliza um modelo "professor" de precisão total ($f$) para gerar ações de recurso ($\delta_{fp}$) para instâncias de entrada. Essas ações são computadas via um pequeno número ($K$) de passos de gradiente projetado sobre uma perda contrafactual diferenciável e são tratadas como constantes (via stop-gradient) durante a otimização do modelo quantizado ($f_q$).

O objetivo de treinamento para a CFQ combina três componentes:

1. Perda de Tarefa ($L_{task}$): Perda supervisionada padrão (por exemplo, entropia cruzada) para manter a precisão preditiva em entradas factuais.
2. Perda de Preservação de Validade ($L_{valid}$): Um regularizador que força o modelo quantizado a prever o resultado-alvo no ponto de recurso do professor ($x + \delta_{fp}$). Isso garante que, se uma ação funcionar para o modelo de precisão total, ela permaneça válida para o modelo quantizado.
3. Penalidade de Custo de Bits ($\lambda \cdot \text{BitCost}$): Uma restrição que impõe um orçamento global de bits, permitindo alocação de precisão mista.

Alocação de Bits de Precisão Mista

A CFQ otimiza conjuntamente os parâmetros do quantizador (por exemplo, tamanhos de passo, limites de corte) e as larguras de bits por camada. Ela emprega uma relaxação diferenciável usando Gumbel-Softmax para selecionar larguras de bits de um conjunto candidato (por exemplo, $\{2, 3, 4, 8\}$) para cada camada. A otimização é guiada pelo objetivo contrafactual, alocando maior precisão às camadas que mais influenciam a validade dos pontos de recurso, em vez de otimizar apenas para a precisão média.

Melhorias Opcionais

• Correspondência de Direção/Custo ($L_{match}$): Um termo opcional que alinha a ação de recurso computada pelo modelo quantizado ($\delta_q$) com a ação do professor ($\delta_{fp}$) em termos de direção e custo.
• Estabilização de Margem ($L_{hinge}$): Uma perda de tipo hinge que impõe uma margem positiva no ponto de recurso do professor, fornecendo uma bússola de segurança contra perturbações induzidas pela quantização.

Fundamentação Teórica

O artigo fornece uma condição suficiente para a transferência de recurso baseada na robustez da margem. Ele postula que, se a margem-alvo de precisão total em um ponto de recurso exceder o dobro da máxima perturbação de logit induzida pela quantização ($\epsilon$), o modelo quantizado preservará o rótulo-alvo. O objetivo da CFQ aborda isso diretamente, aumentando a margem nos pontos de recurso e reduzindo perturbações efetivas através de alocação direcionada de bits.

3. Contribuições Principais

1. Identificação de uma Lacuna de Implantação: Os autores demonstram que as bases de quantização que preservam a precisão (QAT uniforme, QAT de precisão mista) podem degradar significativamente a transferibilidade contrafactual, levando a falhas de recurso invisíveis para métricas de precisão padrão.
2. Novas Métricas: Duas métricas são introduzidas para quantificar esse modo de falha:
   • Queda de Validade (VD): A probabilidade de que uma ação de recurso válida para o modelo de precisão total falhe para o modelo quantizado.
   • Lacuna de Recurso Contrafactual (CRG): O aumento relativo no custo mínimo necessário para alcançar o resultado-alvo após a quantização.
3. Algoritmo CFQ: Um procedimento de treinamento novo que acopla alocação de bits de precisão mista com um regularizador de consistência contrafactual para preservar a validade do recurso sob orçamentos de bits.
4. Validação Empírica: Experimentos extensivos em benchmarks tabulares (ADULT, GERMAN CREDIT, COMPAS) e conjuntos de dados de imagem não tabulares (MNIST, Fashion-MNIST, CelebA) mostrando que a CFQ mantém a precisão enquanto melhora substancialmente a VD e a CRG.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de recurso tabular padrão (ADULT, GERMAN CREDIT, COMPAS) e estendidos a conjuntos de dados de imagem usando espaços de ação latentes estruturados ou semânticos.

• Precisão vs. Recurso: Métodos de base (LSQ-QAT, PACT-QAT, Precisão Mista orientada por precisão) alcançaram precisão preditiva comparável aos modelos de precisão total (por exemplo, ~85,7% no ADULT), mas sofreram alta Queda de Validade (VD $\approx$ 0,12–0,18) e alta Lacuna de Recurso Contrafactual (CRG $\approx$ 0,16–0,23).
• Desempenho da CFQ: A CFQ alcançou precisão comparável (por exemplo, 85,7% no ADULT) enquanto reduzia drasticamente a VD (para ~0,06) e a CRG (para ~0,07). Isso representa uma redução de aproximadamente 50% nas taxas de falha de recurso em comparação com as melhores bases não-CFQ.
• Robustez: Os benefícios da CFQ foram consistentes em diferentes orçamentos de bits, com os maiores ganhos observados em regimes de baixo bit (por exemplo, 3-4 bits), onde o ruído de quantização é mais forte.
• Variante Sem Treinamento (CF-PTQ): Foi introduzida uma variante pós-treinamento que calibra quantizadores em pontos factuais e contrafactuais do professor sem atualizar os pesos da base. Esta variante reduziu significativamente a VD e a CRG em comparação com a PTQ padrão, oferecendo um meio-termo prático entre a PTQ padrão e a QAT completa.
• Análise de Subgrupos: A CFQ reduziu a instabilidade de recurso entre diferentes subgrupos (por exemplo, gênero, raça), embora disparidades de estabilidade entre subgrupos ainda possam existir, sugerindo a necessidade de futuras extensões conscientes da equidade.

5. Significado e Alegações

O artigo alega que a precisão preditiva é insuficiente para garantir a confiabilidade do recurso algorítmico em modelos comprimidos. Ao tratar a quantização como uma mudança de modelo que altera a geometria local de decisão, os autores argumentam que os pipelines de implantação devem otimizar explicitamente para a estabilidade do recurso.

O significado da CFQ reside em sua capacidade de:

• Prevenir Promessas Quebradas: Garantir que recomendações acionáveis geradas durante o desenvolvimento (em modelos de precisão total) permaneçam válidas e custo-efetivas após a implantação (em modelos quantizados).
• Fornecer Estabilidade Mensurável: Introduzir VD e CRG como métricas padrão para avaliar a robustez do recurso sob compressão, revelando falhas que as métricas de precisão escondem.
• Oferecer Soluções Práticas: Fornecer tanto uma abordagem baseada em treinamento (CFQ) quanto uma sem treinamento (CF-PTQ) para alcançar essa estabilidade, tornando-a aplicável a várias restrições de implantação.

Os autores mantêm uma postura modesta, observando que a CFQ preserva o recurso em relação ao modelo preditivo especificado e ao conjunto de ações, mas não certifica a eficácia causal no mundo real. Eles reconhecem que a CFQ introduz sobrecarga computacional (principalmente do cálculo de recurso do professor) e que sua estabilidade é calibrada para a distribuição de treinamento, potencialmente exigindo recalibração sob deslocamentos severos de implantação. No entanto, os resultados demonstram que otimizar a quantização para comportamento contrafactual é um objetivo distinto e necessário para sistemas de suporte a decisões de alto risco.