Pre-Registering the Detectable Effect: A Paired-MDE Budget for 4-bit Quantization Benchmarks, with a Pilot Audit

Resumo Técnico: Pré-registro do Efeito Detectável em Benchmarks de Quantização de 4 bits

Declaração do Problema
As práticas atuais na avaliação da quantização pós-treinamento (especificamente NF4 de 4 bits) para Modelos de Linguagem de Grande Escala (LLMs) frequentemente dependem do relato de números únicos de precisão por célula de modelo-benchmark. Essa abordagem omite uma questão estatística fundamental: qual é o menor efeito de quantização que o protocolo de avaliação pode detectar de forma confiável?

Benchmarks padrão frequentemente utilizam pequenas subamostras (por exemplo, $n=100$ itens) divididas em subconjuntos não sobrepostos. A variância observada entre essas divisões é frequentemente interpretada como "falta de confiabilidade do benchmark" ou uma falha do método de quantização. No entanto, os autores argumentam que grande parte dessa variância é simplesmente ruído de amostragem binomial inerente a pequenos $n$, e não uma propriedade do modelo ou do esquema de quantização. Sem uma garantia ex-ante sobre o Efeito Mínimo Detectável (MDE), alegações de que um método de quantização "preserva" o desempenho podem ser subdimensionadas, confundindo um efeito populacional pequeno com a incapacidade de detectá-lo.

Metodologia
O artigo propõe um framework para converter a confiabilidade do benchmark em uma linha orçamentária pré-registrável usando um limite conservador de MDE pareado.

1. Derivação Teórica (Limite de MDE Pareado):
   Os autores adaptam cálculos clássicos de tamanho de amostra binária pareada (Miettinen, 1968) ao contexto de comparações FP16 vs. NF4. Eles definem:

   • $m$: A contagem de itens pareados (seja $n$ para uma única divisão ou $kn$ para um agregado de $k$ divisões).
   • $\rho_d$: A taxa de discordância por exemplo ($Pr(D_i \neq 0)$), onde $D_i$ é a diferença na correção entre FP16 e NF4 no item $i$.
   • $\delta$: O tamanho do efeito populacional ($|E[D_i]|$).

   Eles derivam um limite superior conservador para o MDE ($\delta^*$) no nível de significância $\alpha$ e potência $1-\beta$:
   $$\delta^*(m, \rho_d) \leq (z_{1-\alpha/2} + z_{1-\beta}) \sqrt{\frac{\rho_d}{m}}$$
   Este limite assume uma taxa de discordância no pior caso $\rho_d$ (pré-registrada ou conservadoramente limitada) e trata a variância como $\rho_d/m$. Ele serve como uma linha de "orçamento": efeitos menores que $\delta^*$ não são garantidos como detectáveis pelo desenho, independentemente do modelo específico.

2. Auditoria Piloto Empírica:
   Os autores realizam uma auditoria piloto em uma grade $4 \times 4$:

   • Modelos: OPT-2.7B, Pythia-2.8B, Llama-2-7B, Mistral-7B.
   • Benchmarks: MMLU, ARC-Easy, WinoGrande, HellaSwag.
   • Desenho: $k=5$ divisões não sobrepostas de $n=100$ itens cada ($m=500$ agregado).
   • Sensibilidade ao Prompt: Um estudo paralelo no MMLU usando três modelos de prompt distintos ($n=50$ cada) para medir a variância induzida pelo prompt.

3. Métricas Diagnósticas:

   • Referência Binomial: Comparação dos desvios padrão observados entre divisões ($\hat{\sigma}_{split}$) contra a referência binomial teórica $\sqrt{\hat{p}(1-\hat{p})/n}$.
   • Índice de Confiabilidade de Quantização (QRI): Uma heurística de sinal-ruído definida como $|\hat{\Delta}| / \hat{\sigma}_{split}$ (e uma variante combinada incluindo variância do prompt) para sinalizar células onde o ruído domina o sinal.

Principais Resultados

• Dominância do Ruído de Amostragem: Nas subamostras de $n=100$, 25 dos 32 desvios padrão observados entre divisões caíram dentro de $\pm 1,5$ pontos percentuais (pp) da referência binomial. Isso sugere que grande parte da "falta de confiabilidade" relatada é simplesmente ruído binomial de pequena amostra, e não instabilidade específica da quantização.
• Limites de Detectabilidade:
  • Assumindo uma taxa de discordância de planejamento de $\rho_d = 0,10$, o MDE agregado ($m=500$) é $\approx 4,0$ pp.
  • Assumindo $\rho_d = 0,05$, o MDE se estreita para $\approx 2,8$ pp.
  • Observação: Todos os deltas de precisão observados NF4–FP16 para os modelos de 7B (variando de -0,4 a -0,8 pp) ficaram abaixo de ambos os limites de MDE.
  • Caso Limítrofe: A única célula aproximando-se do limite foi OPT-2.7B no WinoGrande ($|\Delta| = 3,2$ pp). Este efeito está abaixo do MDE em $\rho_d=0,10$, mas acima dele em $\rho_d=0,05$, ilustrando que a detectabilidade deste resultado específico depende inteiramente do valor de planejamento não medido de $\rho_d$.
• Confound de Variância do Prompt: No MMLU, variações no modelo de prompt causaram oscilações de precisão de 2–10 pp. Esta faixa atinge ou excede o maior delta de quantização observado (3,2 pp). Consequentemente, uma auditoria de quantização que não fixa o modelo de prompt absorve a variância do modelo em seu piso de ruído, potencialmente mascarando ou fabricando efeitos.

Contribuições

1. Limite Conservador de MDE Pareado: Uma desigualdade de forma fechada (Eq. 2) que permite aos designers de benchmark pré-registrar um orçamento de detectabilidade baseado no tamanho da amostra e em uma taxa de discordância prévia.
2. Auditoria Empírica e Referência Binomial: Um estudo piloto demonstrando que, em tamanhos de subamostra padrão ($n=100$), a variância entre divisões é amplamente explicada pela amostragem binomial, e não por ruído específico do modelo.
3. Índice de Confiabilidade de Quantização (QRI): Uma métrica descritiva de sinal-ruído para identificar células onde o ruído de avaliação domina o sinal de quantização.
4. Modelo de Pré-registro: Um modelo de cinco linhas para pesquisadores se comprometerem com alvos de MDE, priores de discordância e estatísticas pareadas antes de executar benchmarks.

Significado e Alegações
O artigo não afirma provar que a quantização de 4 bits é universalmente perfeita ou que modelos específicos falham. Em vez disso, argumenta que comparações de benchmark entre modelos quantizados e de precisão total são rotineiramente subdimensionadas.

Os autores afirmam que, ao tornar o MDE explícito, a comunidade pode reestruturar narrativas de "pequeno efeito". Se um delta observado estiver abaixo do MDE pré-registrado, a conclusão correta não é que o efeito é "pequeno" ou "negligenciável", mas que ele é "indistinguível em termos de potência neste tamanho de amostra."

O estudo destaca dois pré-requisitos críticos para comparações de precisão significativas:

1. Tamanho da Amostra: Os tamanhos de subamostra atuais ($n=100$) são insuficientes para resolver efeitos sub-pontos percentuais sem assumir taxas de discordância extremamente baixas.
2. Controle de Prompt: A variância do modelo de prompt deve ser fixada ou varrida, pois pode exceder a magnitude do próprio efeito de quantização.

O trabalho serve como uma intervenção metodológica, instando o campo a adotar garantias ex-ante (semelhantes a Orçamentos de Ensaios Clínicos) para distinguir entre uma verdadeira falta de impacto da quantização e uma falha do protocolo de avaliação em detectá-lo.