Pre-Registering the Detectable Effect: A Paired-MDE Budget for 4-bit Quantization Benchmarks, with a Pilot Audit

Riepilogo Tecnico: Pre-registrazione dell'Effetto Rilevabile nei Benchmark di Quantizzazione a 4 bit

Enunciato del Problema
Le pratiche attuali nella valutazione della quantizzazione post-allenamento (in particolare NF4 a 4 bit) per i Modelli Linguistici di Grande Dimensione (LLM) si basano spesso sulla segnalazione di singoli numeri di accuratezza per ogni cella modello-benchmark. Questo approccio elude una domanda statistica fondamentale: qual è l'effetto di quantizzazione più piccolo che il protocollo di valutazione può rilevare in modo affidabile?

I benchmark standard utilizzano spesso piccoli sottocampioni (ad esempio, $n=100$ elementi) suddivisi in sottoinsiemi non sovrapposti. La varianza osservata tra queste suddivisioni viene frequentemente interpretata come "inaffidabilità del benchmark" o come un fallimento del metodo di quantizzazione. Tuttavia, gli autori sostengono che gran parte di questa varianza è semplicemente rumore di campionamento binomiale intrinseco a piccoli $n$, piuttosto che una proprietà del modello o dello schema di quantizzazione. Senza una garanzia ex-ante sul Minimo Effetto Rilevabile (MDE), le affermazioni secondo cui un metodo di quantizzazione "preserva" le prestazioni possono essere sottopotenziati, confondendo un piccolo effetto di popolazione con l'incapacità di rilevarlo.

Metodologia
Il documento propone un framework per convertire l'affidabilità del benchmark in una linea di bilancio pre-registrabile utilizzando un limite conservativo per il MDE accoppiato.

1. Derivazione Teorica (Limite MDE Accoppiato):
   Gli autori adattano i calcoli classici della dimensione del campione binomiale accoppiato (Miettinen, 1968) al contesto dei confronti tra FP16 e NF4. Definiscano:

   • $m$: Il conteggio degli elementi accoppiati (o $n$ per una singola suddivisione o $kn$ per un aggregato di $k$ suddivisioni).
   • $\rho_d$: Il tasso di disaccordo per esempio ($Pr(D_i \neq 0)$), dove $D_i$ è la differenza di correttezza tra FP16 e NF4 sull'elemento $i$.
   • $\delta$: La dimensione dell'effetto di popolazione ($|E[D_i]|$).

   Derivano un limite superiore conservativo per il MDE ($\delta^*$) al livello di significatività $\alpha$ e potenza $1-\beta$:
   $$\delta^*(m, \rho_d) \leq (z_{1-\alpha/2} + z_{1-\beta}) \sqrt{\frac{\rho_d}{m}}$$
   Questo limite assume un tasso di disaccordo nel caso peggiore $\rho_d$ (pre-registrato o limitato in modo conservativo) e tratta la varianza come $\rho_d/m$. Funge da linea di "bilancio": effetti inferiori a $\delta^*$ non sono garantiti come rilevabili dal disegno, indipendentemente dal modello specifico.

2. Audit Pilota Empirico:
   Gli autori conducono un audit pilota su una griglia $4 \times 4$:

   • Modelli: OPT-2.7B, Pythia-2.8B, Llama-2-7B, Mistral-7B.
   • Benchmark: MMLU, ARC-Easy, WinoGrande, HellaSwag.
   • Disegno: $k=5$ suddivisioni non sovrapposte di $n=100$ elementi ciascuna ($m=500$ aggregato).
   • Sensibilità al Prompt: Uno studio parallelo su MMLU utilizzando tre distinti template di prompt ($n=50$ ciascuno) per misurare la varianza indotta dal prompt.

3. Metriche Diagnostiche:

   • Riferimento Binomiale: Confronto delle deviazioni standard osservate tra le suddivisioni ($\hat{\sigma}_{split}$) con il riferimento binomiale teorico $\sqrt{\hat{p}(1-\hat{p})/n}$.
   • Indice di Affidabilità della Quantizzazione (QRI): Un euristica segnale-rumore definita come $|\hat{\Delta}| / \hat{\sigma}_{split}$ (e una variante combinata che include la varianza del prompt) per segnalare le celle in cui il rumore domina il segnale.

Risultati Chiave

• Dominanza del Rumore di Campionamento: Sui sottocampioni $n=100$, 25 delle 32 deviazioni standard osservate tra le suddivisioni rientravano entro $\pm 1.5$ punti percentuali (pp) dal riferimento binomiale. Ciò suggerisce che gran parte della "inaffidabilità" riportata è semplicemente rumore binomiale da piccolo campione, non instabilità specifica della quantizzazione.
• Limiti di Rilevabilità:
  • Assumendo un tasso di disaccordo di pianificazione di $\rho_d = 0.10$, l'MDE aggregato ($m=500$) è $\approx 4.0$ pp.
  • Assumendo $\rho_d = 0.05$, l'MDE si restringe a $\approx 2.8$ pp.
  • Osservazione: Tutti i delta di accuratezza osservati NF4–FP16 per i modelli da 7B (variando da -0.4 a -0.8 pp) sono risultati inferiori a entrambe le soglie MDE.
  • Caso Limite: L'unica cella che si avvicinava al limite era OPT-2.7B su WinoGrande ($|\Delta| = 3.2$ pp). Questo effetto è inferiore all'MDE a $\rho_d=0.10$ ma superiore a $\rho_d=0.05$, illustrando che la rilevabilità di questo risultato specifico dipende interamente dal valore di pianificazione non misurato di $\rho_d$.
• Confondimento della Varianza del Prompt: Su MMLU, le variazioni del template del prompt hanno causato oscillazioni di accuratezza da 2 a 10 pp. Questo intervallo raggiunge o supera il delta di quantizzazione osservato più grande (3.2 pp). Di conseguenza, un audit di quantizzazione che non fissa il template del prompt assorbe la varianza del template nel suo rumore di fondo, potenzialmente mascherando o fabbricando effetti.

Contributi

1. Limite Conservativo MDE Accoppiato: Una disuguaglianza in forma chiusa (Eq. 2) che consente ai progettisti di benchmark di pre-registrare un bilancio di rilevabilità basato sulla dimensione del campione e su un tasso di disaccordo a priori.
2. Audit Empirico e Riferimento Binomiale: Uno studio pilota che dimostra che, sulle dimensioni standard dei sottocampioni ($n=100$), la varianza tra le suddivisioni è spiegata in gran parte dal campionamento binomiale, non dal rumore specifico del modello.
3. Indice di Affidabilità della Quantizzazione (QRI): Una metrica descrittiva segnale-rumore per identificare le celle in cui il rumore di valutazione domina il segnale di quantizzazione.
4. Template di Pre-registrazione: Un template di cinque righe per i ricercatori per impegnarsi su obiettivi MDE, priori di disaccordo e statistiche accoppiate prima di eseguire i benchmark.

Significato e Affermazioni
Il documento non afferma di dimostrare che la quantizzazione a 4 bit sia universalmente perfetta o che specifici modelli falliscano. Piuttosto, sostiene che i confronti tra benchmark di modelli quantizzati e modelli in precisione completa sono sistematicamente sottopotenziati.

Gli autori affermano che, rendendo esplicito l'MDE, la comunità può riformulare le narrazioni di "piccolo effetto". Se un delta osservato è inferiore all'MDE pre-registrato, la conclusione corretta non è che l'effetto è "piccolo" o "trascurabile", ma che è "non distinguibile per potenza a questa dimensione del campione."

Lo studio evidenzia due prerequisiti critici per confronti di precisione significativi:

1. Dimensione del Campione: Le dimensioni attuali dei sottocampioni ($n=100$) sono insufficienti per risolvere effetti inferiori al punto percentuale senza assumere tassi di disaccordo estremamente bassi.
2. Controllo del Prompt: La varianza del template del prompt deve essere fissata o esplorata sistematicamente, poiché può superare la magnitudine dell'effetto di quantizzazione stesso.

Il lavoro funge da intervento metodologico, esortando il settore ad adottare garanzie ex-ante (simili ai Budget degli Studi Clinici) per distinguere tra una reale mancanza di impatto della quantizzazione e un fallimento del protocollo di valutazione nel rilevarlo.