Sintesi Tecnica: Uno Studio Empirico sulla Quantizzazione di OpenPangu su NPU Ascend

Definizione del Problema

I modelli OpenPangu rappresentano una significativa famiglia di grandi modelli linguistici (LLM) nazionali destinati all'impiego privato e specifico per dominio. Tuttavia, la loro robustezza sotto una quantizzazione post-training (PTQ) aggressiva, specificamente su NPU Huawei Ascend, non è stata sistematicamente caratterizzata. Sebbene esistano metodi PTQ maturi per ambienti centrati su CUDA, il contesto di sistema unico delle NPU Ascend — che comprende il supporto specifico per gli operatori, i vincoli di memoria del dispositivo e la compatibilità con i framework — richiede una ri-esame del fatto se le ricette di quantizzazione standard rimangano affidabili. La sfida principale consiste nell'identificare quali larghezze di bit e metodi mantengano la credibilità sotto un protocollo di calibrazione e valutazione coerente e orientato alle NPU, in particolare per le varianti OpenPangu da 1B e 7B di parametri.

Metodologia

Gli autori hanno condotto uno studio empirico controllato valutando OpenPangu-1B e OpenPangu-7B su NPU Huawei Ascend 910B1 (64GB HBM). Lo studio ha utilizzato un protocollo unificato su 18 task di valutazione, inclusi il modellamento del linguaggio (WikiText2, C4), il ragionamento logico in inglese (PIQA, ARC, HellaSwag, Winogrande, BoolQ), i benchmark della conoscenza in cinese (CMMLU, C-Eval), il ragionamento matematico (GSM8K, MATH-500), la generazione di codice (MBPP, HumanEval) e il rispetto delle istruzioni.

Metodi di Quantizzazione Valutati:
Lo studio ha coperto un ampio spettro di tecniche PTQ che spaziano da 1 a 8 bit:

• Solo Pesi (Weight-Only): Round-To-Nearest (RTN), GPTQ, AWQ, GPTAQ.
• Pesi-Attivazioni (Weight-Activation): SmoothQuant (valutato a W8A8 e W4A4).
• Ultra-Bassa Precisione: BiLLM (binario) e SliM-LLM (2-bit).

Protocollo Sperimentale:

• Calibrazione: I metodi che richiedono calibrazione hanno utilizzato 128 campioni di istruzioni in stile Alpaca (lunghezza della sequenza 512). RTN non ha utilizzato dati di calibrazione.
• Configurazione: I metodi "weight-only" hanno impiegato una quantizzazione simmetrica per gruppo (dimensione del gruppo 128) con attivazioni a 16 bit. GPTQ ha utilizzato l'ordine degli attuali (act-order), uno smorzamento di 0.01 e una dimensione del blocco di 128. SmoothQuant ha utilizzato la quantizzazione per canale dei pesi e per token delle attivazioni con un coefficiente di smoothing di 0.8.
• Ablazione della Granularità: Uno studio di ablazione specifico ha confrontato la scalatura per canale rispetto alla scalatura per gruppo per determinare la granularità ottimale per l'errore di ricostruzione dei pesi e le prestazioni nei task.
• Stack Software: PyTorch 2.5.1, torch-npu 2.5.1, Transformers 4.53.2 e lm-evaluation-harness.

Risultati Chiave

1. La Quantizzazione Solo Pesi a 8-bit è Effettivamente Senza Perdite (Lossless)

In entrambe le dimensioni dei modelli, la quantizzazione solo pesi a 8 bit (W8A16) ha dimostrato prestazioni quasi indistinguibili dal baseline FP16. Metodi come RTN, AWQ e GPTQ hanno preservato la perplessità e l'accuratezza dei benchmark con un degrado trascurabile, stabilendo W8 come un default sicuro e a basso rischio per il deployment.

2. Quantizzazione a 4-bit: Viabilità Dipendente dal Modello

• OpenPangu-7B: La quantizzazione solo pesi a 4 bit si è dimostrata pratica. AWQ-W4 ha mantenuto la perplessità C4 vicina a FP16 (80.60 vs 80.43) e ha mostrato cali minimi nel ragionamento commonsense. Anche RTN-W4 si è comportato competitivamente senza richiedere dati di calibrazione.
• OpenPangu-1B: La quantizzazione a 4 bit ha causato un degrado visibile delle prestazioni, in particolare nei task di ragionamento, matematica e codice. Mentre la classificazione commonsense è rimasta relativamente stabile, le capacità in GSM8K, MATH-500, MBPP e HumanEval sono crollate significativamente (ad esempio, HumanEval è sceso da circa il 20% a circa il 9%). Ciò indica che il modello 1B manca della ridondanza necessaria per supportare una compressione W4 aggressiva per task di uso generale.

3. Fallimento della Ultra-Bassa Precisione

Le impostazioni a 2-bit, binario (1-bit) e W4A4 (pesi a 4 bit, attivazioni a 4 bit) sono in gran parte fallite:

• Collasso verso la Casualità: La maggior parte delle configurazioni a 2-bit e binarie ha prodotto un comportamento quasi casuale, con valori di perplessità non finiti o estremamente grandi e accuratezze dei task che tendono ai livelli del caso.
• Instabilità W4A4: SmoothQuant W4A4 ha prodotto perplessità non finite su entrambi i modelli. Sebbene W8A8 fosse utilizzabile per il modello 7B, la transizione a W4A4 ha causato un fallimento immediato, evidenziando che l'errore di quantizzazione delle attivazioni è un collo di bottiglia più significativo rispetto alla sola compressione dei pesi in questo contesto.

4. Sensibilità alla Granularità e al Metodo

• Scalatura per Gruppo: Gli studi di ablazione hanno confermato che la scalatura per gruppo (dimensione del gruppo 128) ha costantemente superato la scalatura per canale in termini di errore di ricostruzione dei pesi (guadagno SQNR di circa 2.6–3.2 dB nell'intervallo W3–W7) e accuratezza nei task a valle.
• Classifica dei Metodi: A W4, AWQ è emerso come il metodo più forte per la quantizzazione solo pesi del modello 7B. A W3, solo AWQ ha mantenuto il modello 7B in un regime parzialmente utilizzabile; gli altri metodi sono crollati. Per il modello 1B, anche AWQ-W3 è stato insufficiente per l'uso general-purpose.

Significato e Rivendicazioni

Il documento fornisce una mappa di accuratezza orientata alle NPU per la selezione delle impostazioni di quantizzazione di OpenPangu, offrendo una guida concreta per i professionisti che distribuiscono questi modelli su hardware Ascend.

• Raccomandazioni Pratiche: Gli autori concludono che la quantizzazione solo pesi W8 è il default più sicuro per entrambi i modelli. La quantizzazione solo pesi W4 è praticabile per il modello 7B (preferibilmente con AWQ), ma deve essere trattata come specifica per task per il modello 1B, adatta solo per la classificazione leggera piuttosto che per il ragionamento complesso o la generazione di codice.
• Identificazione del Collo di Bottiglia: Lo studio evidenzia che la quantizzazione delle attivazioni rimane il principale collo di bottiglia non risolto. Il fallimento delle impostazioni W4A4 suggerisce che i flussi attuali non possono preservare l'accuratezza in modo affidabile quando si comprimono le attivazioni a 4 bit, rendendo necessaria una futura ricerca su kernel aware delle attivazioni e gestione degli outlier.
• Realtà della Ultra-Bassa Precisione: I risultati indicano che le impostazioni a bassissimo bit (W2, binario) non sono attualmente affidabili per OpenPangu senza meccanismi di recupero aggiuntivi, poiché portano costantemente al collasso del modello.

Gli autori dichiarano esplicitamente che queste scoperte si basano su una valutazione focalizzata sull'accuratezza tramite quantizzazione simulata e non pretendono miglioramenti di latenza o throughput. Sottolineano che, sebbene i risultati forniscano una base robusta per l'accuratezza, le decisioni di deployment complete richiedono ulteriori validazioni con kernel impacchettati (packed kernels) e profilazione del throughput end-to-end.