Sintesi Tecnica: La Quantizzazione Inflaziona il Ragionamento

Problema

Sebbene la Post-Training Quantization (PTQ) sia una tecnica standard per ridurre il costo di inferenza dei Large Language Models (LLM) riducendo l'impronta di memoria e accelerando la decodifica per-token, il suo impatto sui modelli di ragionamento non è pienamente catturato dalle metriche di valutazione tradizionali. I protocolli standard si concentrano sulla precisione della risposta finale e sulla latenza per-token. Tuttavia, i modelli di ragionamento (ad esempio, quelli addestrati per il Chain-of-Thought o CoT passo-passo) dipendono fortemente dal volume della computazione al tempo di test.

Questo articolo identifica un costo nascosto: la PTQ a basso bit può causare l'Inflazione dei Token di Ragionamento (Reasoning-Token Inflation). I modelli quantizzati spesso preservano la precisione della risposta finale ma generano catene di pensiero (CoT) significativamente più lunghe rispetto ai loro corrispettivi a precisione intera (BF16). Questo aumento del conteggio dei token può compensare, o addirittura superare, l'accelerazione per-token ottenuta dalla quantizzazione, portando a una peggiore latenza end-to-end e ai costi di serving.

Metodologia

Gli autori hanno condotto una valutazione completa attraverso molteplici dimensioni:

• Modelli: Valutazione di modelli di ragionamento open-source che vanno da 4B a 30B di parametri, inclusi architetture sia dense (Qwen3-4B, Phi-4-14B) che Mixture-of-Experts (MoE) (Qwen3-30B).
• Benchmark: Copertura del ragionamento matematico (AIME25, GSM8K), generazione di codice (LiveCodeBench, MBPP), ragionamento scientifico (GPQA-Diamond), uso di strumenti agentici (BFCLv4) e comprensione del linguaggio generale (HellaSwag, MMLU-Pro, PIQA).
• Metodi di Quantizzazione: Focus sui metodi di PTQ weight-only, inclusi RTN (baseline), GPTQ, AWQ, HQQ e ParoQuant, applicati a larghezze di bit INT4 e INT3. BF16 è stato utilizzato come riferimento a precisione intera.
• Metriche:
  • Accuratezza: Correttezza della risposta finale.
  • CoT Token Inflation Ratio (CTIR): Una nuova metrica definita come l'aumento relativo del conteggio medio dei token di ragionamento tra un modello quantizzato e il suo riferimento BF16:
    $$\text{CTIR}(M_q; D) = \frac{\bar{\ell}(M_q; D) - \bar{\ell}(M_{org}; D)}{\bar{\ell}(M_{org}; D)} \times 100\%$$
  • Analisi Comportamentale: Misurazione dei passi intermedi e della ripetitività semantica (utilizzando embedding di frasi per rilevare passaggi di ragionamento quasi duplicati).
  • Efficienza di Serving: Misurazione del Time-to-First-Token (TTFT) e del throughput su vLLM con GPU H100.

Risultati Chiave

1. La Preservazione dell'Accuratezza Maschera la Perdita di Efficienza

• Performance INT4: Per molti modelli e benchmark, la quantizzazione INT4 preserva l'accuratezza della risposta finale (i cali sono spesso trascurabili o piccoli). Tuttavia, questa stabilità dell'accuratezza non si traduce in efficienza.
• Il Costo Nascosto: I modelli quantizzati generano frequentemente tracce CoT più lunghe. Ad esempio, sul benchmark BBH con Qwen3-4B, la quantizzazione INT4 ha aumentato il tempo totale di generazione da 285s (BF16) a 292s, nonostante l'accelerazione a livello di kernel dei kernel Marlin W4A16.
• Sensibilità INT3: Man mano che la precisione scende a INT3, la degradazione dell'accuratezza diventa più pronunciata nei compiti di ragionamento difficili, ma l'inflazione dei token avviene anche quando l'accuratezza viene preservata.

2. Quantificazione dell'Inflazione dei Token (CTIR)

• Inflazione Diffusa: La PTQ a basso bit aumenta costantemente l'uso dei token di ragionamento.
  • Qwen3-4B (INT3): Il CTIR ha raggiunto livelli estremi, ad esempio +276.1% per AWQ e +292.1% per HQQ.
  • Qwen3-30B (INT3): Sebbene più resiliente, il CTIR rimane sostanziale (ad esempio, +60.1% per HQQ).
• Varianza dei Metodi: I metodi basati sulla ricostruzione come GPTQ producono generalmente un CTIR inferiore rispetto ai metodi sensibili alle attivazioni (AWQ) o ai metodi senza calibrazione (HQQ), ma non eliminano del tutto l'effetto.

3. Cambiamenti Comportamentali

• Aumento dei Passi: I modelli quantizzati compiono più passi intermedi per raggiungere la stessa conclusione.
• Ripetizione Semantica: L'analisi delle tracce di ragionamento rivela un aumento dell'auto-dubbio, del backtracking e della ripetizione semantica (ad esempio, "lascia che verifichi", "ancora"). Queste ripetizioni non migliorano la correttezza ma gonfiano il conteggio dei token.
• Carichi di Lavoro Agentici: In scenari multi-turno di tool-use (BFCLv4), la quantizzazione ha aumentato i token CoT di circa il 13–23% senza cambiare significativamente il numero di chiamate agli strumenti, indicando che la penalità di latenza deriva dal ragionamento interno, non dalla frequenza di invocazione degli strumenti.

4. Impatto sul Serving

• Latenza: Anche aumenti modesti del CTIR (ad esempio, 1.1×) degradano significativamente la latenza percepita dall'utente. Un aumento del CTIR di 1.1× ha alzato il p90 TTFT del 33% (da 1050s a 1400s nella specifica configurazione di test).
• Throughput: Le tracce più lunghe occupano slot di decodifica e memoria del KV-cache per periodi più luneli, riducendo la capacità di serving effettiva sotto continuous batching.

Strategie di Mitigazione Valutate

Il documento valuta tre approcci per ridurre l'inflazione dei token:

1. Controlli al Tempo di Inferenza (Decoding/Prompting):

   • Repetition Penalty: Riduce il conteggio dei token ma spesso a un costo significativo per l'accuratezza.
   • Conciseness Prompting: Prompt come "non pensare" o "non ripresentare" riducono i token ma causano cali di accuratezza inconsistenti e spesso severi (ad esempio, cali di 5–11 punti).
   • Verdetto: Sono euristiche instabili che scambiano l'accuratezza con la brevità.

2. Ottimizzazione dei Dati di Calibrazione:

   • L'uso di corpora specifici per il ragionamento (Math-CoT, Code-CoT) per la calibrazione PTQ migliora significativamente sia l'accuratezza che riduce la lunghezza dei token rispetto al testo generico (Wikitext, C4).
   • Verdetto: Efficace e a basso costo, ma comunque inferiore a QAT.

3. Quantization-Aware Training (QAT):

   • L'uso di QAT (specificamente DiscQuant) consente al modello di adattare i pesi ai vincoli a basso bit durante l'addestramento.
   • Verdetto: La QAT ottiene un miglioramento Pareto, riducendo simultaneamente l'inflazione dei token e migliorando l'accuratezza rispetto a tutte le configurazioni PTQ. Allinea la traiettoria di ragionamento del modello quantizzato con quella del target a precisione intera.

Significato e Rivendicazioni

L'articolo sostiene che l'uso dei token di ragionamento debba essere riportato insieme all'accuratezza quando si valutano i modelli di ragionamento quantizzati.

• Gap di Valutazione: Gli studi di quantizzazione standard che riportano solo l'accuratezza e la latenza per-token sono incompleti per i modelli di ragionamento. Essi ignorano il "costo nascosto della computazione al tempo di test" dove i modelli ragionano più a lungo per compensare il rumore di quantizzazione.
• Realtà del Deployment: Per i modelli di ragionamento, la latenza end-to-end è una funzione sia della velocità per-token che del conteggio totale dei token. La quantizzazione può involontariamente aumentare questo secondo valore, annullando il primo.
• Raccomandazione: Gli autori suggeriscono che, sebbene la PTX sia pratica, richiede un monitoraggio attento della lunghezza del CoT. Per un deployment ottimale dei modelli di ragionamento, la Quantization-Aware Training (QAT) è presentata come la direzione più promettente per mitigare sia la degradazione dell'accuratezza che l'inflazione dei token.