Riepilogo Tecnico: TileQ - Quantizzazione a Basso Rango Efficiente di Mixture-of-Experts con Tiling 2D

1. Enunciato del Problema

I modelli Mixture-of-Experts (MoE) sono diventati un paradigma dominante per scalare i Large Language Models (LLM) attivando in modo sparso sottoreti specializzate chiamate "esperti". Sebbene questa architettura riduca i costi computazionali durante l'inferenza, introduce un collo di bottiglia critico nella memoria: l'intero set di parametri degli esperti deve rimanere residente in memoria, anche se solo un piccolo sottoinsieme è attivo per token. Questo ampio footprint di memoria limita severamente il deployment su hardware con risorse limitate e aumenta i costi di inferenza nel cloud.

I metodi esistenti di Post-Training Quantization (PTQ), in particolare gli approcci a basso rango, offrono una via per la compressione. Tuttavia, i metodi attuali all'avanguardia presentano tre limitazioni significative quando applicati ai modelli MoE:

1. Degradazione dell'Accuratezza: Schemi di quantizzazione semplici subiscono drastici cali di prestazioni a larghezze di bit estremamente basse (ad esempio, 2 bit).
2. Sovraccarico di Memoria: I PTQ a basso rango tradizionali spesso comportano un sovraccarico di memoria aggiuntivo non trascurabile a causa dello stoccaggio dei fattori a basso rango per ogni esperto in modo indipendente o dell'uso di strategie di condivisione 1D che non sfruttano appieno la ridondanza degli esperti.
3. Latenza di Inferenza: I metodi di quantizzazione ad alta accuratezza introducono spesso una latenza significativa. Nei modelli MoE, dove gli esperti sono piccoli e sparsi, l'overhead di gestione di matrici a basso rango disgiunte per ogni esperto può degradare la velocità di inferenza di oltre il 50%, annullando i benefici della sparsità.

Inoltre, i metodi basati sul fine-tuning (come LoRA) degradano la generalizzazione del modello e non sono adatti per un adattamento rapido ai task senza retraining. L'obiettivo è raggiungere alta accuratezza e rapporti di compressione con latenza di inferenza minima senza fine-tuning.

2. Metodologia: TILEQ

Gli autori propongono TILEQ, un metodo PTQ senza fine-tuning che impiega una quantizzazione strutturata a basso rango con tiling 2D. L'innovazione principale risiede nella condivisione dei fattori a basso rango attraverso entrambe le dimensioni di input e output degli esperti MoE, invece di trattare gli esperti in modo indipendente o condivide solo lungo una singola dimensione.

2.1. Quantizzazione Strutturata a Basso Rango con Tiling 2D

Il metodo approssima la matrice dei pesi $W_k$ di ogni esperto $k$ disponendo tutti gli $K$ esperti in un layout a tassellazione 2D. Questo permette la condivisione dei fattori a basso rango $U$ e $V$ attraverso la griglia.

Il processo coinvolge cinque passaggi chiave:

1. Scalatura: Una matrice di scalatura diagonale viene applicata alla matrice dei pesi di ogni esperto basandosi su dati di calibrazione per allineare i vettori singolari agli spazi delle feature di input/output.
2. Estrazione: Vengono estratti i fattori SVD di rango approssimato $r_0$ ($U_k, V_k$) per ogni esperto scalato. Questi vengono vettorializzati e normalizzati per creare embedding di feature.
3. Clustering: Un algoritmo di biclustering (K-Means) viene applicato agli embedding normalizzati per assegnare ogni esperto a una coordinata ideale della griglia $(m, n)$ in una griglia di tasselli $M \times N$. Questo raggruppa esperti con sottospazi singolari simili.
4. Posizionamento con Tiling 2D: Per risolvere conflitti in cui più esperti mappano allo stesso tassello, viene utilizzata una strategia di allocazione spaziale greedy. Questo minimizza la distanza tra la posizione ideale del cluster di un esperto e la sua posizione fisica effettiva nel tassello. Gli esperti vengono poi inseriti in una grande matrice a blocchi $W_{big}$.
5. Quantizzazione: La grande matrice tassellata $W_{big}$ subisce una decomposizione a basso rango globale (approssimata tramite Gaussian Sketching per evitare SVD costosi). I fattori a basso rango condivisi risultanti ($U, V, \Sigma$) vengono memorizzati, e l'errore residuo per ogni esperto viene quantizzato utilizzando metodi consapevoli dell'Hessiano (GPTQ/GPTVQ) e tecniche di rotazione (LOPRO).

Insight Tecnico Chiave: Strutturando gli esperti in una griglia 2D, TILEQ permette agli esperti nella stessa riga di condividere una base sinistra (spazio di output) e agli esperti nella stessa colonna di condividere una base destra (spazio di input). Questo riduce significativamente l'overhead di memorizzazione rispetto ai metodi di condivisione 1D o element-wise.

2.2. Inferenza Efficiente Fusa a Basso Rango Sparso

Per affrontare il collo di bottiglia della latenza, TILEQ introduce LoTileMoE, un algoritmo di inferenza che fonde molteplici calcoli di esperti a basso rango in un'operazione a passaggio singolo.

• Meccanismo: Invece di eseguire un dispatch sparso irregolare, per token e per esperto, l'algoritmo proietta l'intero batch di input sul fattore sinistro condiviso $(U\Sigma)$ una sola volta. Quindi, ridimensiona questa proiezione in un tensore 3D, applica pesi di routing per selezionare i tasselli attivi ed esegue una singola moltiplicazione di matrice in batch con il fattore destro condiviso $V$.
• Ottimizzazione: Il metodo evita la costruzione esplicita di grandi tensori intermedi 3D utilizzando un buffer di accumulo in-place. Questo sostituisce accessi irregolari alla memoria con operazioni tensoriali regolari e dense (GEMM) altamente ottimizzate sull'hardware moderno (GPU/TPU).
• Complessità: L'approccio riduce la complessità dalla gestione di $K$ piccoli GEMM separati a due grandi GEMM ben strutturati, migliorando significativamente l'utilizzo dell'hardware e riducendo l'overhead di avvio dei kernel.

3. Contributi Chiave

1. PTQ a Basso Rango con Tiling 2D: Un metodo di quantizzazione innovativo e senza fine-tuning che sfrutta la similarità degli esperti tramite tiling 2D per abilitare rappresentazioni condivise efficienti attraverso entrambe le dimensioni di input e output, raggiungendo rapporti di compressione superiori rispetto ai metodi di condivisione 1D o indipendenti.
2. Algoritmo di Inferenza Fuso: Una tecnica di inferenza ottimizzata (LoTileMoE) che fonde i calcoli degli esperti a basso rango in un'operazione a passaggio singolo, eliminando l'overhead di latenza associato al dispatch sparso degli esperti nei modelli MoE.
3. Efficienza delle Prestazioni: Il metodo raggiunge un'accuratezza di quantizzazione all'avanguardia riducendo l'uso di memoria aggiuntiva per i fattori a basso rango fino a 10$\times$ e la latenza di inferenza a circa il 5% dell'overhead di base, senza richiedere fine-tuning.

4. Risultati Sperimentali

Gli autori hanno valutato TILEQ su diversi modelli MoE rappresentativi, inclusi Qwen1.5-MoE-A2.7B, Qwen3-30B-A3B, Qwen3-Next-80B-A3B, Mixtral-8$\times$7B e Deepseek-MoE-16B.

• Accuratezza: TILEQ dimostra robustezza in impostazioni a bit estremamente bassi (2 bit e 3 bit).
  • Su Mixtral-8$\times$7B a 2 bit, TILEQ raggiunge una perplessità di 4.78, superando significativamente GPTQ (15.3) e GPTVQ (5.28).
  • A 3 bit, TILEQ si avvicina alle prestazioni FP16 (ad esempio, perplessità 4.10 contro 3.87 per FP16 su Mixtral) e raggiunge punteggi MMLU comparabili ai modelli non quantizzati.
  • Supera costantemente le linee di base come GPTQ, GPTVQ, MOEQUANT e LOPRO su vari task downstream (ARC, PIQA, Winogrande, MMLU, HellaSwag).
• Efficienza di Memoria: TILEQ riduce il sovraccarico di memoria aggiuntivo richiesto per i fattori a basso rango fino al 90% (riduzione di 10$\times$) rispetto ai metodi per-esperto. Ad esempio, su Qwen3-30B-A3B, ottiene una riduzione di 8$\times$ nel sovraccarico di memoria rispetto alla quantizzazione a basso rango per-esperto.
• Latenza di Inferenza:
  • Prefill: TILEQ riduce la latenza a meno del 5% sostituendo il dispatch sparso irregolare con GEMM strutturati.
  • Decode: Sebbene sia limitato dalla memoria, TILEQ mantiene una latenza bassa (circa 5-10% di overhead) sfruttando layout di pesi contigui e accesso vettorializzato, mentre i metodi element-wise e condivisi 1D soffrono di aumenti di latenza del 15-75%.
• Studi di Ablazione: Gli esperimenti confermano che il meccanismo di tiling 2D è il principale motore delle prestazioni, poiché la sua rimozione aumenta i requisiti di larghezza di bit di 8$\times$ mantenendo un'accuratezza simile. Il metodo è scalabile su modelli con diversa sparsità e dimensioni degli esperti.

5. Significato e Affermazioni

Il documento afferma che TILEQ fornisce una soluzione scalabile e amichevole per l'hardware per il deployment di modelli MoE sotto vincoli rigorosi di memoria e computazione. Strutturando congiuntamente gli esperti in un layout di tiling 2D e fondendo le operazioni di inferenza, TILEQ supera i compromessi tra accuratezza, compressione e latenza che affliggono i metodi PTQ a basso rango esistenti.

Gli autori sottolineano che TILEQ funge da estensione leggera e generica ai framework PTQ esistenti (come GPTQ), abilitando il deployment di modelli MoE sparsi di prossima generazione senza la necessità di fine-tuning o retraining computazionalmente costosi. Il metodo è particolarmente significativo per scenari che richiedono quantizzazione ultra-bassa (2-3 bit) dove i metodi tradizionali falliscono nel mantenere la fedeltà.