Technische Samenvatting: TileQ - Efficiënte Low-Rank Quantisatie van Mixture-of-Experts met 2D-Teiling

1. Probleemstelling

Mixture-of-Experts (MoE)-modellen zijn een dominant paradigma geworden voor het schalen van Large Language Models (LLM's) door gespecialiseerde "expert"-subnetwerken op een schaarse manier te activeren. Hoewel deze architectuur de rekentijd tijdens inferentie verlaagt, introduceert het een kritiek geheugenflesnek: de volledige set expertparameters moet in het geheugen aanwezig blijven, ook al is slechts een klein subset per token actief. Deze grote geheugenvoetafdruk beperkt de implementatie op hardware met beperkte resources aanzienlijk en verhoogt de kosten voor inferentie in de cloud.

Bestaande Post-Training Quantisatie (PTQ)-methodes, met name low-rank benaderingen, bieden een weg naar compressie. Echter, huidige state-of-the-art methodes ondervinden drie significante beperkingen bij toepassing op MoE-modellen:

1. Afname van Nauwkeurigheid: Eenvoudige quantisatieschema's lijden onder ernstige prestatieverliezen bij extreem lage bit-breedtes (bijvoorbeeld 2-bit).
2. Geheugenoverhead: Traditionele low-rank PTQ's leiden vaak tot niet-verwaarloosbare extra geheugenoverhead door het opslaan van low-rank factoren voor elke expert onafhankelijk, of door het gebruik van 1D-deelstrategieën die de expertredundantie niet volledig benutten.
3. Inferentielatentie: Hoog-nauwkeurige quantisatiemethodes introduceren vaak aanzienlijke latentie. Bij MoE-modellen, waar experts klein en schaars zijn, kan de overhead van het beheren van disjuncte low-rank matrices voor elke expert de inferentiesnelheid met meer dan 50% vertragen, waardoor de voordelen van schaarsheid teniet worden gedaan.

Bovendien leiden methodes op basis van fine-tuning (zoals LoRA) tot een verslechtering van de modelgeneralisatie en zijn ze ongeschikt voor snelle taakanpassing zonder opnieuw te trainen. Het doel is om hoge nauwkeurigheid en compressieverhoudingen te bereiken met minimale inferentielatentie, zonder fine-tuning.

2. Methodologie: TILEQ

De auteurs stellen TILEQ voor, een fine-tuning-vrije PTQ-methode die 2D-gestructureerde low-rank quantisatie toepast. De kerninnovatie ligt in het delen van low-rank factoren over zowel de invoer- als uitvoerdimensies van MoE-experts, in plaats van experts onafhankelijk te behandelen of alleen te delen langs één dimensie.

2.1. 2D-Teiling Gestructureerde Low-Rank Quantisatie

De methode benadert de gewichtsmatrix $W_k$ van elke expert $k$ door alle $K$ experts in een 2D-teilingindeling te rangschikken. Dit maakt het delen van low-rank factoren $U$ en $V$ over het rooster mogelijk.

Het proces omvat vijf belangrijke stappen:

1. Schalen: Een diagonale schalingsmatrix wordt toegepast op de gewichtsmatrix van elke expert op basis van kalibratiegegevens om singuliere vectoren uit te lijnen met invoer-/uitvoer-functieruimtes.
2. Extraheren: Benaderde rang-$r_0$ SVD-factoren ($U_k, V_k$) worden geëxtraheerd voor elke geschaalde expert. Deze worden vectoriseerd en genormaliseerd om feature-embeddings te creëren.
3. Clustering: Een biclustering-algoritme (K-Means) wordt toegepast op de genormaliseerde embeddings om elke expert toe te wijzen aan een ideale roostercoördinaat $(m, n)$ in een $M \times N$ teilingrooster. Dit groepeert experts met vergelijkbare singuliere subruimtes.
4. 2D-Teiling Plaatsing: Om conflicten op te lossen waarbij meerdere experts naar dezelfde teiling verwijzen, wordt een greedige ruimtelijke allocatiestrategie gebruikt. Dit minimaliseert de afstand tussen de ideale clusterpositie van een expert en zijn werkelijke fysieke teilingpositie. De experts worden vervolgens geplaatst in een grote blokmatrix $W_{big}$.
5. Quantisatie: De grote geteilde matrix $W_{big}$ ondergaat een globale low-rank decompositie (benaderd via Gaussian Sketching om kostbare SVD te vermijden). De resulterende gedeelde low-rank factoren ($U, V, \Sigma$) worden opgeslagen, en de residufout voor elke expert wordt gekwantiseerd met Hessian-bewuste methodes (GPTQ/GPTVQ) en rotatietechnieken (LOPRO).

Belangrijk Technisch Inzicht: Door experts te structureren in een 2D-rooster, stelt TILEQ experts in dezelfde rij in staat om een linkerbasis (uitvoerruimte) te delen, en experts in dezelfde kolom om een rechterbasis (invoerruimte) te delen. Dit vermindert de opslagoverhead aanzienlijk in vergelijking met 1D-deling of element-voor-element methodes.

2.2. Efficiënte Gefuseerde Schaarse Low-Rank Inferentie

Om het latentieflesnek aan te pakken, introduceert TILEQ LoTileMoE, een inferentiealgoritme dat meerdere low-rank expertberekeningen fuseert tot een single-pass operatie.

• Mechanisme: In plaats van onregelmatige, per-token schaarse dispatch voor elke expert uit te voeren, projecteert het algoritme de volledige invoerbatch eenmaal op de gedeelde linkerfactor $(U\Sigma)$. Vervolgens wordt deze projectie herschikt tot een 3D-tensor, worden routing-gewichten toegepast om actieve teilingen te selecteren, en wordt een enkele gebatchte matrixvermenigvuldiging uitgevoerd met de gedeelde rechterfactor $V$.
• Optimalisatie: De methode vermijdt het expliciet construeren van grote intermediaire 3D-tensors door een in-place accumulatiebuffer te gebruiken. Dit vervangt onregelmatige geheugentoegang door regelmatige, dichte tensoroperaties (GEMM's) die sterk geoptimaliseerd zijn op moderne hardware (GPU's/TPU's).
• Complexiteit: De benadering reduceert de complexiteit van het afhandelen van $K$ aparte kleine GEMM's naar twee grote, goed gevormde GEMM's, wat de hardwarebenutting aanzienlijk verbetert en de overhead van kernelstarts verlaagt.

3. Belangrijkste Bijdragen

1. 2D-Teiling Low-Rank PTQ: Een nieuwe, fine-tuning-vrije quantisatiemethode die expertgelijkenis benut via 2D-teiling om efficiënte gedeelde representaties over zowel invoer- als uitvoerdimensies mogelijk te maken, waardoor hogere compressieverhoudingen worden bereikt dan met 1D-deling of onafhankelijke methodes.
2. Gefuseerd Inferentiealgoritme: Een geoptimaliseerde inferentietechniek (LoTileMoE) die low-rank expertberekeningen fuseert tot een single-pass operatie, waardoor de latentieoverhead die gepaard gaat met schaarse expertdispatch in MoE-modellen wordt geëlimineerd.
3. Prestatie-efficiëntie: De methode bereikt state-of-the-art quantisatienauwkeurigheid terwijl het extra geheugengebruik voor low-rank factoren met tot 10$\times$ wordt verlaagd en de inferentielatentie tot ongeveer 5% van de baseline-overhead wordt teruggebracht, zonder dat fine-tuning vereist is.

4. Experimentele Resultaten

De auteurs hebben TILEQ geëvalueerd op verschillende representatieve MoE-modellen, waaronder Qwen1.5-MoE-A2.7B, Qwen3-30B-A3B, Qwen3-Next-80B-A3B, Mixtral-8$\times$7B en Deepseek-MoE-16B.

• Nauwkeurigheid: TILEQ demonstreert robuustheid onder extreme low-bit instellingen (2-bit en 3-bit).
  • Op Mixtral-8$\times$7B bij 2-bit bereikt TILEQ een perplexiteit van 4,78, wat aanzienlijk beter is dan GPTQ (15,3) en GPTVQ (5,28).
  • Bij 3-bit nadert TILEQ de FP16-prestaties (bijvoorbeeld perplexiteit 4,10 versus 3,87 voor FP16 op Mixtral) en bereikt het MMLU-scores die vergelijkbaar zijn met niet-gekwantiseerde modellen.
  • Het presteert consequent beter dan baselines zoals GPTQ, GPTVQ, MOEQUANT en LOPRO op diverse downstream-taken (ARC, PIQA, Winogrande, MMLU, HellaSwag).
• Geheugenefficiëntie: TILEQ verlaagt de extra geheugenoverhead die vereist is voor low-rank factoren met tot 90% (10$\times$ reductie) in vergelijking met per-expert methodes. Bijvoorbeeld, op Qwen3-30B-A3B bereikt het een 8$\times$ reductie in geheugenoverhead in vergelijking met per-expert low-rank quantisatie.
• Inferentielatentie:
  • Prefill: TILEQ verlaagt de latentie tot minder dan 5% door onregelmatige schaarse dispatch te vervangen door gestructureerde GEMM's.
  • Decode: Ondanks dat het geheugenbeperkt is, behoudt TILEQ een lage latentie (ongeveer 5-10% overhead) door gebruik te maken van aaneengesloten gewichtsindelingen en vectoriseerde toegang, terwijl element-voor-element en 1D-gedeelde methodes last hebben van een latentietoename van 15-75%.
• Ablatiestudies: Experimenten bevestigen dat het 2D-teilingmechanisme de primaire drijver van prestaties is, aangezien het verwijderen ervan de bit-breedte-eisen met 8$\times$ verhoogt terwijl vergelijkbare nauwkeurigheid wordt behouden. De methode is schaalbaar over modellen met variërende schaarsheid en expertgroottes.

5. Betekenis en Claims

Het artikel beweert dat TILEQ een schaalbare en hardwarevriendelijke oplossing biedt voor het implementeren van MoE-modellen onder strikte geheugen- en rekentijdbeperkingen. Door experts gezamenlijk te structureren in een 2D-teilingindeling en inferentie-operaties te fuseren, overwint TILEQ de trade-offs tussen nauwkeurigheid, compressie en latentie die bestaande low-rank PTQ-methodes plagen.

De auteurs benadrukken dat TILEQ dient als een lichtgewicht, algemeen toepasbare extensie op bestaande PTQ-frameworks (zoals GPTQ), waardoor de implementatie van volgende generatie schaarse MoE-modellen mogelijk wordt zonder de noodzaak van computergewijs kostbare fine-tuning of hertraining. De methode is bijzonder significant voor scenario's die ultra-low-bit quantisatie (2-3 bits) vereisen, waarbij traditionele methodes falen om fideliteit te behouden.