A 35B Hybrid-Attention Mixture-of-Experts Model on a 6GB 2011 GPU: Hand-Written 4-bit CUDA Inference for Fermi

Technische Samenvatting: Handgeschreven 4-bit CUDA Inferentie voor Fermi (sm_20)

Probleemstelling
Het artikel behandelt de uitdaging om een hedendaags, grensverleggend Large Language Model (LLM) te draaien op hardware die de komst van moderne inferentie-acceleratoren voorafging. Specifiek proberen de auteurs Qwen3.6-35B-A3B uit te voeren, een 35 miljard parameters tellend Mixture-of-Experts (MoE) model met een hybride gated-delta-net (GDN) en full-attention ruggengraat, op een NVIDIA Tesla C2075. Deze in 2011 uitgebrachte Fermi-generatie GPU (sm_20) beschikt slechts over 6 GB GDDR5-geheugen, heeft geen Tensor Cores, ondersteunt geen native FP16-rekenkunde en mist de DP4A integer dot-product instructie. Cruciaal is dat het 4-bit gekwantiseerde model ongeveer 10,5 GB geheugen vereist, wat het capaciteit van het apparaat met bijna een factor twee overschrijdt. Bovendien bevat de hybride architectuur van het model een recurrente staat (GDN) die standaard prefix-caching strategieën bemoeilijkt, en de host CPU (Intel Xeon X5690) beschikt niet over AVX-instructies, waardoor SIMD-mogelijkheden beperkt zijn tot SSSE3.

Methodologie
Om deze beperkingen te overwinnen, hebben de auteurs een inferentie-engine vanaf de basis gebouwd, waarbij ze standaard toolchains en kant-en-klare kernels vermeden. De kernstrategie is een hybride executiemodel dat de workload verdeelt tussen de GPU en de host CPU op basis van de specifieke bottlenecks van elke fase:

1. Hybride GPU-Prefill / CPU-Decode:

   • Prefill (GPU): De GPU handelt de gebatchte verwerking van de input-prompt af. Omdat de 10,5 GB grote model niet in 6 GB VRAM past, worden de expert-gewichten laag voor laag van het host RAM naar de GPU gestreamd. De GPU voert de GDN-recurrence, softmax attention en een gegroepeerde 4-bit GEMM uit voor de MoE-routing.
   • Decode (CPU): De CPU handelt de single-token generatie af. Het streamen van gewichten over PCIe 2.0 voor een enkele token is latentie-prohibitief; daarom leest de CPU 4-bit gewichten rechtstreeks uit het RAM. De auteurs hebben een handgeschreven W4A8 (4-bit gewichten, 8-bit activaties) integer kernel geïmplementeerd met behulp van de SSSE3 pmaddubsw instructie om integer multiply-adds uit te voeren, waarmee het gebrek aan AVX wordt omzeild.

2. Geheugen en Kwantisatie:

   • Kwantisatie: Het model gebruikt groepswijze symmetrische 4-bit kwantisatie (Q4_0 familie) voor gewichten, gecombineerd met 8-bit activaties voor het decode-pad.
   • Expert Pruning: Om de residentiële footprint te verkleinen, wordt REAP (Router-weighted Expert Activation Pruning) toegepast, waarbij 50% van de experts wordt verwijderd (van 256 naar 128 per laag) zonder significant verlies in nauwkeurigheid.
   • Geheugenbeheer: Experts worden opgeslagen in page-locked, NUMA-interleaved hostgeheugen om de bandbreedte te maximaliseren en de PCIe-transferkosten te minimaliseren.

3. Prefix Caching voor Recurrente Architecturen:

   • Standaard KV-caches kunnen niet worden hergebruikt voor GDN-lagen omdat de recurrente staat alleen geldig is aan het einde van een sequentie. De auteurs hebben een position-indexed snapshot cache geïmplementeerd, die de volledere recurrente staat bij blokgrenzen vastlegt (checkpointing). Dit stelt nieuwe verzoeken in staat om te hervatten vanaf de dichtstbijzijnde geldige snapshot als ze een gedeelde prefix hebben, in plaats van de volledige sequentie opnieuw te berekenen.

4. Optimalisaties:

   • Expert Pinning: Het verplaatsen van experts naar page-locked geheugen verminderde de transfertijd aanzienlijk.
   • Single-Pass Prefill: Het verwerken van de volledige prompt in één pass (in plaats van chunking) elimineerde redundante expert re-streaming en maximaliseerde de GEMM batch size.
   • NUMA Interleaving: Het spreiden van geheugenallocatie over beide CPU-sockets verbeterde de decode-throughput licht.

Belangrijkste Bijdragen

1. Hybride Executie-engine: Een werkend systeem voor sm_20 dat de prefill naar de GPU offloadt (het streamen van experts) en de decode naar de CPU (integer SIMD), gedicteerd door geheugencapaciteit en de afwezigheid van snelle integer dot-producten op de GPU.
2. Integer-SIMD Decode Pad: Een custom W4A8 kernel die gebruik maakt van pmaddubsw, die decode-snelheden op een niet-AVX CPU bereikt die vergelijkbaar zijn met moderne geoptimaliseerde bibliotheken, wat de throughput met drie verdrievoudigt ten opzichte van een scalaire baseline.
3. Recurrent Prefix Cache: Een nieuw caching-mechanisme voor gated-delta-net architecturen dat prefix-hergebruik mogelijk maakt via state snapshots, waardoor de prefill-latentie van 78s naar 0,5s daalt.
4. Empirische Hardwarevloer: Een gedetailleerde meetstudie die de structurele limieten van Fermi-hardware identificeert, inclusief negatieve resultaten die de praktische bovengrens van het platform definiëren.
5. Multimodale Ondersteuning: Een vision tower die vanaf nul is geport naar sm_20 en succesvol visuele inputs onderscheidt, wat de capaciteit van de engine verder toont dan alleen tekst.

Resultaten

• Latentie Reductie: Door expert pinning, single-pass prefill en NUMA interleaving werd de prefill-latentie voor een 947-token prompt verminderd met 34% (van 57,2s naar 37,5s).
• Throughput Verbetering: De integer-SIMD decode kernel verhoogde de decode-throughput van 2,8 naar 8,6 tokens/seconde (ongeveer een 3× verbetering).
• Prefix Hergebruik: Herhaalde prompts die gebruik maakten van de snapshot cache zagen de prefill-tijd dalen van 78,4s naar 0,5s.
• Negatieve Resultaten (Hardware Limieten):
  • Het offloaden van de taalmodel head naar de GPU was trager (116ms → 139ms/token) vanwege de PCIe 2.0 latentie.
  • Hyper-threading (gebruik van 24 logische cores versus 12 fysieke cores) was catastrofaal en verhoogde de latentie naar 1.722ms/token door resource-contention.
  • Verdere kernel herschrijvingen (het splitsen van de GDN recurrence, het verplaatsen van de state naar shared memory) boden geen voordeel of waren zelfs iets trager, wat aangeeft dat de bottlenecks structureel zijn (thin-M GEMM en sequentiële recurrence) in plaats van instelbaar.

Betekenis en Claims
De auteurs geven expliciet aan dat dit werk geen snelheidsrecord is noch een claim voor een nieuw algoritme. In plaats daarvan ligt de betekenis in:

• Engineering Rigor: Het demonstreren van wat nodig is om een 2026-klasse MoE model te draaien op 14 jaar oude silicium door de volledige engine met de hand te schrijven voor een niet-ondersteunde compute capability.
• Constraint-Driven Design: Laten zien hoe specifieke hardwarebeperkingen (gebrek aan tensor cores, kleine VRAM, geen AVX) specifieke architecturale beslissingen afdwingen (hybride CPU/GPU split, integer SIMD, snapshot caching).
• Reality Check: Het bieden van een "eerlijke hardwarevloer" door te documenteren wat faalt (offloading, hyper-threading, kernel herschrijvingen), waardoor de praktische grenzen van de Fermi-architectuur worden gedefieerd.
• Legacy Viability: Concluderen dat een verrassende hoeveelheid hedendaagse capaciteit bereikbaar is op hardware die door het software-ecosysteem is verlaten, mits men bereid is gemak in te ruilen voor handmatige, low-level optimalisatie.