A 35B Hybrid-Attention Mixture-of-Experts Model on a 6GB 2011 GPU: Hand-Written 4-bit CUDA Inference for Fermi

Questo articolo dimostra l'inferenza end-to-end di un modello Qwen3.6 MoE da 35 miliardi di parametri su una GPU Fermi da 6GB del 2011, implementando una strategia di esecuzione ibrida che trasmette i pesi per il prefill della GPU e utilizza un kernel intero SSSE3 scritto a mano per il decoding della CPU, documentando sia i guadagni di prestazioni che i limiti pratici dell'esecuzione di IA di classe frontier su silicio legacy.

L'essenziale

Immagina di avere una biblioteca enorme e incredibilmente intelligente contenente 35 miliardi di libri (un modello di IA moderno). Ora, immagina di voler leggere una storia specifica da questa biblioteca, ma sei bloccato in un minuscolo capanno di 14 anni fa con solo una piccola scrivania e un computer vecchio e lento.

Questo è esattamente ciò che descrive questo articolo. I ricercatori sono riusciti a far girare un modello di IA all'avanguardia su una scheda grafica (GPU) del 2011 che ha solo 6 GB di memoria — circa la metà della dimensione del modello stesso.

Ecco come hanno compiuto questa impresa "impossibile", spiegata attraverso semplici analogie:

1. Il Problema: La Biblioteca è troppo grande per il Capanno

Il modello di IA è come un'enciclopedia gigante. Anche quando viene rimpicciolito (compresso a precisione a 4 bit), occupa circa 10,5 GB di spazio. Il vecchio computer ha solo una scrivania da 6 GB.

• Il Problema: Non puoi far stare l'intero libro sulla scrivania.
• Il Vecchio Metodo: I computer moderni hanno i "Tensor Core" (calcolatori specializzati) e una memoria veloce per gestire questo. La scheda del 2011 non ha nulla di tutto ciò. È come cercare di fare matematica avanzata con una calcolatrice che ha solo i tasti per l'addizione e la sottrazione.

2. La Soluzione: Una Staffetta a Due Squadre

Poiché l'intero modello non ci sta, i ricercatori hanno diviso il lavoro in due squadre: una Squadra GPU (la vecchia scheda grafica) e una Squadra CPU (il processore principale del computer).

• Fase 1: Il "Prefill" (Leggere il Prompt)

  • L'Analogia: Immagina di dover leggere una lunga lista di istruzioni (il prompt) per iniziare.
  • Il Trucco: La GPU agisce come un nastro trasportatore veloce. Prende una piccola sezione dei "libri" (i pesi del modello) dall'hard drive del computer principale, la mette sulla sua piccola scrivania, esegue i calcoli per quel pezzo e poi la sostituisce con il pezzo successivo.
  • Il Risultato: Invece di leggere l'intero libro in una volta, lo legge pagina per pagina in un flusso continuo. Questo ha permesso loro di elaborare le istruzioni iniziali il 34% più velocemente rispetto a prima.

• Fase 2: Il "Decode" (Scrivere la Storia)

  • L'Analogia: Ora l'IA deve scrivere la storia una parola alla volta.
  • Il Problema: Se la GPU cercasse di farlo, dovrebbe correre avanti e indietro verso l'hard drive per ogni singola parola. È come un corridore che scatta verso la biblioteca, prende un libro, torna indietro, scrive una parola e ripete l'operazione. È troppo lento.
  • Il Trucco: Hanno spostato questa parte al cervello del computer principale (la CPU). Hanno scritto un codice personalizzato, super efficiente e "scritto a mano", che tratta i numeri come semplici interi invece di decimali complessi.
  • Il Risultato: Questo ha reso l'IA capace di scrivere parole 3 volte più velocemente rispetto a prima, trasformando un passo lento in una corsa costante.

3. Le Scorciatoie "Magiche"

I ricercatori non si sono limitati a dividere il lavoro; hanno inventato scorciatoie intelligenti per far sembrare l'hardware vecchio come nuovo.

• La Cache "Snapshot":

  • Il Problema: L'IA ha una "memoria" che cambia mentre legge. Di solito, non puoi riutilizzare il lavoro precedente perché lo stato della memoria è diverso.
  • La Soluzione: Hanno scattato delle "istantanee" (snapshot) della memoria dell'IA in checkpoint specifici. Se chiedi all'IA di ripetere una storia che ha già sentito, non rilegge tutto il testo. Salta direttamente all'ultima istantanea salvata.
  • Il Risultato: Ripetere un prompt lungo è passato da 78 secondi a soli 0,5 secondi. È come saltare alla fine di un film che hai già visto invece di guardarlo di nuovo.

• La Memoria "Pinned" (Bloccata):

  • L'Analogia: Normalmente, spostare dati dall'hard drive alla GPU è come spostare scatole con un carrello elevatore traballante.
  • La Soluzione: Hanno "bloccato" le scatole in posizione (memoria pinned) in modo che il carrello potesse muoverle fluidamente senza oscillazioni. Questo ha dimezzato il tempo speso nel movimento dei dati.

4. Cosa non ha funzionato (I "Vicoli Ciechi")

Parte dell'articolo riguarda ciò che è fallito, il che è altrettanto importante. Ci dice dove si trova il limite.

• Tentare di usare la GPU per scrivere: Hanno provato a far scrivere le parole alla GPU, ma la vecchia scheda era troppo lenta nel spostare i dati avanti e indietro. Era in realtà più lenta della CPU.
• Usare tutti i thread del computer: Hanno provato a usare ogni singolo thread di elaborazione disponibile (come assumere 24 lavoratori invece di 12). Ciò ha causato un ingorgo, rallentando massicciamente le prestazioni.
• Riscrivere la matematica: Hanno provato a riscrivere i kernel matematici in tre modi diversi, ma l'hardware vecchio non era in grado di gestire il tipo specifico di matematica richiesto.

Il Punto Fondamentale

Questo articolo non riguarda l'impostazione di un nuovo record di velocità. È una prova di concetto che afferma: "Non serve un supercomputer da 20.000 dollari per far girare un'IA da 35 miliardi di parametri."

Trattando l'hardware vecchio come un puzzle e costruendo un motore personalizzato da zero (scrivendo codice a mano per un'architettura informatica abbandonata dai programmatori 14 anni fa), hanno dimostrato che l'IA moderna può girare su hardware "di scarto" se si è abbastanza intelligenti con l'ingegneria.

In breve: Hanno preso il motore di una Ferrari (il modello di IA) e lo hanno fatto funzionare sul telaio di una bicicletta degli anni '90 (la GPU del 2011) costruendo un cambio personalizzato e cambiando il tipo di carburante, dimostrando che con abbastanza ingegno, si può arrivare sorprendentemente lontano con la vecchia tecnologia.

Sommario tecnico

Riepilogo Tecnico: Inferenza CUDA a 4 bit scritta a mano per Fermi (sm_20)

Problema
Il documento affronta la sfida di eseguire un modello di linguaggio di grandi dimensioni (LLM) contemporaneo e di classe "frontier" su un hardware che precede gli acceleratori di inferenza moderni. Nello specifico, gli autori tentano di eseguire Qwen3.6-35B-A3B, un modello Mixture-of-Experts (MoE) da 35 miliardi di parametri con un backbone ibrido gated-delta-net (GDN) e full-attention, su una NVIDIA Tesla C2075. Rilasciata nel 2011, questa GPU di generazione Fermi (sm_20) possiede solo 6 GB di memoria GDDR5, non dispone di Tensor Core, manca di aritmetica FP16 nativa e non possiede l'istruzione di prodotto scalare intero DP4A. Fondamentalmente, il modello quantizzato a 4 bit richiede circa 10,5 GB di memoria, superando la capacità del dispositivo di quasi un fattore due. Inoltre, l'architettura ibrida del modello include uno stato ricorrente (GDN) che complica le strategie standard di prefix-caching, e l'host CPU (Intel Xeon X5690) manca di istruzioni AVX, limitando le capacità SIMD a SSSE3.

Metodologia
Per superare tali vincoli, gli autori hanno costruito un motore di inferenza partendo dai primi principi, evitando toolchain moderne e kernel predefiniti. La strategia centrale è un modello di esecuzione ibrido che suddivide il carico di lavoro tra la GPU e la CPU host in base ai colli di bottiglia specifici di ogni fase:

1. Ibrido GPU-Prefill / CPU-Decode:

   • Prefill (GPU): La GPU gestisce l'elaborazione batch del prompt di input. Poiché il modello da 10,5 GB non può risiedere nei 6 GB di VRAM, i pesi degli esperti vengono trasmessi strato per strato dalla RAM dell'host alla GPU. La GPU esegue la ricorrenza GDN, la softmax attention e una GEMM raggruppata a 4 bit per il routing MoE.
   • Decode (CPU): La CPU gestisce la generazione di singoli token. Lo streaming dei pesi attraverso il bus PCIe 2.0 per un singolo token è proibitivo in termini di latenza; pertanto, la CPU legge direttamente i pesi a 4 bit dalla RAM. Gli autori hanno implementato un kernel intero W4A8 (pesi a 4 bit, attivazioni a 8 bit) scritto a mano utilizzando l'istruzione SSSE3 pmaddubsw per eseguire addizioni di prodotti interi, bypassando l'assenza di AVX.

2. Memoria e Quantizzazione:

   • Quantizzazione: Il modello utilizza una quantizzazione simmetrica per gruppo (famiglia Q4_0) per i pesi, accoppiata ad attivazioni a 8 bit per il percorso di decode.
   • Pruning degli Esperti: Per ridurre l'impronta residente, viene applicato il REAP (Router-weighted Expert Activation Pruning), rimuovendo il 50% degli esperti (riducendo da 256 a 128 per layer) senza una perdita significativa di accuratezza.
   • Gestione della Memoria: Gli esperti sono memorizzati in memoria host page-locked e con interleaving NUMA per massimizzare la larghezza di banda e minimizzare i costi di trasferimento PCIe.

3. Prefix Caching per Architetture Ricorrenti:

   • I normali KV cache non possono essere riutilizzati per i layer GDN perché lo stato ricorrente è valido solo alla fine di una sequenza. Gli autori hanno implementato un cache di snapshot indicizzato per posizione, salvando lo stato ricorrente completo ai confini dei blocchi. Ciò consente alle nuove richieste di riprendere dal nearest snapshot valido se condividono un prefisso, invece di ricalcolare l'intera sequenza.

4. Ottimizzazioni:

   • Expert Pinning: Spostare gli esperti in memoria page-locked ha ridotto significativamente il tempo di trasferimento.
   • Single-Pass Prefill: L'elaborazione dell'intero prompt in un unico passaggio (anziché a blocchi) ha eliminato lo streaming ridondante degli esperti e ha massimizzato la dimensione del batch GEMM.
   • NUMA Interleaving: La distribuzione dell'allocazione della memoria su entrambi i socket CPU ha migliorato leggermente il throughput di decode.

Contributi Chiave

1. Motore di Esecuzione Ibrido: Un sistema funzionante per sm_20 che scarica il prefill sulla GPU (streaming degli esperti) e il decode sulla CPU (SIMD intero), dettato dai limiti di memoria e dall'assenza di prodotti scalari interi veloci sulla GPU.
2. Percorso di Decode Integer-SIMD: Un kernel custom W4A8 che utilizza pmaddubsw e che raggiunge velocità di decode su una CPU non-AVX comparabili alle moderne librerie ottimizzate, triplicando il throughput rispetto a un baseline scalare.
3. Recurrent Prefix Cache: Un meccanismo di caching innovativo per architetture gated-delta-net che abilita il riutilizzo del prefisso tramite snapshot dello stato, riducendo la latenza di prefill ripetuto da 78s a 0,5s.
4. Limite Hardware Empirico: Uno studio di misurazione dettagliato che identifica i limiti strutturali dell'hardware Fermi, inclusi i risultati negativi che definiscono il tetto pratico della piattaforma.
5. Supporto Multimodale: Una torre di visione sviluppata da zero e portata su sm_20 che discrimina con successo gli input visivi, dimostrando la capacità del motore oltre il testo.

Risultati

• Riduzione della Latenza: Grazie all'expert pinning, al single-pass prefill e al NUMA interleaving, la latenza di prefill per un prompt di 947 token è stata ridotta del 34% (da 57,2s a 37,5s).
• Miglioramento del Throughput: Il kernel di decode integer-SIMD ha aumentato il throughput di decode da 2,8 a 8,6 token/secondo (un miglioramento di circa 3×).
• Riutilizzo del Prefisso: I prompt ripetuti che utilizzano il cache di snapshot hanno visto il tempo di prefill scendere da 78,4s a 0,5s.
• Risultati Negativi (Limiti Hardware):
  • L'offloading del linguaggio (language model head) alla GPU è stato più lento (116ms → 139ms/token) a causa della latenza PCIe 2.0.
  • L'hyper-threading (usando 24 core logici invece di 12 fisici) è stato catastrofico, aumentando la latenza a 1.722ms/token a causa della contesa delle risorse.
  • Ulteriori riscrizioni dei kernel (suddivisione della ricorrenza GDN, spostamento dello stato in shared memory) non hanno fornito benefici o sono state leggermente più lente, indicando che i colli di bottiglia sono strutturali (GEMM thin-M e ricorrenza sequenziale) piuttosto che ottimizzabili.

Significatività e Rivendicazioni
Gli autori dichiarano esplicitamente che questo lavoro non è un record di velocità né una rivendicazione di un nuovo algoritmo. La sua importanza risiede invece in:

• Rigore Ingegneristico: Dimostrare cosa sia necessario per eseguire un modello MoE di classe 2026 su silicio di 14 anni fa, scrivendo l'intero motore a mano per una capacità di calcolo non supportata.
• Design Guidato dai Vincoli: Mostrare come specifici limiti hardware (mancanza di Tensor Core, piccola VRAM, assenza di AVX) impongano decisioni architettoniche specifiche (split ibrido CPU/GPU, SIMD intero, snapshot caching).
• Verifica della Realtà: Fornire un "pavimento hardware onesto" documentando ciò che fallisce (offloading, hyper-threading, riscrizioni di kernel), definendo così i limiti pratici dell'architettura Fermi.
• Vitalità del Legacy: Concludere che una sorprendente quantità di capacità contemporanea è raggiungibile su hardware abbandonato dall'ecosistema software, a patto di essere disposti a scambiare la comodità con l'ottimizzazione a basso livello manuale.