Pooling Engram Conditional Memory in Large Language Models using CXL

Questo articolo propone l'utilizzo di un pool di memoria CXL per archiviare la memoria engramma condizionale nei grandi modelli linguistici, integrandolo in SGLang per ottenere prestazioni end-to-end vicine a quelle della DRAM e offrire una soluzione di storage scalabile ed economica senza compromettere l'inferenza.

L'essenziale

Immagina che un Grande Modello Linguistico (LLM), come quelli che usi per scrivere email o creare storie, sia come un cuoco geniale in una cucina gigantesca.

Fino a poco tempo fa, questo cuoco aveva un problema: per rispondere a una domanda, doveva cercare le informazioni nella sua testa (i "parametri" del modello) calcolando tutto a mente, passo dopo passo. Era come se, ogni volta che voleva aggiungere un po' di sale a una zuppa, dovesse prima calcolare la formula chimica del sale. Era lento e dispendioso.

Per risolvere questo, è stato inventato l'Engram.

1. Cos'è l'Engram? (Il "Libro di Ricette" Magico)

L'Engram è come se al cuoco dessimo un enorme libro di ricette (o un archivio di conoscenze) che può consultare istantaneamente. Invece di calcolare tutto a mente, il cuoco guarda il libro, trova la parola giusta e la usa subito.

• Il problema: Questo libro è enorme. Se provassimo a tenerlo tutto sulla scrivania del cuoco (la memoria veloce della GPU), non ci starebbe. Dovremmo costruire una cucina gigantesca per ogni singolo cuoco, il che costerebbe una fortuna.
• La soluzione: Mettere il libro in una biblioteca condivisa fuori dalla cucina. Il cuoco corre a prenderlo, legge la pagina che gli serve e torna a cucinare.

2. Il Problema della "Corsa" (La Memoria Pool)

Il problema è che il cuoco ha bisogno di queste informazioni in modo veloce e frammentato. Non vuole il libro intero, ma solo piccoli pezzetti di pagina (poche righe) ogni secondo, e lo fa migliaia di volte.

• Se la biblioteca è troppo lontana o il percorso è lento, il cuoco si ferma e la cucina si blocca.
• I metodi vecchi (chiamati RDMA) erano come inviare un corriere in moto per prendere una singola pagina: costava troppo tempo e il corriere si perdeva nel traffico di rete.

3. La Soluzione: CXL (Il "Tubo Magico" Diretto)

Qui entra in gioco il CXL (Compute Express Link). Immagina il CXL non come un corriere, ma come un tubo magico che collega direttamente la scrivania del cuoco alla biblioteca condivisa.

• Come funziona: Il tubo è così veloce e diretto che il cuoco può allungare la mano, afferrare il pezzetto di pagina che gli serve e tirarlo indietro istantaneamente, quasi come se il libro fosse sulla sua scrivania.
• Il vantaggio: Non serve più un libro gigante per ogni cuoco. Tutti i cuochi della cucina (i server) condividono un solo grande archivio (il "Memory Pool") collegato da questi tubi magici.

4. Cosa hanno scoperto gli autori?

Gli scienziati di questo documento hanno costruito un prototipo per vedere se questo "tubo magico" funzionava davvero per i modelli di intelligenza artificiale.

• Hanno provato: Hanno messo il "libro delle ricette" (Engram) su una memoria condivisa collegata via CXL.
• Il risultato: È stato un successo! Il cuoco ha continuato a cucinare alla stessa velocità di prima, anche se il libro era fuori. Non ha perso tempo.
• Il risparmio: Invece di comprare 100 libri giganti (memoria costosa) per 100 cuochi, ne hanno comprato solo uno grande e lo hanno condiviso. Questo fa risparmiare tantissimi soldi, specialmente quando si hanno molti cuochi (server) che lavorano insieme.

In sintesi, con una metafora finale:

Immagina di avere un'azienda con 100 impiegati.

• Vecchio metodo: Ogni impiegato deve avere il suo archivio completo di documenti sulla sua scrivania. Occupa tutto lo spazio e costa una fortuna.
• Nuovo metodo (Engram + CXL): Tutti gli impiegati condividono un unico archivio centrale enorme. Grazie a un tubo pneumatico super veloce (CXL), quando un impiegato ha bisogno di un documento, lo riceve in un battito di ciglia.
• Risultato: L'ufficio è più economico, più ordinato e gli impiegati lavorano alla stessa velocità di prima.

Questo articolo dimostra che questa tecnologia (CXL) è pronta per essere usata nell'intelligenza artificiale del futuro, rendendo i modelli più grandi, più intelligenti e molto più economici da gestire.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Pooling Engram Conditional Memory in Large Language Models using CXL", presentato in italiano.

1. Il Problema: L'Inefficienza della Conoscenza Statica negli LLM

I Large Language Models (LLM) moderni si basano spesso su architetture Mixture-of-Experts (MoE) per il calcolo condizionale. Tuttavia, queste architetture mancano di un meccanismo nativo efficiente per la ricerca di conoscenze statiche (vocabolario), costringendo il modello a simulare il recupero attraverso calcoli computazionalmente costosi.
Per risolvere ciò, è stata introdotta l'architettura Engram, che utilizza una "memoria condizionale" per decouplare la memorizzazione della conoscenza statica (basata su N-Gram) dal calcolo dinamico. Sebbene Engram offra leggi di scaling promettenti, introduce un enorme overhead di memoria (centinaia di GB per i futuri LLM).
Le caratteristiche chiave di Engram sono:

• Accesso sparso e minimo: Vengono recuperati solo piccoli frammenti di dati (embedding) per token.
• Latenza tollerante: Il recupero può essere prefetchato e sovrapposto al calcolo degli altri layer.
• Sfida attuale: Spostare questi parametri su memoria di livello inferiore (es. disco o RAM remota) è difficile perché i pattern di accesso sono frammentati e richiedono bassa latenza, cosa che le soluzioni tradizionali basate su RDMA (Remote Direct Memory Access) faticano a garantire per pacchetti di piccole dimensioni.

2. Metodologia: Pooling della Memoria con CXL

Gli autori propongono l'uso di Compute Express Link (CXL) per creare un pool di memoria condiviso e disaggregato dedicato allo storage degli embedding Engram.

• Architettura Hardware: Il sistema utilizza uno switch CXL (XConn XC50256) per collegare più nodi di calcolo a un pool di memoria centrale (es. una scheda da 256 GB). Questo permette a più server di accedere alla stessa memoria fisica senza duplicazione.
• Vantaggi rispetto a RDMA: A differenza di RDMA, che soffre di overhead di stack di rete e latenze elevate per pacchetti piccoli (tipici di Engram), CXL fornisce un'interfaccia di memoria load/store gestita a livello hardware con granularità a livello di cache line. Questo riduce drasticamente la latenza, avvicinandola a quella della DRAM locale.
• Implementazione Software (SGLang):
  • Mappatura: La memoria CXL è esposta come dispositivo DAX (Direct Access) nel sistema operativo, mappata nello spazio degli indirizzi virtuali.
  • CPU: Utilizza thread paralleli (OpenMP) e memcpy standard per leggere i dati, trattando la memoria remota come locale.
  • GPU: Viene implementato un kernel CUDA personalizzato per il trasferimento diretto Peer-to-Peer (P2P) dalla memoria CXL alla VRAM, bypassando la CPU dopo la mappatura iniziale. Questo massimizza la larghezza di banda PCIe.
  • Integrazione: Il framework SGLang è stato modificato per gestire il prefetch asincrono degli embedding Engram dal pool CXL durante la fase di inferenza.

3. Contributi Chiave

1. Primo sistema di offloading Engram su CXL: Gli autori realizzano il primo sistema che sposta i parametri Engram su un pool di memoria basato su CXL.
2. Analisi comparativa RDMA vs. CXL: Dimostrano attraverso il profiling che RDMA soffre di penalità di latenza ordini di grandezza superiori rispetto alla DRAM locale per carichi di lavoro Engram (pacchetti piccoli e sparsi), mentre CXL mantiene latenze vicine a quelle locali.
3. Implementazione e Ottimizzazione: Sviluppo di routine di accesso CXL ottimizzate per alta concorrenza (sia CPU che GPU) e integrazione completa in un framework di inferenza all'avanguardia (SGLang).
4. Validazione delle Prestazioni: Dimostrazione che è possibile ottenere prestazioni end-to-end quasi equivalenti a quelle della DRAM locale, rendendo fattibile l'uso di pool di memoria condivisi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un cluster con nodi equipaggiati con GPU NVIDIA L20 e processori Intel Xeon, utilizzando modelli Qwen3 (4B e 8B) come proxy per Engram.

• Latenza di Lettura:
  • La latenza CXL→CPU è paragonabile a quella della DRAM locale.
  • La latenza CXL→GPU (tramite kernel personalizzati) è leggermente superiore ma rimane entro limiti accettabili per il prefetching.
  • In confronto, le soluzioni RDMA mostrano latenze significativamente più elevate, specialmente con batch size piccoli.
• Throughput End-to-End:
  • L'aggiunta di Engram su CXL riduce il throughput solo marginalmente rispetto alla configurazione con Engram in DRAM locale (es. per Qwen3-4B: 5614.4 token/s su CXL vs 5683.7 su DRAM).
  • Il sistema scala bene aumentando il Data Parallelism (DP) e il numero di nodi, con un calo di prestazioni trascurabile.
• Analisi dei Costi:
  • Per piccoli cluster (es. 2 nodi), la soluzione CXL ha un costo iniziale più alto a causa dell'hardware dedicato (switch, controller).
  • Tuttavia, man mano che il sistema scala (più nodi e modelli più grandi, es. 400B parametri), il CXL Pool diventa drasticamente più economico. Ad esempio, per un Engram da 400B su 16 nodi, il risparmio passa da ~$74k a oltre ~$166k rispetto all'uso di DRAM locale su ogni nodo.

5. Significato e Implicazioni

Questo lavoro è fondamentale per il futuro dell'infrastruttura degli LLM per diversi motivi:

• Superamento del "Memory Wall": Offre una soluzione scalabile ed economica per gestire la crescente domanda di memoria degli LLM, permettendo di espandere la capacità di memoria oltre i limiti fisici di un singolo server.
• Efficienza Economica: Trasforma la memoria da un costo lineare (per ogni nodo) a un costo condiviso, riducendo drasticamente il TCO (Total Cost of Ownership) per i modelli di grandi dimensioni.
• Nuovo Paradigma di Accesso: Dimostra che tecnologie di interconnessione emergenti come CXL sono ideali per carichi di lavoro di IA con pattern di accesso sparsi e a bassa latenza, aprendo la strada a un'architettura di memoria più flessibile e disaggregata nei data center.

In sintesi, il paper prova che l'uso di pool di memoria CXL per Engram non solo è tecnicamente fattibile con prestazioni quasi native, ma è anche la strada obbligata per rendere economicamente sostenibile la prossima generazione di modelli linguistici arricchiti da memoria.