xLLM Technical Report

Il paper presenta xLLM, un framework di inferenza per grandi modelli linguistici (LLM) ad alte prestazioni che, grazie a un'architettura decoupled con servizi di scheduling intelligente e un motore di esecuzione ottimizzato, garantisce un'efficienza delle risorse e un throughput significativamente superiori rispetto alle soluzioni esistenti per carichi di lavoro aziendali su larga scala.

L'essenziale

Immagina di avere un gigantesco ristorante di intelligenza artificiale (chiamato xLLM) gestito da JD.com, il gigante cinese dell'e-commerce. Il suo compito è cucinare "pensieri" (risposte) per milioni di clienti contemporaneamente, usando fornelli speciali e velocissimi (i processori AI).

Il problema? I ristoranti tradizionali (i sistemi attuali) sono spesso lenti, sprechiano ingredienti e si bloccano quando arriva un'orda di clienti affamati.

Ecco come xLLM rivoluziona il tutto, spiegato in modo semplice:

1. La Struttura: Due Cuori che Battono Insieme

xLLM non è un solo blocco, ma è diviso in due parti che lavorano in perfetta armonia, come un Sala e una Cucina.

• La Sala (xLLM-Service): È il cameriere intelligente. Il suo lavoro è accogliere i clienti, capire cosa vogliono e decidere chi serve subito e chi può aspettare.
• La Cucina (xLLM-Engine): È lo chef super-veloce. Il suo lavoro è cucinare il piatto nel modo più efficiente possibile, senza sprecare tempo o gas.

2. La Sala: Il Cameriere Magico (xLLM-Service)

Immagina che nel tuo ristorante ci siano due tipi di clienti:

1. I VIP (Richieste Online): Vogliono la risposta subito (es. un chatbot per il servizio clienti). Se aspettano troppo, si arrabbiano.
2. I Clienti "Pazienti" (Richieste Offline): Devono analizzare documenti o fare ricerche complesse. Non hanno fretta, possono aspettare.

Il problema vecchio: Se il VIP arriva quando la cucina è piena di clienti pazienti, il VIP aspetta. Se la cucina è vuota, i clienti pazienti restano a guardare senza mangiare, sprecando spazio.

La soluzione xLLM:

• Il Cameriere Ibrido: xLLM fa sedere i VIP e i clienti pazienti allo stesso tavolo. Quando arriva un VIP, il cameriere sposta gentilmente il cliente paziente (che non ha fretta) in un angolo o lo ferma momentaneamente, servendo il VIP istantaneamente. Appena il VIP è soddisfatto, il cliente paziente riprende a mangiare. Risultato: Nessuna sedia vuota, nessuno che aspetta troppo.
• La Divisione dei Compiti (Disaggregazione): Immagina che preparare un piatto abbia due fasi: leggere la ricetta (Prefill) e cuocere il cibo (Decode).
  • Nei ristoranti normali, lo stesso chef fa entrambe le cose. Se deve leggere una ricetta lunghissima, non può cucinare nulla.
  • xLLM ha chef specializzati: uno solo legge le ricette (Prefill), un altro solo cucina (Decode). Se arriva una ricetta lunghissima, l'esperto "lettura" la gestisce senza bloccare l'esperto "cottura". Inoltre, se c'è molta richiesta di "lettura", può trasformare un "cuciniere" in un "lettore" in un istante, senza dover riaccendere il forno!
• Gestione degli Ingredienti (KV Cache): Quando si cucina, si usano molti ingredienti che servono di nuovo. xLLM ha un frigo intelligente globale. Se due clienti vogliono lo stesso ingrediente, non lo comprano due volte: lo prendono dal frigo centrale e lo condividono. Questo fa risparmiare spazio e tempo.

3. La Cucina: Lo Chef Super-Efficiente (xLLM-Engine)

Una volta che il cameriere ha ordinato, lo chef xLLM entra in azione con trucchi da mago:

• Niente Tempi Morti (Pipeline Multi-livello): Immagina un nastro trasportatore. Mentre lo chef sta cucinando il piatto numero 1, il suo assistente sta già preparando gli ingredienti per il piatto numero 2. Non c'è mai un secondo in cui lo chef è fermo a guardare il muro. Tutto è sovrapposto: si cucina mentre si comunica con gli altri chef.
• Il Libro delle Ricette Pre-Scritto (Adaptive Graph Mode): Di solito, ogni volta che si cucina, lo chef deve leggere la ricetta passo-passo e decidere quale coltello usare. xLLM invece pre-compila la ricetta. Invece di leggere "prendi il coltello, taglia, poi prendi la padella...", esegue un unico comando: "Esegui la ricetta A". Questo elimina i tempi di attesa per decidere cosa fare.
• Il Frigo Intelligente (xTensor): I ristoranti normali usano un unico grande blocco di ghiaccio (memoria) per tutto. Se hai bisogno di un pezzetto piccolo, devi occupare tutto il blocco. xLLM usa un sistema a mattoncini: prende solo i mattoncini di ghiaccio che servono in quel momento, anche se sono sparsi in giro. Per lo chef sembrano un blocco unico e continuo, ma in realtà sono ottimizzati al massimo.

4. I Risultati: Perché è così veloce?

Grazie a questi trucchi, xLLM è come se avesse trasformato un ristorante lento in un McDonald's di lusso:

• Più veloce: Riesce a servire fino a 2,2 volte più clienti rispetto ai sistemi attuali (come vLLM o MindIE) con gli stessi fornelli.
• Più stabile: Se uno chef si ammala (guasto hardware), un altro prende il suo posto in un attimo senza che il cliente se ne accorga.
• Versatile: Gestisce sia testi che immagini (come se il ristorante servisse anche pizza e sushi nello stesso tavolo) senza confondersi.

In Sintesi

xLLM è un sistema che ha smesso di trattare l'intelligenza artificiale come un processo rigido e lento. Ha introdotto l'idea di flessibilità:

1. Mescola clienti veloci e lenti senza che si disturbino a vicenda.
2. Divide il lavoro in base alle competenze specifiche.
3. Elimina ogni secondo di tempo morto tra un'azione e l'altra.

È come passare da un'auto con il cambio manuale (dove devi fermarti per cambiare marcia) a un'auto elettrica con guida autonoma: tutto scorre fluido, veloce e senza sprechi di energia.

Sommario tecnico

Panoramica: xLLM

Il documento introduce xLLM, un framework di inferenza per Large Language Models (LLM) intelligente ed efficiente, progettato specificamente per il servizio su larga scala di livello aziendale. Sviluppato da JD.com in collaborazione con diverse università cinesi, xLLM mira a risolvere le sfide critiche legate all'efficienza, alla gestione dei carichi di lavoro ibridi e all'utilizzo degli acceleratori AI, offrendo un'architettura decouplata (separata) tra il livello di servizio e il motore di inferenza.

---

1. Il Problema

I framework di inferenza LLM attuali (come vLLM, TensorRT-LLM) affrontano quattro sfide principali nei contesti aziendali:

• Carichi di lavoro ibridi e dinamici: Le richieste online (bassa latenza, SLO rigorosi) e offline (elaborazione batch, tolleranza alla latenza) hanno caratteristiche opposte. I sistemi esistenti faticano a co-locare questi carichi senza violare gli accordi di livello di servizio (SLO) o sottoutilizzare le risorse durante i picchi e i cali di traffico.
• Disaggregazione Prefill-Decode (PD) statica: L'architettura PD disaggregata, che separa la fase di prefill (codifica) da quella di decode (generazione), è spesso configurata staticamente. Questo non si adatta alle fluttuazioni dinamiche della lunghezza delle richieste in input/output, portando a sottoutilizzazione degli acceleratori e rischi di violazione degli SLO.
• Gestione delle richieste Multimodali: Mancano strategie efficienti per gestire input multimodali (immagini, testo, voce), che richiedono fasi di codifica (Encode) distinte e un'allocazione delle risorse fine.
• Efficienza degli Acceleratori AI: Le architetture hardware moderne (come gli NPU Ascend) non sono sfruttate appieno a causa di colli di bottiglia nella comunicazione, nella gestione della memoria KV Cache e nell'overhead di avvio dei kernel.

---

2. Metodologia e Architettura

xLLM adotta un'architettura decouplata Service-Engine, composta da due livelli principali:

A. xLLM-Service (Livello di Servizio)

Questo livello gestisce lo scheduling intelligente, la gestione del cluster e la tolleranza ai guasti.

• Co-locazione Online/Offline: Utilizza uno scheduler preemptivo che gestisce le richieste online con priorità e quelle offline in modalità "best effort". Le richieste offline possono essere precluse durante i picchi di traffico online per garantire gli SLO.
• Disaggregazione PD Dinamica: A differenza dei sistemi statici, xLLM adatta dinamicamente il rapporto tra istanze Prefill e Decode in base al carico di lavoro reale e alle metriche di performance (TTFT, TPOT), permettendo il cambio di ruolo delle istanze senza riavvio.
• Disaggregazione Ibrida EPD (Encode-Prefill-Decode): Per le richieste multimodali, introduce una strategia che separa le fasi di codifica delle immagini (Encode), prefill e decode. Il sistema seleziona automaticamente la strategia ottimale (es. EP-D, ED-P, o E-P-D) basandosi su un profiler.
• Gestione Globale KV Cache: Implementa un sistema di cache distribuito (basato su Mooncake Store) che gestisce la memoria KV Cache su più livelli (HBM, DRAM, SSD) e permette il routing intelligente e il trasferimento delle cache tra istanze per massimizzare l'hit rate e la capacità.
• Recupero Rapido dai Guasti: Un'architettura di fault tolerance che permette il recupero veloce delle istanze e la migrazione delle richieste senza perdere lo stato, minimizzando l'impatto sulla disponibilità del servizio.

B. xLLM-Engine (Livello di Motore)

Questo livello ottimizza l'esecuzione computazionale su hardware specifico.

• Pipeline di Esecuzione a Multi-Livello:
  • Livello Framework: Sovrappone lo scheduling CPU alle operazioni dell'acceleratore per eliminare i "bubbles" computazionali.
  • Livello Modello: Utilizza la parallelizzazione a doppio flusso (dual-stream) per sovrapporre comunicazione e calcolo (es. operazioni MoE).
  • Livello Operatore: Sovrappone l'esecuzione di unità di calcolo diverse (vettori e matrici) per massimizzare l'utilizzo hardware.
• Modalità Grafica Adattiva (Adaptive Graph Mode): Risolve il problema della variabilità delle dimensioni di input (batch size, sequence length) pre-compilando grafi di calcolo parziali e parametrizzando le dimensioni dinamiche, riducendo drasticamente l'overhead di avvio dei kernel.
• Gestione della Memoria xTensor: Introduce una struttura di memoria "logicamente contigua, fisicamente discreta" per la KV Cache. Questo risolve il conflitto tra la necessità di contiguità per l'efficienza computazionale e la necessità di allocazione dinamica, migliorando l'utilizzo della memoria rispetto a PagedAttention.
• Ottimizzazioni Algoritmiche: Include speculative decoding ottimizzato, bilanciamento del carico dinamico per l'Expert Parallelism (EPLB) nei modelli MoE e un bilanciamento gerarchico per il Data Parallelism (DP) per mitigare i colli di bottiglia causati dai "straggler".

---

3. Contributi Chiave

1. Architettura Service-Engine Decouplata: Separazione chiara tra gestione del cluster/scheduling e ottimizzazione computazionale.
2. Scheduling Adattivo: Politiche di scheduling che adattano dinamicamente le risorse (PD ed EPD) in base al carico e al tipo di richiesta (online/offline, multimodale).
3. Ottimizzazione Full-Stack: Copertura completa dalla gestione della memoria (xTensor) all'esecuzione del grafo (Adaptive Graph) fino agli algoritmi di inferenza (Speculative Decoding, Load Balancing).
4. Supporto Multimodale Nativo: Una strategia di disaggregazione specifica (EPD) per gestire efficientemente l'inferenza di modelli multimodali (MLLM).
5. Open Source: Il framework è stato reso disponibile pubblicamente per favorire l'ecosistema.

---

4. Risultati Sperimentali

Le valutazioni sono state condotte su hardware Ascend 910B/910C confrontando xLLM con MindIE (framework nativo Huawei) e vLLM-Ascend.

• Prestazioni di Throughput:
  • Con modelli della serie Qwen, xLLM ha raggiunto un throughput fino a 1.7x superiore a MindIE e 2.2x superiore a vLLM-Ascend (con vincoli TPOT uguali).
  • Con modelli DeepSeek, xLLM ha mostrato un miglioramento medio di 1.7x rispetto a MindIE.
  • In scenari di raccomandazione generativa, xLLM ha ridotto la latenza end-to-end del 23% rispetto a MindIE sotto carichi elevati.
• Efficienza delle Risorse:
  • L'uso della Disaggregazione PD Dinamica ha aumentato il tasso di servizio delle richieste del 1.67x rispetto alle strategie di carico minimo.
  • La Modalità Grafica Adattiva ha migliorato il throughput del 27.4% per modelli più piccoli (Qwen3-1.7B) riducendo la latenza media.
  • Il bilanciamento del carico gerarchico (DP) ha contribuito a un aumento del throughput totale del 5%.
• Scenari Reali: xLLM è già stato distribuito in produzione presso JD.com per supportare scenari critici come il chatbot JingYan, raccomandazioni di marketing, comprensione dei prodotti e assistenti clienti, dimostrando scalabilità e stabilità.

---

5. Significato e Impatto

xLLM rappresenta un passo significativo verso l'infrastruttura di inferenza AI di livello enterprise.

• Riduzione dei Costi: Massimizzando l'utilizzo degli acceleratori e permettendo la co-locazione di carichi di lavoro, riduce drasticamente i costi operativi per il servizio LLM.
• Scalabilità e Flessibilità: La capacità di adattarsi dinamicamente a carichi di lavoro variabili e di supportare hardware eterogeneo (in particolare acceleratori nazionali cinesi come Ascend) lo rende una soluzione robusta per scenari reali.
• Abilitatore per Applicazioni Avanzate: Fornisce le basi per applicazioni complesse come agenti multimodali e sistemi di raccomandazione generativa, che richiedono bassa latenza e alta efficienza.
• Ecosistema Open Source: Rendendo il codice disponibile, xLLM mira a stimolare l'innovazione nella comunità, offrendo un'alternativa performante ai framework proprietari e promuovendo l'adozione di hardware diversificato.

In sintesi, xLLM non è solo un motore di inferenza più veloce, ma un sistema operativo per l'IA che integra intelligentemente gestione delle risorse, ottimizzazione hardware e algoritmi avanzati per risolvere i colli di bottiglia pratici del deployment su larga scala.