🤖 machine learning

InferScale: GPU-Native KV Injection for Personalized LLM Serving

InferScale è un sistema di memoria nativo per GPU che accelera il serving di LLM personalizzati precomputando e iniettando stati KV riutilizzabili direttamente nella cache di vLLM, scindendo così la latenza del primo token dalla dimensione del contesto recuperato pur mantenendo un'elevata accuratezza.

Autori originali: Peter Li, Prashant Pandey

Pubblicato 2026-07-30

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Peter Li, Prashant Pandey

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente tutta la storia della tua vita affinché possa rispondere a domande su di te. Ogni volta che fai una domanda al robot, devi incollare l'intera biografia nel suo cervello prima che possa pensare. Se la tua biografia è breve, il robot pensa velocemente. Ma se la tua biografia è lunga — piena di anni di ricordi, battute interne e avventure passate — il robot deve rileggere e rielaborare ogni singola parola di quella biografia solo per rispondere a un semplice "Qual è il mio colore preferito?". Questo processo di rilettura è lento e costoso, come un bibliotecario che deve riporre ogni singolo libro negli scaffali prima di dartene uno. Questo è lo stato attuale dell'IA "personalizzata": più memorie gli dai, più diventa lenta nel parlarti.

Il documento che stai per leggere affronta questo problema utilizzando un trucco intelligente dal mondo dell'informatica chiamato "Key-Value caching". Pensa al cervello del robot come a una grande lavagna su cui scrive le parti più importanti di ciò che ha letto finora, in modo da non dover rileggere il testo originale. Di solito, se cambi l'ordine dei libri sullo scaffale, il robot deve riscrivere l'intera lavagna. Ma cosa succederebbe se il robot potesse semplicemente prendere gli appunti già scritti da un cassetto e attaccarli sulla lavagna istantaneamente, indipendentemente da dove volessi metterli? Questa è l'idea centrale di questa ricerca: invece di costringere il robot a rileggere i tuoi ricordi ogni volta, pre-calcoliamo gli "appunti" per ogni ricordo e li memorizziamo direttamente sul disco rigido super veloce del robot. In questo modo, quando fai una domanda, iniettiamo semplicemente quegli appunti nel cervello del robot.

Il Problema: La trappola della "Rilettura"
Oggi, quando usi un assistente IA con una lunga cronologia di conversazioni, il sistema deve trovare i ricordi più rilevanti e incollarli nella tua nuova domanda. Questo è chiamato "prompt injection". Immagina di chiedere un consiglio a un amico, ma ogni volta che parli, devi leggere ad alta voce le ultime 5 quite del tuo diario prima di poter dire la tua vera domanda. Più pagine leggi, più tempo ci vuole per arrivare al consiglio. Anche se fai la stessa identica domanda dieci volte, l'amico deve leggere quelle 50 pagine dieci volte. Questo rende l'IA lenta, specialmente quando la tua memoria personale cresce.

La Soluzione: InferScale
I ricercatori, Peter Li e Prashant Pandey, hanno costruito un nuovo sistema chiamato InferScale. Invece di far rileggere i ricordi all'IA, InferScale svolge il lavoro pesante una sola volta, prima ancora che tu inizi a parlare. Prende ogni singolo fatto memorizzato (come "Amo la pizza" o "Il mio cane si chiama Rex") e calcola i suoi "appunti cerebrali" (chiamati stati KV) in anticipo. Questi appunti sono memorizzati direttamente sulla scheda grafica (GPU), che è il cervello super veloce del computer.

Quando fai una domanda, il sistema non invia il testo dei tuoi ricordi all'IA. Invece, trova gli "appunti cerebrali" corretti dalla GPU e li inietta direttamente nella memoria di lavoro dell'IA. È come avere una biblioteca dove, invece di consegnarti i libri, il bibliotecario incolla istantaneamente i paragrafi esatti di cui hai bisogno sulla tua scrivania. L'IA non deve mai rileggere il testo sorgente; usa semplicemente gli appunti.

I Trucchi Magici
Per far sì che questo funzioni, il team ha dovuto risolvere due enigmi complicati:

Il problema del "Bersaglio Mobile" (Chunked RoPE):
Di solito, questi "appunti cerebrali" sono legati a un punto specifico del testo. Se sposti un ricordo dall'inizio di una storia alla metà, gli appunti diventano errati. I ricercatori hanno inventato una tecnica chiamata Chunked RoPE. Immagina che gli appunti siano scritti su un tipo speciale di carta che può essere ruotata. Non importa dove posizioni la carta sulla scrivania, puoi ruotarla per farla corrispondere perfettamente alla nuova posizione. Questo permette al sistema di prendere un ricordo memorizzato in un punto e inserirlo ovunque nella tua conversazione senza rompere la matematica.
Il problema del "Contesto" (Context-Window Encoding):
Se prendi solo una frase come "Lui è andato al negozio", l'IA potrebbe non sapere chi sia "Lui". Se memorizzi il ricordo in isolamento, perdi il contesto. Per risolvere questo, il sistema memorizza il ricordo insieme a una piccola finestra delle frasi che lo precedono (come "John è andato al negozio"). Tuttavia, salva solo gli "appunti cerebrali" per la parte specifica del ricordo, non per l'intera finestra. In questo modo, l'IA comprende il contesto ("Lui" è John) senza dover rileggere l'intero paragrafo ogni volta.

Cosa hanno scoperto
I risultati sono impressionanti. I ricercatori hanno testato il sistema su tre diversi modelli di IA (Llama-3.1-8B, Mistral-7B e Qwen2.5-7B) utilizzando un dataset di lunghe conversazioni.

Velocità: Nel vecchio metodo (Mem0), man mano che aumentava il numero di ricordi recuperati da 5 a 50, il tempo necessario affinché l'IA iniziasse a parlare (Time-to-First-Token) è aumentato del 106% (da 33,2 ms a 68,3 ms). Con InferScale, lo stesso aumento ha causato solo un rallentamento del 4% (da 16,6 ms a 17,3 ms).
Throughput: Quando 100 persone usavano il sistema contemporaneamente, InferScale gestiva da 3,7 a 4,5 volte più domande al secondo rispetto al vecchio sistema.
Accuratezza: Poiché il sistema a volte memorizza i ricordi separatamente, c'era il rischio che l'IA si confondesse. Tuttavia, usando il trucco della "Finestra di Contesto", hanno recuperato quasi tutta l'accuratezza. Al massimo carico di memoria, InferScale ha dato risposte corrette nel 60,3% dei casi, un valore molto vicino al 63,3% del vecchio sistema, ma molto più veloce.

Perché è importante
Questo documento dimostra che non è necessario scegliere tra un'IA intelligente e ricca di memoria e un'IA veloce. Spostando la memorizzazione dei dati sulla GPU e iniettando direttamente gli "appunti cerebrali", hanno scisso la velocità dell'IA dalla dimensione della sua memoria. Il sistema non richiede alcun riaddestramento dei modelli di IA né modifiche al motore sottostante, il che lo rende un aggiornamento pratico per il futuro degli assistenti IA personalizzati. Anche quando i dati della memoria sono troppo grandi per entrare nella veloce GPU, hanno dimostrato che spostare l'archiviazione nella memoria regolare del computer mantiene comunque il sistema significativamente più veloce rispetto ai metodi attuali.

Riepilogo Tecnico: InferScale

Definizione del Problema

Le applicazioni basate su grandi modelli linguistici (LLM) si affidano sempre più a un contesto persistente e personalizzato (ad esempio, la memoria accumulata dell'utente o lunghe cronologie di conversazione) condiviso tra più richieste. Gli attuali sistemi di memoria in produzione (ad esempio, Mem0, MemGPT, Zep) affrontano il costo quadratico del prefill per contesti lunghi recuperando un sottoinsieme rilevante di fatti di memoria ( $k$ ) e iniettandoli come testo nel prompt.

Tuttavia, questo approccio di "prompt injection" comporta un costo di serving significativo: ogni fatto recuperato deve essere ri-prefillato ad ogni richiesta. Di conseguenza, il Time-to-First-Token (TTFT) cresce in modo lineare o quadratico con il budget di recupero ( $k$ ), anche quando la memoria sottostante è identica tra le richieste. Le tecniche esistenti di riutilizzo dei KV, come il prefix caching, falliscono qui perché assumono che i token riutilizzati occupino posizioni fisse, mentre i sistemi di memoria assemblano dinamicamente diversi sottoinsiemi di fatti per ogni richiesta, violando tale assunzione.

Metodologia

InferScale propone un'architettura GPU-native retrieve-and-inject che sostituisce il ripetuto prefilling del prompt con l'iniezione diretta di KV. Invece di inviare il testo recuperato alla GPU per la ricalcolazione, InferScale precompute le rappresentazioni Key-Value (KV) dei fatti di memoria e le inietta direttamente nella cache di attenzione.

Il sistema è implementato come un plugin per il motore di serving vLLM tramite la sua interfaccia KV-connector, senza richiedere fine-tuning del modello o modifiche al motore. L'architettura consiste in due fasi:

1. Fase Offline: Context-Window Encoding

Per affrontare la perdita di contesto tra i fatti durante la codifica indipendente, InferScale utilizza la Context-Window Encoding.

Processo: Ogni fatto di memoria viene codificato insieme a una finestra configurabile ( $w$ ) di turni di conversazione precedenti.
Ottimizzazione: Vengono conservati solo i tensori KV corrispondenti al target fact; i token di contesto vengono scartati.
Risultato: La rappresentazione KV memorizzata cattura il contesto di disambiguazione necessario (ad esempio, la risoluzione dei pronomi) senza richiedere che i token di contesto siano ri-prefillati al momento del serving.

2. Fase Online: Chunked RoPE e KV Injection

Per consentire il riutilizzo degli stati KV in posizioni arbitrarie del prompt (poiché i fatti recuperati sono assemblati dinamicamente), Inferola introduce la Chunked RoPE.

Pre-RoPE Storage: Durante la codifica offline, le chiavi vengono intercettate prima dell'applicazione delle Rotary Position Embeddings (RoPE). Queste chiavi pre-ruotate e i valori grezzi vengono memorizzati sulla GPU.
Rotazione Dinamica: Al momento del serving, i fatti recuperati vengono composti in un segmento contiguo. Il sistema applica la rotazione RoPE appropriata alle chiavi pre-memorizzate in base alle loro nuove posizioni di serving.
Garanzia Teorica: Il paper dimostra (Teorema 6) che questa ri-rotazione è matematicamente esatta sotto RoPE, garantendo che i punteggi di attenzione siano identici a quelli prodotti se i fatti fossero stati prefillati in quelle posizioni.
Iniezione: I tensori KV composti vengono copiati tramite scatter-copy direttamente nella paged KV cache di vLLM. Il modello deve quindi prefillare solo i token della query, attendendo alla memoria iniettata come se fosse stata calcolata.

Contributi Chiave

Inferenza Retrieve-and-Inject: Gli autori dimostrano che la memoria recuperata non deve essere ri-prefillata. Dimostrano (Teorema 3) che l'iniezione di stati KV precomputati direttamente nella cache di attenzione è esattamente equivalente alla prompt injection per i transformer a decoder causale, a condizione che la memoria sia iniettata nelle posizioni previste.
Chunked RoPE: Un meccanismo innovativo per il riutilizzo dei KV indipendente dalla posizione. Memorizzando le chiavi prima della codifica rotatoria e ri-ruotandole al momento dell'iniezione, il sistema consente ai fatti codificati una sola volta di essere iniettati in posizioni arbitrarie senza approssimazioni (Teorema 6).
Context-Window Encoding: Una tecnica per recuperare l'accuratezza persa con la codifica indipendente. Codificando i fatti con una finestra di contesto precedente durante la fase offline, il sistema preserva le interazioni tra i fatti senza incorrere in costi di ricalcolo al momento del serving.
Design di Sistema GPU-Native: InferScale integra il recupero semantico residente su GPU (usando l'indice Jasper) con lo storage KV riutilizzabile. Ciò mantiene sia l'indice di recupero che lo store KV sulla GPU, eliminando il trasferimento via PCIe del testo recuperato e il ripetuto prefilling.

Risultati

Valutato sul benchmark LoCoMo su tre modelli open-weight (Llama-3.1-8B, Mistral-7B, Qwen2.5-7B) rispetto allo stato dell'arte Mem0:

Latenza (TTFT): InferScale scollega la latenza di serving dal budget di recupero. Mentre $k$ aumenta da 5 a 50, il TTFF di InferScale rimane quasi costante (aumentando solo del ~4% per Llama-3.1-8B), mentre il TTFF di Mem0 aumenta del 106%. A $k=50$ , InferScale ottiene un incremento di velocità di 3,6–4,8× nel TTFF rispetto a Mem0.
Throughput: Sotto carico concorrente (fino a 100 utenti), InferScale mostra una scalabilità quasi lineare, ottenendo un throughput di 3,7–4,5× superiore rispetto a Mem0. Mem0 satura precocemente a causa del collo di bottiglia computazionale del prefilling ripetuto.
Accuratezza: La codifica indipendente ( $w=0$ ) inizialmente degrada l'accuratezza. Tuttavia, con la Context-Window Encoding ( $w \ge 20$ ), InferScale recupera quasi tutta l'accuratezza persa, raggiungendo il 60,3% su Llama-3.1-8B a $k=50$ rispetto al 63,3% di Mem0. Il divario di accuratezza è confinato principalmente a compiti di ragionamento multi-hop che richiedono un'attenzione complessa tra i fatti.
Scalabilità: Il sistema scala su modelli più grandi (Qwen3-14B) con benefici di latenza simili. Lo store KV può essere spostato nella DRAM dell'host per superare i limiti di capacità della memoria GPU, aggiungendo solo ~3 ms al TTFF pur mantenendo un vantaggio di latenza end-to-end di 2,3× rispetto a Mem0.

Significato e Rivendicazioni

Il paper sostiene che InferScale cambi fondamentalmente la primitiva di serving per gli LLM personalizzati. Passando dall'iniezione a livello di token all'iniezione a livello di attenzione, elimina il costo quadratico del prefill associato al contesto recuperato.

Gli autori sottolineano che:

Esattezza: Il meccanismo di iniezione KV (con Chunked RoPE) non è un'approssimazione ma un'equivalenza esatta alla prompt injection per le posizioni della query.
Zero Overhead: Il sistema non richiede fine-tuning del modello, modifiche al motore o cambiamenti alle pipeline di recupero esistenti.
Disaccoppiamento: Disaccoppia con successo la latenza di serving condizionata dalla memoria dalla dimensione del contesto recuperato, permettendo un serving personalizzato ad alta velocità e bassa latenza anche con ampi budget di recupero.

Il lavoro si distingue dai sistemi di memoria in produzione (che pagano ancora i costi di prefill) e dalle tecniche esistenti di riutilizzo dei KV (che si basano su layout di prompt fissi). Posiziona l'iniezione a livello di attenzione come una primitiva predefinita per condizionare gli LLM su contesti statici o semi-statici.