Riepilogo Tecnico: VeriCache

Enunciato del Problema

La rapida espansione delle lunghezze di contesto dei Modelli Linguistici di Grande Dimensione (LLM) (che superano un milione di token) ha creato un collo di bottiglia severo nel servizio di inferenza a causa delle dimensioni della cache Key-Value (KV). Questo collo di bottiglia si manifesta in due modi:

1. Sovraccarico all'interno della richiesta: I passaggi di decodifica richiedono la lettura dell'intera cache KV dalla memoria ad alta larghezza di banda (HBM) della GPU, creando un collo di bottiglia nella larghezza di banda della memoria che scala linearmente con la lunghezza del contesto. Cache grandi riducono anche la dimensione del batch che può essere contenuta nella memoria della GPU.
2. Sovraccarico tra richieste: Il riutilizzo di cache KV precalcolate per prefissi condivisi (ad esempio, prompt di sistema) richiede il trasferimento di grandi volumi di dati dallo storage o attraverso le reti, dominando spesso la latenza della richiesta.

Per affrontare questo problema, sono stati proposti numerosi metodi di compressione della cache KV (eliminazione di token e quantizzazione). Tuttavia, questi metodi sono intrinsecamente con perdita. Sebbene possano preservare le metriche a livello di token (ad esempio, perplessità, punteggio F1) per output brevi, introducono un bias sistematico nella distribuzione del prossimo token. Man mano che la generazione procede, questo bias si accumula, causando una divergenza significativa dell'output rispetto alla baseline con KV completa. Ciò porta a "fallimenti catastrofici" in applicazioni che richiedono una correttezza funzionale rigorosa, come la generazione di codice (errori di sintassi) e la chiamata di strumenti (argomenti errati), rendendo la compressione tradizionale inadatta per questi compiti critici.

Metodologia: VeriCache

VeriCache è un framework di inferenza progettato per ottenere i vantaggi di throughput della compressione della cache KV garantendo output senza perdita identici alla decodifica con KV completa. Riutilizza i metodi di compressione con perdita come un livello di esecuzione speculativa piuttosto che come meccanismo di servizio diretto.

Algoritmo Principale

VeriCache opera in un ciclo di bozza-poi-verifica:

1. Bozza: Il modello genera una sequenza di token candidati ($x$) utilizzando la cache KV compressa ($KV_{comp}$). Questo passaggio è veloce ed efficiente in termini di memoria.
2. Verifica: Il sistema esegue un singolo passaggio in avanti utilizzando la cache KV completa ($KV_{full}$) per verificare i token abbozzati in parallelo.
3. Accettazione: I token vengono accettati fino al primo disallineamento. Se tutti i token abbozzati corrispondono alla previsione con KV completa, viene accettato un token aggiuntivo "bonus". Il processo si ripete dall'ultimo token accettato.

Innovazioni Chiave del Sistema

Per impedire che il sovraccarico di verifica annulli i guadagni di throughput della compressione, VeriCache introduce due design critici a livello di sistema:

1. Scaglionamento tra Risorse (P1)
La decodifica speculativa tradizionale spesso funziona in sincronia (tutta la bozza, poi tutta la verifica), causando contese di risorse. VeriCache sfrutta il fatto che la bozza e la verifica hanno colli di bottiglia di risorse complementari:

• La Bozza è limitata dalla larghezza di banda dell'HBM della GPU (lettura di KV compressi e pesi).
• La Verifica è limitata dalla larghezza di banda dell'interconnessione (caricamento di KV completo da CPU/Storage) e limitata dal calcolo.
• Meccanismo: Il pianificatore runtime scagiona le richieste in modo che, mentre alcune richieste stanno abbozzando (utilizzando l'HBM), altre stanno verificando (caricando KV completo via PCIe/Rete). Ciò permette al sistema di sovrapporre il trasferimento dati al calcolo, mantenendo sia l'interconnessione che l'HBM della GPU utilizzati senza arresti.

2. Periodo di Verifica Esteso tramite Tassi di Accettazione Elevati (P2)
A differenza della decodifica speculativa tradizionale che utilizza un modello più piccolo e diverso come abbozzatore (portando a una rapida divergenza della distribuzione e a lunghezze di accettazione brevi), VeriCache utilizza lo stesso modello target con KV compressa.

• Poiché i pesi del modello e i pattern di attenzione dominanti sono preservati, l'abbozzatore con KV compressa mantiene un alto tasso di accettazione anche per lunghe lunghezze di bozza (ad esempio, 25–40 token per round contro 2–3 per abbozzatori con modelli piccoli).
• Questo alto tasso di accettazione ammortizza il costo della costosa verifica con KV completa, permettendo al sistema di verificare meno frequentemente mantenendo la correttezza.

Supporto Architetturale

VeriCache supporta due scenari di distribuzione principali:

• Decodifica a Lungo Contesto: La KV compressa risiede nell'HBM della GPU, mentre la KV completa è archiviata nella memoria della CPU. La verifica comporta il caricamento della KV completa dalla CPU alla GPU tramite il collegamento PCIe.
• Caching Remoto dei Prefissi: La KV compressa viene trasmessa in streaming su un collegamento di rete lento verso una GPU remota per la bozza. La KV completa viene caricata su un collegamento locale veloce verso una GPU locale per la verifica. Ciò disaccoppia il trasferimento lento dallo storage dal calcolo della GPU remota.

Il framework espone un'interfaccia di compressione uniforme, permettendogli di integrarsi con vari metodi esistenti di eliminazione di token e quantizzazione (ad esempio, KVzip, KIVI, SnapKV) senza modificare la logica di pianificazione o verifica.

Contributi Chiave

1. Inferenza Senza Perdita con Compressione: VeriCache è il primo framework a abilitare l'inferenza LLM senza perdita utilizzando tecniche di compressione KV intrinsecamente con perdita, garantendo l'identità dell'output con la decodifica con KV completa.
2. Design di Sistema per il Sovraccarico di Verifica: Introduce lo scaglionamento tra risorse e periodi di verifica estesi per nascondere la latenza del caricamento delle cache KV complete, risolvendo il degrado del throughput tipicamente associato alla verifica speculativa.
3. Interfaccia Unificata: Fornisce un'interfaccia generica che supporta una vasta famiglia di metodi di compressione (sia eliminazione di token che quantizzazione), a differenza di sistemi precedenti che integrano in modo rigido compressori specifici.
4. Supporto a Doppio Scenario: Affronta sia la decodifica a lungo contesto (collo di bottiglia HBM) che il caching remoto dei prefissi (collo di bottiglia rete/storage).

Risultati Sperimentali

Valutato su modelli inclusi Mistral-24B, Qwen-32B e Llama-70B su vari carichi di lavoro (generazione di codice, chiamata di strumenti, ragionamento matematico):

• Throughput: VeriCache raggiunge fino a 4× throughput superiore rispetto all'inferenza con KV completa nella decodifica a lungo contesto e fino a 2× nel caching remoto dei prefissi.
• Correttezza: Produce output identici all'inferenza con KV completa (sotto decodifica greedy), mentre le baseline con perdita subiscono cali significativi nell'accuratezza funzionale (ad esempio, la validità della sintassi del codice scende a quasi zero con una compressione 4× nelle baseline).
• Compromesso Qualità-Throughput: Mentre le baseline con perdita impongono un compromesso in cui una compressione più alta porta a una qualità inferiore, VeriCache mantiene la piena qualità operando ai livelli di throughput dell'inferenza compressa.
• Composizione: VeriCache può essere composto con la decodifica speculativa tradizionale (ad esempio, EAGLE), raggiungendo fino a 4,35× di accelerazione ideale attaccando colli di bottiglia ortogonali (dimensione del batch tramite compressione, velocità dei token tramite abbozzo con modello piccolo).

Significato

Il documento sostiene che la dicotomia attuale—scegliere tra compressione con perdita ad alto throughput (rischiando fallimenti funzionali) o inferenza con KV completa a basso throughput—è inutile. VeriCache dimostra che la compressione non dovrebbe sostituire il calcolo esatto ma piuttosto accelerarlo. Sfruttando i tassi di accettazione elevati della bozza compressa con lo stesso modello e uno scaglionamento sofisticato delle risorse, VeriCache abilita il deployment di LLM a lungo contesto in applicazioni critiche (codifica, flussi di lavoro agenziali) senza sacrificare la correttezza funzionale richiesta per questi compiti.