Riepilogo Tecnico: Osservazione, non Predizione – Scheduling Disaggregato a Livello di Conversazione per il Serving Agente

1. Definizione del Problema

I sistemi esistenti di serving per i Large Language Model (LLM) sono progettati attorno alla "richiesta" come unità atomica di scheduling, un modello adatto all'inferenza single-shot dove un prompt viene pre-elaborato (prefill) e decodificato in un unico passaggio. Tuttavia, i carichi di lavoro agentici rompono questo contratto. Il compito di un agente si risolve attraverso una sequenza di chiamate di inferenza dipendenti, intervallate dall'uso di strumenti, feedback ambientali e accumulo di stato.

Questo passaggio crea un disallineamento tra scheduling e valore:

• Visione del Sistema: Ottimizza la latenza per turno (Time-to-First-Token, TTFT) per ogni turno intermedio, molti dei quali sono chiamate a strumenti interne invisibili all'utente.
• Visione dell'Utente: Attende l'output finale della conversazione, che sia esternamente significativo. La metrica rilevante è il Time-to-First-Effective-Token (TTFET) — ovvero la latenza fino al primo token di progresso genuinamente visibile all'utente.

Gli attuali sistemi multi-turno tentano di ottimizzare questo aspetto decidendo, turno per turno, se disaggregare la fase di prefill (compute-bound) da quella di decode (memory-bound). Per prendere questa decisione, gli scheduler devono predire quantità non osservabili: quanti token decodificherà un turno, se chiamerà uno strumento e quanto crescerà la cache KV. Questa dipendenza dalla predizione introduce una fragilità strutturale; qualsiasi errore di predizione porta a un routing subottimale, ritardi di accodamento e un'efficienza energetica degradata.

2. Metodologia: ConServe

Il paper introduce ConServe, un sistema che eleva l'unità di scheduling dal turno alla conversazione. L'intuizione centrale è che, mentre le conversazioni agentiche esibiscono irregolarità a livello di turno, esse possiedono una struttura stabile a due fasi a livello di conversazione:

1. Fase 1 (Compute-Bound): Un singolo prefill pesante della descrizione iniziale del task (turno 1).
2. Fase 2 (Memory-Bound): Una coda lunga che comprende il primo decode e tutti i turni successivi, che comportano brevi append-prefill e decoding su una cache KV accumulata.

Principi di Design Chiave

• Osservazione invece di Predizione: ConServe elimina la necessità di predire gli esiti a livello di turno (ad esempio, le lunghezze di decode future o i comportamenti degli strumenti). Le decisioni di posizionamento si basano interamente sullo stato direttamente osservabile:
  • Il conteggio dei token di input del primo turno (determina il carico di prefill).
  • L'occupazione attuale della cache KV delle repliche di decode (determina il carico memory-bound).
• Vincolo a Livello di Conversazione (Conversation-Level Pinning):
  • Il prefill del primo turno viene instradato a un nodo di prefill dedicato ad alta capacità di calcolo.
  • La cache KV risultante viene trasferita esattamente una volta a una replica di decoder selezionata.
  • La conversazione è vincolata (pinned) a quel decoder specifico per tutta la sua durata. Tutti i turni successivi (append-prefill e decodes) vengono eseguiti localmente su quel decoder, riutilizzando la cache KV senza ulteriori trasferimenti di rete.
• Scheduling Reattivo: Lo scheduler ammette nuove conversazioni in base alla capacità attuale del sistema (tasso di input del prefill rispetto al throughput del prefiller; occupazione totale della KV rispetto alla capacità del pool di decoder). Non migra le conversazioni una volta posizionate.
• Mappatura Eterogenea: La struttura a due fasi si mappa naturalmente su tier di GPU eterogenei. Il prefill del primo turno (compute-bound) viene eseguito su GPU ad alta potenza, mentre la coda memory-bound viene eseguita su GPU a bassa potenza con sufficiente larghezza di banda della memoria, poiché le prestazioni della coda sono limitate dalla memoria piuttosto che dal calcolo puro.

3. Contributi Chiave

1. Paradigma di Scheduling a Livello di Conversazione: Il paper identifica che l'unità di scheduling (il turno) è la fonte di fragilità nel serving agentico. Passando alla conversazione, il sistema sostituisce la predizione con lo stato osservabile, eliminando la necessità di modelli di costo appresi o predittori complessi.
2. Sistema ConServe: Un'instanziazione minimale di questo principio che instrada i prefill del primo turno verso GPU ad alta potenza, trasferisce lo stato KV una sola volta e vincola la conversazione a un singolo decoder. Ottimizza il TTFET e l'efficienza energetica senza modelli appresi.
3. Dimostrazione Empirica della Fragilità Strutturale: Gli autori mostrano come lo scheduling per turno (ad esempio, nei baseline come AMPD) soffra linearmente degli errori di predizione. All'aumentare del tasso di errore, le violazioni degli SLO e l'inefficienza energetica degradano linearmente. Al contrario, le prestazioni di ConServe rimangono costanti per costruzione, poiché non effettua decisioni di routing per turno.
4. Efficienza Energetica tramite Eterogeneità: Il paper dimostra che la divisione in fasi a livello di conversazione permette l'allocazione di GPU eterogenee senza macchinari aggiuntivi, migliorando significativamente l'efficienza energetica.

4. Risultati Sperimentali

Valutato su tracce agentiche (SWE-bench) utilizzando un modello Qwen3-0.6B su un cluster NVIDIA A40, ConServe è stato confrontato con baseline collocate, completamente disaggregate e basate su predizione per turno (AMPD).

• Latenza (TTFET): ConServe riduce il p95 TTFET del 51,08% rispetto al baseline di predizione per turno (AMPD). Ciò lo ottiene evitando i ritardi di accodamento causati dai turni erroneamente instradati nel prefiller.
• Aderenza agli SLO: ConServe mantiene zero violazioni degli SLO in tutti i tassi di richiesta testati, inclusi i punti di saturazione. I baseline falliscono alla saturazione: i sistemi collocated soffrono di contesa tra prefill e decode, mentre i sistemi per turno accumulano errori di routing.
• Efficienza Energetica:
  • In contesti omogenei, ConServe migliora l'efficienza energetica del 7,51% rispetto al baseline per turno.
  • In contesti eterogenei (prefiller da 300W, decoder da 200W), ConServe ottiene un ulteriore guadagno del 22,75% nell'efficienza energetica (token per Joule) mantenendo le prestazioni di latenza. Questo perché la coda memory-bound è insensibile alla riduzione della potenza di calcolo delle GPU con potenza limitata.
• Robustezza: A differenza di AMPD, le cui prestazioni degradano linearmente con i tassi di errore di predizione (ad esempio, un errore del 10% porta a significative violazioni degli SLO), ConServe è immune a tali errori poiché si basa sullo stato osservabile.

5. Significato e Rivendicazioni

Il paper sostiene che l'astrazione fondamentale per il serving agentico è la conversazione, non il turno. Riconoscendo la stabile struttura a due fasi delle carichi di lavoro agentici, ConServe dimostra che:

• Il posizionamento deve essere reattivo, non predittivo. Fare affidamento sullo stato osservabile (lunghezza di input, occupazione KV) è sufficiente e più robusto rispetto alla predizione dei comportamenti futuri dei turni.
• La granularità dello scheduling determina la stabilità del sistema. La fragilità degli attuali sistemi multi-turno non è una proprietà intrinseca del carico di lavoro, ma una conseguenza dello scheduling a livello di turno.
• L'efficienza energetica è un corollario naturale. La divisione in fasi a livello di conversazione consente un efficiente mapping eterogeneo senza orchestrazione complessa, spendendo potenza di calcolo elevata solo dove necessario (il prefill iniziale) e utilizzando hardware a bassa potenza per la coda memory-bound.

Gli autori presentano ConServe non come un sistema complesso e appreso, ma come una "instanziazione minimale" di un paradigma fondato che allinea l'ottimizzazione del sistema con il reale valore per l'utente (completamento della conversazione) piuttosto che con le metriche intermedie del sistema (latenza per turno).