Technische Samenvatting: Observatie, Geen Predictie – Conversatie-niveau Gedisaggregeerde Scheduling voor Agentic Serving

1. Probleemstelling

Bestaande LLM-serving systemen zijn ontworpen rond de "request" als de atomaire scheduling-eenheid, een model dat geschikt is voor single-shot inferentie waarbij een prompt wordt geprefilled en gedecodeerd in één keer. Echter, agentic workloads doorbreken dit contract. De taak van een agent wordt opgelost via een sequentie van afhankelijke inferentie-oproepen, afgewisseld met toolgebruik, feedback uit de omgeving en staat-accumulatie.

Deze verschuiving creëert een scheduling–waarde mismatch:

• Systeemvisie: Optimaliseert per-turn latentie (Time-to-First-Token, TTFT) voor elke tussenliggende beurt, waarvan vele interne tool-calls zijn die onzichtbaar zijn voor de gebruiker.
• Gebruikersvisie: Wacht op de uiteindelijke, extern betekenisvolle output van de conversatie. De relevante metriek is Time-to-First-Effective-Token (TTFET) — de latentie tot de eerste token van werkelijke, voor de gebruiker zichtbare progressie.

Huidige multi-turn systemen proberen dit te optimaliseren door beurt-per-beurt te beslissen of de prefill-fase (compute-bound) gescheiden moet worden van de decode-fase (memory-bound). Om deze beslissing te nemen, moeten schedulers onobserveerbare grootheden voorspellen: hoeveel tokens een beurt zal decoderen, of het een tool zal aanroepen, en hoeveel de Key-Value (KV) cache zal groeien. Deze afhankelijkheid van predictie introduceert structurele broosheid; elke voorspellingsfout leidt tot suboptimale routing, wachtrijvertragingen en gedegradeerde energie-efficiëntie.

2. Methodologie: ConServe

Het paper introduceert ConServe, een systeem dat de scheduling-eenheid verhoogt van de beurt naar de conversatie. De kerninzicht is dat hoewel agentic conversaties onregelmatigheid vertonen op beurt-niveau, ze een stabiele, twee-fasen structuur bezitten op conversatieniveau:

1. Fase 1 (Compute-Bound): Een enkele, zware prefill van de initiële lange taakbeschrijving (beurt 1).
2. Fase 2 (Memory-Bound): Een lange staart bestaande uit de eerste decode en alle daaropvolgende beurten, die korte append-prefills en decoding bevatten over een accumulerende KV-cache.

Belangrijkste Ontwerpprincipes

• Observatie boven Predictie: ConServe elimineert de noodzaak om turn-level uitkomsten te voorspellen (bijv. toekomstige decode-lengtes of tool-gedrag). Placementsbeslissingen zijn volledig gebaseerd op direct observeerbare staat:
  • Het input-token aantal van de eerste-beurt prompt (bepaalt de prefill-last).
  • De huidige KV-cache bezetting van decoder-replica's (bepaalt de memory-bound last).
• Conversatie-niveau Pinning:
  • De eerste-beurt prefill wordt gerouteerd naar een toegewijde, high-throughput prefiller node.
  • De resulterende KV-cache wordt exact één keer overgedragen naar een geselecteerde decoder replica.
  • De conversatie wordt aan die specifieke decoder gepinned voor de gehele levensduur. Alle daaropvolgende beurten (append-prefills en decodes) worden lokaal op die decoder uitgevoerd, waarbij de KV-cache wordt hergebruikt zonder verdere netwerkoverdrachten.
• Reactieve Scheduling: De scheduler laat nieuwe conversaties toe op basis van de huidige systeemcapaciteit (prefill input rate versus prefiller throughput; totale KV-bezetting versus decoder pool capaciteit). Het migreert conversaties niet zodra ze geplaatst zijn.
• Heterogene Mapping: De twee-fasen structuur brengt de conversatie-fase-splitsing natuurlijk in kaart met heterogene GPU-tiers. De compute-bound eerste-beurt prefill draait op high-power GPU's, terwijl de memory-bound staart draait op low-power GPU's met voldoende geheugenbandbreedte, aangezien de prestaties van de staart worden beperkt door geheugen in plaats van pure rekenkracht.

3. Belangrijkste Bijdragen

1. Conversatie-niveau Scheduling Paradigma: Het paper identificeert dat de scheduling-eenheid (beurt) de bron van broosheid is in agentic serving. Door naar de conversatie te verschuiven, vervangt het systeem voorspelling door observeerbare staat, waardoor geleerde kostenmodellen of complexe voorspellers overbodig worden.
2. ConServe Systeem: Een minimale instantie van dit principe die de eerste-beurt prefill naar high-power GPU's routeert, de KV-staat één keer overdraagt en de conversatie aan een enkele decoder pin. Het optimaliseert voor TTFET en energie-efficiëntie zonder geleerde modellen.
3. Empirische Demonstratie van Structurele Broosheid: De auteurs tonen aan dat per-beurt scheduling (bijv. in baselines zoals AMPD) lineair lijdt onder voorspellingsfouten. Naarmate de foutmarge toeneemt, verslechteren SLO-schendingen en energie-efficiëntie lineair. In contrast blijft de prestatie van ConServe constant door constructie omdat het geen per-beurt routingbeslissingen neemt.
4. Energie-efficiëntie via Heterogeniteit: Het paper demonstreert dat de conversatie-niveau fase-splitsing een tiered GPU-allocatie mogelijk maakt zonder extra machinerie, wat de energie-efficiëntie aanzienlijk verbetert zonder de latentieprestaties te schaden.

4. Experimentele Resultaten

Geëvalueerd op agentic traces (SWE-bench) met een Qwen3-0.6B model op een NVIDIA A40 cluster, werd ConServe vergeleken met collocated, volledig gedisaggregeerde en per-beurt voorspellingsgebaseerde (AMPD) baselines.

• Latentie (TTFET): ConServe vermindert de p95 TTFET met 51,08% vergeleken met de per-beurt voorspellingsbaseline (AMPD). Dit wordt bereikt door het vermijden van wachtrijvertragingen veroorzaakt door verkeerd gerouteerde beurten in de prefiller.
• SLO Adherence: ConServe handhaaft nul SLO-schendingen over alle geteste request rates, inclusief verzadigingspunten. Baselines falen bij verzadiging: collocated systemen lijden onder prefill-decode contentie, en per-beurt systemen accumuleren routingfouten.
• Energie-efficiëntie:
  • In homogene settings verbetert ConServe de energie-efficiëntie met 7,51% ten opzichte van de per-beurt baseline.
  • In heterogene settings (300W prefiller, 200W decoders) behaalt ConServe een extra winst van 22,75% in energie-efficiëntie (tokens per Joule) terwijl de latentieprestaties behouden blijven. Dit komt doordat de memory-bound staart ongevoelig is voor de verminderde rekenkracht van de beperkte GPU's.
• Robuustheid: In tegen tegenstelling tot AMPD, waarvan de prestaties lineair degraderen met de foutpercentage van de voorspelling (bijv. een foutpercentage van 10% leidt tot significante SLO-schendingen), is ConServe immuun voor dergelijke fouten omdat het vertrouwt op observeerbare staat.

5. Betekenis en Claims

Het paper claimt dat de fundamentele abstractie voor agentic serving de conversatie is, niet de beurt. Door de stabiele twee-fasen structuur van agentic workloads te erkennen, demonstreert ConServe dat:

• Placement moet reactief zijn, niet predictief. Vertrouwen op observeerbare staat (input lengte, KV bezetting) is voldoende en robuuster dan het voorspellen van toekomstig beurt-gedrag.
• De granulariteit van scheduling de systeemstabiliteit bepaalt. De fragiliteit van huidige multi-turn systemen is geen inherente eigenschap van de workload, maar een gevolg van scheduling op beurt-niveau.
• Energie-efficiëntie een natuurlijk bijproduct is. De conversatie-niveau fase-splitsing maakt efficiënte heterogene mapping mogelijk zonder complexe orchestratie, waarbij high-power compute alleen wordt ingezet waar nodig (de initiële prefill) en lagere rekenkracht wordt gebruikt voor de memory-bound staart.

De auteurs presenteren ConServe niet als een complex, geleerd systeem, maar als een "minimale instantie" van een principieel paradigma dat de systeemoptimalisatie afstemt op de werkelijke gebruikerswaarde (voltooiing van de conversatie) in plaats van op tussenliggende systeemmetrieken (per-turn latentie).