Cascade: Exploiting SLO-Aware latency budget for fair and high goodput LLM inference serving
Cascade ist ein LLM-Serving-System, das ein dynamisches, pro Anfrage variables Latenzbudget nutzt, um das Scheduling und das KV-Cache-Management gemeinsam zu optimieren und dadurch den SLO-erfüllten Goodput sowie die Fairness im Vergleich zu traditionellen First-Come-First-Served-Ansätzen signifikant zu verbessern und Verletzungen zu reduzieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen belebten, hochgeschwindigkeitsfähigen Bahnhof vor, an dem Tausende von Passagieren versuchen, zur exakt gleichen Zeit in verschiedene Züge zu steigen. Einige Passagiere haben nur einen kleinen Rucksack dabei (eine kurze, schnelle Frage), während andere riesige, schwere Koffer voller jahrelanger Erinnerungen hinter sich herziehen (eine lange, komplexe Geschichte oder eine tiefgründige Denkaufgabe). In der Welt der Künstlichen Intelligenz sind diese „Züge“ Large Language Models (LLMs) – die superintelligenten Computer, die Chatbots, Coding-Assistenten und Reasoning-Agenten antreiben. Die „Passagiere“ sind die Anfragen, die wir an sie senden.
Damit diese Systeme sich schnell und hilfreich anfühlen, müssen sie versprechen, Antworten innerhalb eines bestimmten Zeitlimits zu liefern, das als Service Level Objective (SLO) bekannt ist. Denken Sie an ein Ticket, auf dem steht: „Sie müssen innerhalb von 5 Sekunden im Zug sitzen und losfahren.“ Das Problem ist, dass die Bahnhofsmanager bisher eine sehr alte Regel angewandt haben: „Wer zuerst kommt, mahlt zuerst.“ Das bedeutet, wenn ein Passagier mit einem riesigen Koffer zuerst eintrifft, müssen alle anderen hinter ihm warten, selbst wenn die Person hinter ihm nur einen winzigen Rucksack hat und in einem Bruchteil einer Sekunde bedient werden könnte. Dies verursacht einen massiven Stau. Darüber hinaus verfügt der Bahnhof über eine begrenzte Menge an Hochgeschwindigkeits-Speicherplatz (wie einen VIP-Warteraum) für das Gepäck der Passagiere. Wenn das Gepäck in einem langsamen, entfernten Lagerhaus aufbewahrt wird, dauert das Abholen Zeit. Wenn der Bahnhofsmanager nicht weiß, wie viel Zeit jedem Passagier noch bleibt, bevor sein Zug abfährt, verschwendet er vielleicht kostbare Sekunden damit, Gepäck für jemanden zu holen, der bereits zu spät ist, während jemand anderes, der rechtzeitig dran wäre, zurückbleibt.
Dies ist die Herausforderung, die ein neues System namens CASCADE bewältigt, das in einem kürzlich erschienenen Paper von Forschern der University of British Columbia, Microsoft Azure Research und NVIDIA beschrieben wurde. Die Forscher erkannten, dass jede Anfrage ein verborgenes „Zeitbudget“ hat – die Differenz zwischen der Zeit, die sie benötigt, um ihre Aufgabe zu beenden, und der Zeit, die ihr zur Verfügung steht. Einige Anfragen haben ein riesiges Budget (viel Zeitreserve), während andere fast gar keines haben. Das Paper argumentiert, dass das System, anstatt nur darauf zu schauen, wer zuerst ankam oder wie groß die Anfrage ist, dieses verbleibende Zeitbudget betrachten sollte, um zu entscheiden, wer als Nächstes an der Reihe ist und wie mit deren Daten umzugehen ist.
Die Kernidee von CASCADE besteht darin, dieses Zeitbudget als eine gemeinsame Währung für zwei verschiedene Aufgaben zu behandeln: die Entscheidung über die Reihenfolge der Anfragen und die Verwaltung dessen, wo ihre Daten liegen. In den Simulationen des Papers, die reale Verkehrsdaten von Produktionsservern verwendeten und an drei verschiedenen riesigen KI-Modellen (Qwen-2.5-72B, Llama-3-70B und Llama-3-405B) getestet wurden, zeigte CASCADE beeindruckende Ergebnisse. Indem das System ständig berechnete, wie viel „Zeitspielraum“ jede Anfrage noch hatte, konnte es diejenigen priorisieren, denen die Zeit ausging, während es Anfragen mit reichlich Zeit etwas länger warten ließ oder deren Daten aus langsamerem, günstigerem Speicher abrief.
Die Ergebnisse legen nahe, dass dieser Ansatz ein Game-Changer für die Effizienz ist. In ihren Tests verbesserte CASCADE die Anzahl der erfolgreichen Anfragen, die das System bewältigen konnte (genannt „Goodput“), um bis zu das 2,4-fache im Vergleich zur Standardmethode „Wer zuerst kommt, mahlt zuerst“, die von populären Systemen wie vLLM verwendet wird. Viel wichtiger ist, dass es die Anzahl der Anfragen, die ihre Zeitlimits verpassten (SLO-Verletzungen), um 40 % senkte. Vielleicht am kreativsten ist, dass dies geschah, ohne dass lange, komplexe Anfragen darunter litten. Im Gegensatz zu anderen Methoden, die kurze Anfragen hetzen und lange Anfragen vernachlässigen könnten, sorgte CASCADE für ein faires Erlebnis für alle und stellte sicher, dass sowohl die „Rucksack“- als als auch die „Riesenkoffer“-Passagiere rechtzeitig bedient wurden. Das System erreichte dies, indem es dynamisch entschied, ob Daten aus dem schnellen Speicher abgerufen, aus dem langsameren Speicher geholt oder einfach neu berechnet werden sollten, basstierend darauf, ob die spezifische Anfrage genug Zeitbudget hatte, um die Verzögerung abzufedern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.