AgentServe: Algorithm-System Co-Design for Efficient Agentic AI Serving on a Consumer-Grade GPU

Der Artikel stellt AgentServe vor, ein auf einem Consumer-GPU basierendes System, das durch eine Co-Design-Strategie von Algorithmus und System die Stabilität und Latenz bei der Inferenz mehrerer KI-Agenten durch die Isolation von Prefill- und Decode-Phasen sowie dynamisches Ressourcenmanagement signifikant verbessert.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschungspapiers „AgentServe", verpackt in eine Geschichte aus dem Alltag.

Das Problem: Der überlastete Küchenchef

Stellen Sie sich einen sehr talentierten, aber einzigen Koch (das ist Ihre Grafikkarte/GPU) in einer kleinen Küche vor. Dieser Koch soll für mehrere Gäste gleichzeitig kochen.

In der Welt der KI gibt es zwei Arten von Aufgaben, die dieser Koch erledigen muss:

1. Das „Große Vorbereiten" (Cold Prefill): Ein Gast kommt und sagt: „Hier ist ein 30-seitiges Rezept mit allen Zutaten und Regeln." Der Koch muss das ganze Rezept lesen, verstehen und sich alles merken, bevor er auch nur einen einzigen Bissen servieren kann. Das dauert lange und bindet den Koch fest.
2. Das „Schnelle Servieren" (Short Decode): Sobald der Koch den ersten Bissen serviert hat, muss er schnell weitere Bissen nachreichen. Bei einem normalen Chatbot (wie einem normalen Restaurant) sind diese Bissen oft lange, fließende Sätze. Der Koch kann hier in einem ruhigen Rhythmus arbeiten.

Aber bei KI-Agenten ist es anders:
KI-Agenten sind wie Gäste, die ständig neue Anweisungen geben. Der Koch liest das große Rezept (Vorbereitung), serviert ein Wort, dann ruft der Gast: „Warte, ich habe gerade eine neue Information!" (z. B. das Ergebnis einer Google-Suche). Der Koch muss diese neue Information sofort in sein Gedächtnis einfügen (das ist das „Resume Prefill") und dann sofort wieder ein sehr kurzes Wort servieren (z. B. „Okay, mache ich").

Das Chaos:
Wenn nun drei Gäste gleichzeitig kommen, passiert Folgendes:

• Gast A braucht den Koch für 10 Sekunden, um ein riesiges Rezept zu lesen.
• Währenddessen warten Gast B und C darauf, dass der Koch ihnen schnell ein paar Wörter serviert.
• Da der Koch nur einer ist, muss er erst das große Rezept für Gast A fertig lesen. Gast B und C stehen in der Schlange und warten.
• Sobald der Koch fertig ist, muss er sofort wieder für Gast B kurz etwas einfügen, dann für Gast C, dann wieder für Gast A.

Das Ergebnis: Die Gäste warten ungeduldig. Der Koch wird gestresst, die „Serviergeschwindigkeit" (die Geschwindigkeit, mit der Wörter erscheinen) wird unregelmäßig und ruckelig. Man nennt das im Fachjargon „Kopf-der-Schlange-Blockade" (Head-of-Line Blocking).

Die Lösung: AgentServe – Der clevere Küchenmanager

Die Forscher haben AgentServe entwickelt. Das ist kein neuer Koch, sondern ein intelligenter Küchenmanager, der den einzigen Koch so organisiert, dass alle Gäste zufrieden sind.

Hier sind die drei genialen Tricks des Managers:

1. Trennung der Aufgaben (Die zwei Tische)

Statt dass alle Gäste an einem Tisch sitzen und durcheinander reden, teilt der Manager die Küche in zwei Zonen auf:

• Zone A (Die Vorbereitungs-Zone): Hier werden nur die großen Rezepte gelesen.
• Zone B (Die Servier-Zone): Hier werden nur die schnellen Wörter nachgereicht.

Der Manager sorgt dafür, dass der Koch in Zone B niemals unterbrochen wird, solange dort jemand wartet. Die großen Vorbereitungen (Zone A) dürfen nur dann starten, wenn die Servier-Zone ruhig ist. So bleibt das Servieren immer flüssig.

2. Der dynamische Budget-Plan (Das Taschengeld)

Manchmal muss der Koch auch mitten im Servieren eine kleine Information einfügen (das „Resume Prefill"). Das ist wie ein kleiner Zwischenstopp.
Der Manager gibt dem Koch ein Taschengeld (ein Token-Budget).

• Wenn die Gäste langsam serviert werden (der Koch ist gestresst), nimmt der Manager dem Koch das Taschengeld weg. Er darf dann keine neuen kleinen Rezepte mehr lesen, sondern muss sich nur auf das Servieren konzentrieren.
• Wenn es ruhig ist, gibt er mehr Taschengeld, damit der Koch auch die kleinen Vorbereitungen erledigen kann.
  Das passiert automatisch und in Echtzeit, basierend darauf, wie schnell der Koch gerade arbeitet.

3. Die reservierten Plätze (CUDA Green Contexts)

Stellen Sie sich vor, der Koch hat einen speziellen Stuhl, auf dem er sitzt. Normalerweise muss er für jede Aufgabe aufstehen, den Stuhl wechseln und sich neu einrichten. Das kostet Zeit.
AgentServe hat vorbereitete, reservierte Stühle (CUDA Green Contexts) für den Koch.

• Es gibt einen Stuhl, der nur für das schnelle Servieren reserviert ist.
• Es gibt Stühle für die Vorbereitung.
  Der Manager schaltet den Koch blitzschnell zwischen diesen Stühlen um, ohne dass er aufstehen muss. Das spart enorm viel Zeit und verhindert, dass der Koch durch das Hin- und Herlaufen verwirrt wird.

Das Ergebnis: Ein glückliches Restaurant

Dank dieses Systems passiert Folgendes:

• Keine Wartezeiten mehr: Die Gäste bekommen ihr erstes Wort (den ersten Bissen) viel schneller.
• Ruhiges Servieren: Die Wörter kommen in einem gleichmäßigen, flüssigen Rhythmus, ohne Ruckeln.
• Mehr Gäste: Der Koch kann mehr Gäste gleichzeitig bedienen, ohne dass die Qualität leidet.

In den Tests hat AgentServe gezeigt, dass es im Vergleich zu anderen Systemen (wie SGLang oder vLLM) bis zu 2,8-mal schneller beim ersten Wort und 2,7-mal stabiler beim Servieren ist.

Zusammenfassung für den Alltag

Stellen Sie sich vor, Sie nutzen einen KI-Assistenten auf Ihrem eigenen Laptop, um Ihre E-Mails zu sortieren und Termine zu buchen. Ohne AgentServe würde Ihr Laptop hängen, wenn der Assistent gerade eine lange E-Mail liest, während Sie auf eine schnelle Antwort warten.

Mit AgentServe ist es so, als hätte Ihr Laptop einen unsichtbaren Assistenten, der den Koch (die Grafikkarte) perfekt diszipliniert: Er sorgt dafür, dass die wichtigen, schnellen Antworten immer Vorrang haben, während die langen Leseaufgaben im Hintergrund warten, ohne den Fluss zu stören. So wird Ihr lokaler KI-Assistent schnell, stabil und zuverlässig – selbst auf einem normalen Heim-PC.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „AgentServe: Algorithm-System Co-Design for Efficient Agentic AI Serving on a Consumer-Grade GPU" auf Deutsch:

1. Problemstellung

Die Arbeit adressiert die Herausforderungen beim Bereitstellen von KI-Agenten (Agentic AI) auf Consumer-GPUs (z. B. NVIDIA RTX-Serie). Im Gegensatz zu traditionellen Chatbots, die lange Eingaben verarbeiten und lange Textgenerierungen (Decodes) produzieren, arbeiten KI-Agenten in kurzen „Reasoning-Action"-Schleifen. Diese Workloads zeichnen sich durch folgende Merkmale aus:

• Asymmetrie der Phasen: Lange, rechenintensive „Cold Prefills" (Verarbeitung des System-Prompts) wechseln sich mit kurzen „Resume Prefills" (Anhängen von Tool-Ausgaben) und sehr kurzen, aber latenzkritischen „Decodes" ab.
• Head-of-Line (HoL) Blocking: Wenn mehrere Agenten gleichzeitig auf einer einzigen GPU laufen, monopolisieren die langen Prefill-Kernel die Rechenressourcen (SMs) und den Speicherbandbreiten. Dies blockiert die kurzen Decodes, was zu instabilen Token-Ausgabegeschwindigkeiten führt.
• Folgen: Kleine Verzögerungen im Decode-Prozess unterbrechen den Rhythmus der Token-Emission und kaskadieren zu erheblichen Gesamtverzögerungen der Agenten-Aufgaben.
• Limitationen bestehender Systeme: Bestehende Lösungen wie PD-Disaggregation (Trennung von Prefill und Decode auf verschiedenen GPUs/Prozessen) oder Chunked Prefill sind für Single-GPU-Consumer-Umgebungen ungeeignet, da sie entweder zu viel Overhead durch Prozesskommunikation verursachen oder die kurzen Decodes in Agenten-Schleifen nicht ausreichend schützen.

2. Methodik: AgentServe

AgentServe ist ein Single-GPU-Bereitstellungssystem, das durch ein Co-Design von Algorithmus und Systemarchitektur die Interferenz zwischen Prefills und Decodes minimiert.

A. Systemarchitektur

Das System ist in drei Schichten unterteilt:

1. Application Layer: Nimmt Anfragen von Agenten-Frameworks (z. B. LangChain, AutoGen) entgegen.
2. Orchestration Layer (CPU): Ein „Resource-Aware Scheduler" klassifiziert Anfragen dynamisch in Cold Prefills, Resume Prefills und Decodes. Er steuert die Ressourcenzuteilung basierend auf Echtzeit-Metriken.
3. Execution Layer (GPU): Nutzt CUDA Green Contexts (eine neue CUDA-Funktion), um GPU-Ressourcen (Streaming Multiprocessors, SMs) räumlich zu partitionieren. Dies ermöglicht eine strikte Isolation innerhalb eines einzigen Engines, ohne den Overhead von Prozesswechseln oder KV-Cache-Transfers zwischen verschiedenen Instanzen.

B. Algorithmische Ansätze

• Phasenbewusste Klassifizierung:
  • Cold Prefills: Werden in eine dedizierte Warteschlange isoliert.
  • Resume Prefills: Werden unter einem dynamischen Token-Budget zugelassen, um den Decode-Prozess nicht zu blockieren.
  • Decodes: Erhalten priorisierte, geschützte Ressourcen.
• TPOT-gesteuertes Feedback-Scheduling: Der Scheduler überwacht die Time-Per-Output-Token (TPOT).
  • Steigt die TPOT (Verzögerung), wird das Budget für Resume-Prefills reduziert und die Anzahl der für Decodes reservierten SMs erhöht.
  • Sinkt die TPOT, werden Ressourcen für Prefills freigegeben, um den Durchsatz zu maximieren.
• Dynamische SM-Partitionierung: Anstatt statische Partitionen zu nutzen, werden vorab erstellte CUDA Green Contexts (mit verschiedenen SM-Anteilen, z. B. 10% bis 100%) genutzt. Der Scheduler bindet den Decode-Thread dynamisch an den passenden Context, um eine garantierte Mindestressource für Decodes sicherzustellen.

C. Theoretische Analyse

Die Autoren führen eine Wettbewerbsverhältnis-Analyse (Competitive-Ratio Analysis) durch. Sie beweisen, dass AgentServe unter SLO-Bedingungen (Service Level Objectives für Latenz) eine konstante Fraktion des optimalen Offline-Throughputs für Prefills erreicht, selbst bei diskreter Ressourcenzuteilung und begrenztem Steuerungs-Overhead.

3. Schlüsselbeiträge

1. Ressourcenbewusster Scheduling-Algorithmus: Eine Kombination aus Anfrage-Isolierung und TPOT-getriebener Adaptivität, die Prefill-Interferenz begrenzt und latenzkritische Decodes schützt.
2. Effizientes Ressourcenmanagement: Nutzung von vorab erstellten CUDA Green Contexts und leichtgewichtiger Shared-Memory-Koordination, um eine effiziente Partitionierung innerhalb eines einzigen Engines mit minimalem Laufzeit-Overhead zu ermöglichen.
3. AgentServe-System: Ein vollständig implementiertes Single-GPU-System für parallele Tool-augmentierte SLMs (Small Language Models), das speziell für lokale Agenten-Workflows optimiert ist.

4. Ergebnisse

Die Evaluation wurde auf Consumer-GPUs (NVIDIA RTX A5000 und RTX 5090) mit verschiedenen Modellen (Qwen2.5-3B/7B, LLaMA-3-8B) und Workloads (ReAct, Plan-and-Execute) durchgeführt. Der Vergleich erfolgte mit State-of-the-Art-Baselines wie SGLang, vLLM und llama.cpp.

• Latency (TTFT & TPOT):
  • AgentServe verbessert die Time-to-First-Token (TTFT) um bis zu 2,8-fach.
  • Die Time-Per-Output-Token (TPOT) wird um bis zu 2,7-fach verbessert.
  • Besonders die Tail-Latenzen (p95) werden drastisch reduziert, was für die Stabilität von Agenten-Schleifen entscheidend ist.
• Durchsatz: Trotz der strikten Isolation für Decodes bleibt der Gesamtdurchsatz (Tokens pro Sekunde) wettbewerbsfähig und übertrifft die Baselines in vielen Szenarien (bis zu 2,2-fach gegenüber llama.cpp).
• SLO-Einhaltung: AgentServe erreicht eine nahezu perfekte Einhaltung der Latenz-SLOs (SLO Attainment Rate) auch bei hoher Parallelität (bis zu 6 gleichzeitige Agenten), während Baselines bei steigender Last schnell versagen.
• Ablationsstudie: Das Entfernen entweder des Scheduling-Algorithmus oder der Green-Context-Isolation führt zu signifikanten Verschlechterungen, was die Notwendigkeit des Co-Designs unterstreicht.

5. Bedeutung und Fazit

Die Arbeit zeigt, dass KI-Agenten auf Consumer-Hardware effizient und stabil betrieben werden können, wenn die spezifischen Workload-Muster (lange Prefills vs. kurze Decodes) systematisch adressiert werden.

• Paradigmenwechsel: Statt auf reine Durchsatzoptimierung (wie bei Chatbots) zu setzen, priorisiert AgentServe die Stabilität der Token-Emission, was für die Interaktivität von Agenten essenziell ist.
• Praktische Relevanz: Die Lösung ermöglicht datenschutzkonforme, kostengünstige lokale KI-Agenten in Unternehmen, Robotik und Fahrzeugen, ohne auf Cloud-Infrastruktur angewiesen zu sein.
• Technischer Fortschritt: Die Nutzung von CUDA Green Contexts für feingranulare Isolation auf Single-GPU-Systemen stellt einen innovativen Ansatz dar, der Overhead reduziert und gleichzeitig strikte Ressourcenkontrollen ermöglicht.

Zusammenfassend demonstriert AgentServe, dass durch das Co-Design von Scheduling-Strategien und GPU-Systemmechanismen die Lücke zwischen den Anforderungen von KI-Agenten und den Fähigkeiten von Consumer-Hardware geschlossen werden kann.