MARS: Efficient, Adaptive Co-Scheduling for Heterogeneous Agentic Systems
MARS ist ein effizientes, adaptives Co-Scheduling-System, das heterogene GPU-CPU-Ressourcen für autonome LLM-Agenten global koordiniert, indem es die Zulassung von der Ausführung entkoppelt und die Zustandsbeibehaltung optimiert, wodurch die End-to-End-Latenz erheblich reduziert wird, während gleichzeitig ein hoher Durchsatz aufrechterhalten wird.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie führen eine geschäftige, hochtechnologische Küche. In der Vergangenheit kochte diese Küche nur einfache, einmalige Gerichte (wie eine einzelne Textantwort). Die Köche (GPUs) waren die einzigen, die zählten, und das Ziel war es einfach, so viele Gerichte pro Stunde wie möglich zu kochen.
Aber heute hat sich die Küche verändert. Sie führt nun autonome Agenten aus – denken Sie an sie als Superköche, die nicht nur ein Gericht kochen, sondern eine komplexe Reise unternehmen, um ein Problem zu lösen. Sie kochen ein wenig, rennen dann zur Speisekammer, um eine Zutat zu holen (ein Werkzeug verwenden), schauen in ein Rezeptbuch (eine Datei lesen), kehren zum Herd zurück, kochen etwas weiter und wiederholen diese Schleife Dutzende Male, bis die Arbeit erledigt ist.
Die Arbeit stellt MARS vor, einen neuen „Küchenmanager", der speziell für diesen chaotischen, mehrstufigen Kochstil entwickelt wurde. So funktioniert es, mit einfachen Analogien:
Das Problem: Die alte Küche brach zusammen
Die alten Küchenmanager (bestehende KI-Systeme) waren für die Ära der „einmaligen Gerichte" konzipiert. Wenn sie mit diesen neuen, komplexen Agenten-Reisen konfrontiert wurden, machten sie drei große Fehler:
- Die „Stop-and-Go"-Falle: Wenn ein Koch aufhört zu kochen, um zur Speisekammer zu rennen (CPU-Werkzeugausführung), würde der alte Manager entweder die Notizen des Kochs (KV-Cache) wegwerfen, um Platz zu sparen, oder sie für immer behalten, wodurch die Theke verstopft wurde. Wenn die Notizen weggeworfen wurden, musste der Koch das gesamte Rezept beim Zurückkommen von Grund auf neu schreiben, was enorme Zeitverschwendung bedeutete.
- Die Blockade durch „große Bestellungen": Wenn eine riesige, komplexe Bestellung (ein langer Kontext) eintraf, würde sie den Herd einnehmen und alle kleinen, schnellen Bestellungen dahinter blockieren, selbst wenn diese kleinen Bestellungen bereit waren.
- Der „blinde Fleck": Der Manager beobachtete nur den Herd (GPU). Er sah nicht, dass die Speisekammer (CPU) verstopft war. Also schickte er weiterhin Köche zum Herd, obwohl die Speisekammer voll war, was zu einem Stau führte, bei dem Köche untätig warteten, während sie auf Zutaten warteten.
Die Lösung: MARS (Der intelligente Küchenmanager)
MARS behebt dies, indem es als zentrales Nervensystem fungiert, das alles sieht – sowohl den Herd als auch die Speisekammer – und sie perfekt koordiniert.
1. Der „vereinheitlichte Informationsstrom" (Das Walkie-Talkie)
Anstatt zu raten, verfügt MARS über einen Live-Feed, der Herd und Speisekammer verbindet.
- Wie es funktioniert: Jedes Mal, wenn ein Koch pausiert, um zur Speisekammer zu gehen, oder mit einer Zutat zurückkehrt, wird sofort ein Signal gesendet. Der Manager weiß genau, warum der Koch angehalten hat und wann er zurückkehren wird.
- Der Vorteil: Der Manager muss nie raten. Er weiß genau, wie viel Thekenplatz (Speicher) für die Notizen des Kochs aufzubewahren ist und wann Platz für neue Bestellungen geräumt werden muss.
2. Die „externe Kontrollebene" (Der Türsteher)
Bevor eine neue Bestellung überhaupt die Küche betritt, prüft MARS, ob die Küche sie tatsächlich bewältigen kann.
- Wie es funktioniert: Es prüft zwei Dinge: Ist der Herd frei? Ist die Speisekammer frei? Wenn die Speisekammer mit Werkzeugaufgaben verstopft ist, sagt MARS: „Im Moment keine neuen Bestellungen", selbst wenn der Herd leer ist. Dies verhindert, dass die Küche überfordert wird.
- Der Vorteil: Es verhindert, dass die Küche zu viele Bestellungen gleichzeitig annimmt, was zu einem totalen Zusammenbruch führen würde, bei dem nichts fertiggestellt wird.
3. Der „interne, agentenzentrierte Scheduler" (Der intelligente Disponent)
Sobald sich Bestellungen im Inneren befinden, entscheidet MARS, wer als Nächstes kocht. Es folgt nicht einfach einer „Wer zuerst kommt, mahlt zuerst"-Schlange.
- Wie es funktioniert:
- Priorität: Wenn ein Koch mitten in einem schnellen, interaktiven Schritt steckt, lässt MARS ihn zuerst gehen. Wenn ein Koch an einem massiven, langsamen Rezept festhängt, könnte MARS ihn kurz pausieren, um anderen zu ermöglichen, fertig zu werden, und so die Blockade durch „große Bestellungen" verhindern.
- Der Trick des „warmen Wiederaufsetzens": MARS entscheidet intelligent, ob die Notizen eines Kochs (KV-Cache) auf der Theke behalten werden sollen. Wenn der Koch in 2 Sekunden zurückkehrt, behält MARS die Notizen (Zeitersparnis). Wenn er 20 Minuten weg ist, räumt MARS die Notizen, um Platz für andere zu schaffen. Es behält die Notizen nur dann, wenn dies tatsächlich Zeit spart.
Die Ergebnisse: Schneller und reibungsloser
Die Arbeit testete MARS in realen Szenarien (wie einem Code-Assistenten, der Software schreibt und testet).
- Geschwindigkeit: MARS ließ die Agenten ihre Aufgaben in kontrollierten Tests bis zu 5,94-mal schneller abschließen als die alten Systeme. In einem realen Code-Setup beschleunigte es den Abschluss von Aufgaben um das 1,87-fache.
- Zuverlässigkeit: Während alte Systeme so verstopft wurden, dass sie die Fertigstellung von Aufgaben ganz einstellten (hoher „Durchsatz", aber null „Gütedurchsatz"), hielt MARS die Küche reibungslos am Laufen und stellte sicher, dass Aufgaben tatsächlich pünktlich abgeschlossen wurden.
Zusammenfassung
Denken Sie an MARS als den Unterschied zwischen einem Küchenmanager, der nur zählt, wie viele Töpfe auf dem Herd stehen, und einem, der den gesamten Ablauf des Restaurants versteht. Indem er Herd und Speisekammer gleichzeitig beobachtet und intelligente Entscheidungen darüber trifft, wer als Nächstes kocht und welche Notizen aufzubewahren sind, stellt MARS sicher, dass komplexe, mehrstufige KI-Agenten effizient arbeiten können, ohne in Staus stecken zu bleiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.