💻 computer science

MARS: Efficient, Adaptive Co-Scheduling for Heterogeneous Agentic Systems

MARS is een efficiënt, adaptief co-scheduling-systeem dat heterogene GPU-CPU-resources voor autonome LLM-agenten globaal coördineert door toelating te ontkoppelen van uitvoering en het behoud van status te optimaliseren, waardoor de end-to-end-latentie aanzienlijk wordt verminderd terwijl een hoge doorvoer wordt behouden.

Oorspronkelijke auteurs: Yifei Wang, Hancheng Ye, Yechen Xu, Cong Guo, Chiyue Wei, Qinsi Wang, Dongting Li, Tingjun Chen, Hai "Helen" Li, Danyang Zhuo, Yiran Chen

Gepubliceerd 2026-05-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yifei Wang, Hancheng Ye, Yechen Xu, Cong Guo, Chiyue Wei, Qinsi Wang, Dongting Li, Tingjun Chen, Hai "Helen" Li, Danyang Zhuo, Yiran Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een drukke, high-tech keuken runt. In het verleden kookte deze keuken alleen simpele, eenmalige gerechten (zoals een enkele tekstreactie). De chefs (GPUs) waren de enigen die ertoe deden, en het doel was simpelweg om zo veel mogelijk gerechten per uur te bereiden.

Maar vandaag is de keuken veranderd. Hij draait nu autonome agenten—stel je ze voor als superchefs die niet alleen een gerecht bereiden, maar een complexe reis ondernemen om een probleem op te lossen. Ze koken misschien een beetje, rennen dan naar de voorraadkast om een ingrediënt te halen (een tool gebruiken), controleren een receptenboek (een bestand lezen), keren terug naar het fornuis, koken nog een beetje, en herhalen deze lus tientallen keren totdat de klus geklaard is.

Het artikel introduceert MARS, een nieuwe "Keukenmanager" die specifiek is ontworpen voor deze chaotische, meerstaps kookstijl. Hieronder wordt uitgelegd hoe het werkt, met eenvoudige analogieën:

Het Probleem: De Oude Keuken Hield Het Niet Vol

De oude keukenmanagers (bestaande AI-systemen) waren ontworpen voor het tijdperk van de "eenmalige gerechten". Wanneer ze werden geconfronteerd met deze nieuwe, complexe agentreizen, maakten ze drie grote fouten:

De "Stop-en-Ga" Valstrik: Wanneer een chef stopt met koken om naar de voorraadkast te rennen (CPU-tool-uitvoering), zou de oude manager ofwel de aantekeningen van de chef (KV-cache) weggooien om ruimte te besparen, of ze voor altijd bewaren, waardoor het aanrecht verstopt raakte. Als de aantekeningen werden weggegooid, moest de chef het hele recept vanaf nul herschrijven bij terugkeer, wat enorme hoeveelheden tijd kostte.
De "Grote Bestelling" Blokkade: Als een enorme, complexe bestelling (een lange context) binnenkwam, nam deze het fornuis over en blokkeerde alle kleine, snelle bestellingen erachter, zelfs als die kleine bestellingen klaar waren om te gaan.
Het "Blind Vlek": De manager keek alleen naar het fornuis (GPU). Ze zagen niet dat de voorraadkast (CPU) vastliep. Dus stuurden ze chefs naar het fornuis, zelfs als de voorraadkast vol zat, wat leidde tot een file waar chefs stil stonden te wachten op ingrediënten.

De Oplossing: MARS (De Slimme Keukenmanager)

MARS lost dit op door te fungeren als een centraal zenuwstelsel dat alles ziet—zowel het fornuis als de voorraadkast—en ze perfect op elkaar afstemt.

1. De "Gecentraliseerde Informatiestroom" (De Walkie-Talkie)

In plaats van te gokken, heeft MARS een live feed die het fornuis en de voorraadkast met elkaar verbindt.

Hoe het werkt: Elke keer dat een chef pauzeert om naar de voorraadkast te gaan, of terugkeert met een ingrediënt, wordt er direct een signaal verzonden. De manager weet precies waarom de chef stopte en wanneer ze terugkomen.
Het Voordeel: De manager hoeft nooit te gokken. Ze weten precies hoeveel aanrechtplek (geheugen) ze moeten bewaren voor de aantekeningen van de chef en wanneer ze ruimte moeten vrijmaken voor nieuwe bestellingen.

2. De "Externe Controleplaat" (De Doorman)

Voordat een nieuwe bestelling de keuken binnenkomt, controleert MARS of de keuken deze daadwerkelijk aankan.

Hoe het werkt: Het kijkt naar twee dingen: Is het fornuis vrij? Is de voorraadkast vrij? Als de voorraadkast vastloopt met tool-taken, zegt MARS: "Geen nieuwe bestellingen op dit moment", zelfs als het fornuis leeg is. Dit voorkomt dat de keuken overbelast raakt.
Het Voordeel: Het voorkomt dat de keuken te veel bestellingen tegelijk accepteert, wat zou leiden tot een totale instorting waarbij niets wordt afgemaakt.

3. De "Interne Agent-gerichte Planner" (De Slimme Dispatcher)

Zodra bestellingen binnen zijn, beslist MARS wie er als volgende kookt. Het volgt niet zomaar een "Eerst Komt, Eerst Bediend"-lijn.

Hoe het werkt:
- Prioriteit: Als een chef halverwege een snelle, interactieve stap zit, laat MARS ze eerst gaan. Als een chef vastzit aan een enorm, traag recept, kan MARS ze kort onderbreken om anderen de kans te geven af te maken, waardoor de "grote bestelling"-blokkade wordt voorkomen.
- De "Warm Resume" Truc: MARS beslist op een intelligente manier of de aantekeningen van een chef (KV-cache) op het aanrecht bewaard moeten blijven. Als de chef over 2 seconden terugkomt, bewaart MARS de aantekeningen (tijd besparen). Als ze 20 minuten weg zijn, ruimt MARS de aantekeningen op om ruimte te maken voor anderen. Het bewaart de aantekeningen alleen als dit daadwerkelijk tijd bespaart.

De Resultaten: Sneller en Soepeler

Het artikel testte MARS in real-world scenario's (zoals een coderingsassistent die software schrijft en test).

Snelheid: MARS liet de agenten hun taken tot 5,94 keer sneller voltooien dan de oude systemen in gecontroleerde tests. In een real-world coderingsopstelling versnelde het de taakvoltooiing met 1,87 keer.
Betrouwbaarheid: Terwijl oude systemen zo verstopt raakten dat ze helemaal stopten met het voltooien van taken (hoge "throughput" maar nul "goodput"), hield MARS de keuken soepel draaiende, zodat taken daadwerkelijk op tijd werden afgerond.

Samenvatting

Denk aan MARS als het verschil tussen een keukenmanager die alleen telt hoeveel potten er op het fornuis staan, en een manager die het volledige verloop van het restaurant begrijpt. Door tegelijkertijd naar het fornuis en de voorraadkast te kijken, en slimme beslissingen te nemen over wie er als volgende kookt en welke aantekeningen bewaard moeten blijven, zorgt MARS ervoor dat complexe, meerstaps AI-agenten efficiënt kunnen werken zonder vast te lopen in files.

1. Probleemstelling

Het artikel identificeert een fundamentele verschuiving in de paradigma's voor het serveren van Large Language Models (LLM) veroorzaakt door de opkomst van autonome agenten. In tegenstelling tot traditionele chatbots die inferentie in één beurt uitvoeren, voeren agenten iteratieve workflows uit die multi-turn loops omvatten van generatie, tool-aanroepen en statusupdates. Deze verschuiving introduceert twee kritieke uitdagingen die bestaande LLM-serveringsengines (zoals vLLM, TGI) niet aanpakken:

Temporele verschuiving (Single-turn $\to$ Multi-turn): Sessies zijn geen continue GPU-operaties meer. Ze pauzeren voor tool-uitvoering (CPU-gebonden) en zetten later voort. Bestaande systemen worstelen met de beslissing of ze de KV-cache resident moeten houden (voor snelle "warme" hervatting) of moeten verwijderen (om geheugen te besparen), wat leidt tot ofwel geheugentekort ofwel dure prefix-herberekening.
Ruimtelijke verschuiving (GPU-only $\to$ GPU-CPU Co-located): Agente werklasten vereisen gekoppelde uitvoering op zowel GPU's (inferentie) als host-CPU's (tool-uitvoering). Bestaande systemen optimaliseren geïsoleerd voor GPU-token-doorvoer, waarbij CPU-bottlenecks worden genegeerd. Dit leidt tot Head-of-Line (HoL) blocking, waarbij lange prefill-aanvragen korte interactieve voortzettingen blokkeren, en gekoppelde wachtrijen, waarbij GPU-capaciteit inactief blijft terwijl er wordt gewacht op CPU-tool-uitvoering.

Het kernprobleem is het ontbreken van een systeem dat holistische zichtbaarheid en adaptieve co-scheduling biedt over heterogene GPU- en CPU-resources om de voltooiing van de end-to-end workflow te optimaliseren in plaats van alleen de ruwe token-doorvoer.

2. Methodologie: MARS-architectuur

MARS (Multi-turn Adaptive Resource Scheduler) is een co-scheduling-systeem ontworpen om de kloof te overbruggen tussen GPU-inferentie en CPU-tool-uitvoering. Het is gebaseerd op drie pijlers:

A. Unificatie Informatiestroom

Om het "blinde vlek" tussen GPU- en CPU-statussen te elimineren, introduceert MARS een laag-overhead telemetrisch pad dat gestructureerde grensgebeurtenissen exporteert.

GPU-Plane: Rapporteert KV-blokbeschikbaarheid, prefill-lanceervertragingen en geprojecteerde KV-vraag.
CPU-Plane: Houdt actieve tool-aanroepen en uitvoeringsduur bij om congestie aan de host-kant te kwantificeren.
Functie: Deze stroom levert real-time, dubbel-druk telemetrie, waardoor het systeem gefundeerde beslissingen kan nemen op basis van daadwerkelijke resource-concurrentie in plaats van statische heuristieken.

B. Externe Control Plane (Toelatingscontrole)

Dit onderdeel ontkoppelt toelating van uitvoering om resource-oversubscriptie te voorkomen.

Global Load Balancer: Herschikt de wachtende wachtrij op basis van huidige resource-druk. Bijvoorbeeld, onder hoge CPU-belasting prioriteert het GPU-zware sessies om het injecteren van meer tool-aanroepen te voorkomen; onder KV-druk prioriteert het kleinere sessies.
Adaptieve Toelatingscontroller: Gebruikt een AIMD (Additive Increase Multiplicative Decrease)-regelkring gedreven door de Unificatie Informatiestroom. Het past het toelatingsvenster ( $W_{adm}$ ) dynamisch aan op basis van real-time CPU- en KV-druk, zodat aanvragen alleen de data-plane binnenkomen wanneer globale resources voldoende zijn.

C. Interne Agent-gerichte Scheduler (Data Plane)

Zodra een aanvraag is toegelaten, beheert de scheduler de uitvoeringsvolgorde en KV-residentie om het end-to-end kritieke pad te minimaliseren.

Prioriteitsbewuste Coördinator: Vervangt First-Come-First-Served (FCFS) door een Multi-Level Feedback Queue. Het prioriteert aanvragen op basis van:
1. Initieel KV-voetafdruk (kleiner = hogere prioriteit).
2. Opgebouwde service (om starvation te voorkomen).
3. Wachtijd.
  Dit voorkomt dat lange prefill-taken korte, latentie-gevoelige voortzettingen blokkeren.
Opportunistische Co-Scheduler: Hanteert resource-beperkingen dynamisch.
- Chunk Shrinking: Als een volledige prefill niet in het geheugen past, verkleint het de token-chunk-grootte om gedeeltelijke voortgang mogelijk te maken in plaats van te blokkeren.
- Slimme KV-bewaring: Beslist of een KV-cache resident moet blijven tijdens tool-uitvoering. Het behoudt alleen de status als het voordeel van "warme hervatting" de geheugen-kanskosten opweegt, waardoor geheugenstranding wordt voorkomen.

3. Belangrijkste Bijdragen

Werklastkarakterisering: Het artikel identificeert formeel de temporele en ruimtelijke verschuivingen in agente werklasten en toont aan hoe deze dynamisch misaligneerd vraag creëren over GPU-berekening, KV-cache-capaciteit en host-CPU-resources.
Unificatie Telemetrie: Introductie van de Unificatie Informatiestroom, die heterogene resource-druk expliciet maakt door uitvoeringsgrensgebeurtenissen uit zowel GPU- als CPU-planes te exporteren.
Gekoppelde Control Architectuur: Een nieuw ontwerp dat een Externe Control Plane (voor toelating) combineert met een Interne Agent-gerichte Scheduler (voor uitvoering) die gezamenlijk toelating, planning en KV-residentie optimaliseert.
Implementatie & Integratie: MARS is geïmplementeerd bovenop vLLM en geïntegreerd met het OpenHands coderingsagent-framework, wat praktische toepasbaarheid demonstreert.

4. Experimentele Resultaten

De auteurs evalueerden MARS op H100- en H200-GPU's met modellen zoals Qwen3-Coder-30B en GPT-OSS-120B, over benchmarks waaronder SWE-bench, GitTaskBench en RepoBench.

Latentie-reductie: MARS verlaagt de gemiddelde end-to-end-latentie met maximaal 5,94× vergeleken met state-of-the-art baselines (inclusief FCFS, Autellix, Infercept en Continuum) onder zware belasting.
Doorvoer & Goodput: Terwijl het bijna maximale systeem-doorvoer behoudt, verbetert MARS significant de Dynamic SLO-Aware Goodput (het aantal aanvragen dat binnen latentiedoelen wordt voltooid). Baselines zakken vaak in goodput onder belasting, terwijl MARS hoge voltooiingspercentages handhaaft.
Real-world Implementatie: In een realistische implementatie met OpenHands versnelde MARS de end-to-end taakvoltooiingstijd met maximaal 1,87×.
Ablatie-studies: Het verwijderen van de Prioriteitsbewuste Coördinator veroorzaakte een 2×–5× toename van de latentie door HoL-blocking. Het verwijderen van de Externe Control Plane veroorzaakte een 1,5×–3× vertraging door onbeheerde wachtrijopbouw.

5. Betekenis

MARS vertegenwoordigt een paradigmaverschuiving in LLM-serveringsinfrastructuur. Het beweegt weg van de request-centric, doorvoer-geoptimaliseerde modellen van het verleden naar sessie-bewuste, end-to-end workflow-optimalisatie.

Systemische Impact: Het lost het probleem van "gekoppelde druk" op waarbij GPU- en CPU-resources afhankelijk zijn van elkaar, een kritieke bottleneck voor de volgende generatie autonome agenten.
Praktijkgerichtheid: Door integratie met OpenHands en vLLM bewijst het dat deze architecturale wijzigingen kunnen worden ingezet in real-world agente frameworks zonder de volledige stack te herschrijven.
Toekomstige Richting: Het artikel benadrukt de noodzaak van OS-achtige abstracties in LLM-serving om stateful, multi-turn contexten te beheren, wat de weg effent voor robuustere en efficiëntere agente systemen.

Kortom, MARS biedt de noodzakelijke control plane en planningslogica om heterogene agente systemen efficiënt, schaalbaar en responsief te maken, en adresseert de kritieke kloof tussen ruwe hardwarecapaciteit en daadwerkelijke workflow-voltooiing.