💻 computer science

CALM: A Self-Adaptive Orchestration Approach for QoS-Aware Routing in Small Language Model based Systems

Het artikel introduceert CALM, een zelfadaptief orchestratieframework gebaseerd op de MAPE-K-lus dat gebruikersqueries dynamisch routeert naar een gecoördineerde vloot van gespecialiseerde Small Language Models (SLM's) terwijl het caching en scheduling gebruikt om de latentie met 40% en het energieverbruik met 50% te verminderen in vergelijking met single-LLM baselines.

Oorspronkelijke auteurs: Hemang Jain, Divyansh Pandey, Karthik Vaidhyanathan

Gepubliceerd 2026-02-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hemang Jain, Divyansh Pandey, Karthik Vaidhyanathan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een druk restaurant runt. In het verleden had je misschien één enorme, peperdure chef gekocht die alles kon koken, van sushi tot biefstuk tot dessert. Deze chef is ongelooflijk talentvol, maar is traag, verbruikt een enorme hoeveelheid gas (energie) en raakt soms in de war als je iets heel specifieks vraagt, zoals "een glutenvrij, natriumarm gerecht voor een diabeet."

De auteurs van dit artikel, CALM, stellen een andere manier voor om je keuken te runnen. In plaats van één gigantische chef, huur je een team van zes gespecialiseerde chefs.

Eén is een meester in Italiaanse pasta.
Eén is een sushi-expert.
Eén is een dessertspecialist.
Eén is een veganistische expert.
Enzovoort.

Deze "Small Language Models" (SLM's) zijn kleiner, sneller, goedkoper in gebruik en veel beter in hun specifieke taken dan de gigantische chef. Maar hier is het probleem: je kunt niet zes chefs tegelijkertijd bij het fornuis laten staan, want je keuken is te klein (het geheugen van je computer is beperkt).

CALM is de slimme manager die beslist welke chef welk gerecht moet bereiden, op het juiste moment, om ervoor te zorgen dat je het eten snel, goedkoop en heerlijk krijgt.

Hier is hoe de CALM-manager werkt, stap voor stap uitgelegd:

1. Het Slimme Menu (Model Registratie)

Voordat er bestellingen binnenkomen, schrijft elke chef een korte beschrijving van waar hij goed in is.

Chef A zegt: "Ik ben erg goed in medisch advies."
Chef B zegt: "Ik ben erg goed in juridische contracten."
Chef C zegt: "Ik ben erg goed in fitnessadvies."

De manager (CALM) houdt een lijst met deze beschrijvingen bij.

2. De Bestelloper (Routing)

Wanneer een klant binnenkomt en zegt: "Ik heb een zere keel en koorts," kiest de manager niet zomaar een willekeurige chef.

De Breinscant: De manager leest de vraag van de klant snel en vergelijkt deze met de beschrijvingen van de chefs. Hij realiseert zich: "Hé, de Medische Chef is de beste match!"
De Snelheidscheck: Maar wacht even, de manager controleert ook de "live statistieken". Is de Medische Chef momenteel druk? Is hij vandaag traag? Heeft hij bij de vorige bestelling veel energie verbruikt?
De Beslissing: Als de Medische Chef traag of moe is, kan de manager zeggen: "Oké, stuur dit dan naar de Algemene Gezondheidschef, die is momenteel sneller."

Dit wordt Self-Adaptive Routing genoemd. De manager leert continu en verandert zijn mening op basis van hoe de chefs op dit moment presteren, niet alleen op basis van wat ze zouden moeten doen.

3. De Keukenplank (Caching)

Omdat de keuken klein is, kan de manager slechts drie chefs tegelijkertijd bij het fornuis houden (in het computergeheugen). De andere drie slapen in de achterkamer (op de harde schijf).

Als de klant "Sushi" bestelt en de Sushi-chef staat al bij het fornuis, geweld! De manager stuurt de bestelling direct door.
Als de Sushi-chef in de achterkamer is, moet de manager hem wakker maken en naar het fornuis brengen. Dit kost een paar seconden (een "cold start").
De Magische Truk: De manager is slim over wie er bij het fornuis blijft staan. Als de Sushi-chef achter elkaar voor drie mensen heeft gekookt, houdt de manager hem daar. Als de Italiaanse Chef al een uur niet is opgeroepen, stuurt de manager hem terug naar de achterkamer om ruimte te maken voor de volgende waarschijnlijke bestelling.

Dit is de Caching Module. Het bespaart tijd door de populairste chefs klaar te hebben staan, zodat je niet hoeft te wachten tot ze wakker worden.

4. De Feedbackloop (MAPE-K)

De manager raadt niet alleen; hij observeert alles.

Monitor: Hij houdt in de gaten hoe lang elke bestelling duurt en hoeveel gas (energie) er wordt verbruikt.
Analyze (Analyseren): Hij vraagt zich af: "Wordt de Sushi-chef langzamer?"
Plan: Hij besluit: "Oké, voor de volgende 10 bestellingen geven we prioriteit aan snelheid boven energie," of "Laten we prioriteit geven aan nauwkeurigheid."
Execute (Uitvoeren): Hij past de regels aan voor de volgende klant.

Wat hebben ze ontdekt?

De auteurs hebben dit systeem getest tegenover de "Gigantische Chef" (een enkele Large Language Model) en vonden enkele indrukwekkende resultaten:

Sneller: Het systeem was ongeveer 40% sneller (lagere latentie).
Groener: Het verbruikte ongeveer 50% minder energie.
Net zo goed: De kwaliteit van de antwoorden (vertrouwen/confidence) was net zo hoog als die van de gigantische chef, soms zelfs beter voor specifieke onderwerpen.
Slimmer Geheugen: Door het gebruik van de "Keukenplank" (caching), konden ze het hele systeem op een veel kleinere computer draaien (minder geheugen gebruiken) zonder dat dit veel vertraging opleverde.

De Kernboodschap

Het artikel betoogt dat in plaats van te proberen één gigantische, dure AI te maken die alles kan, we een team van kleinere, gespecialiseerde AI's moeten gebruiken die worden beheerd door een slim, zelf aanpassend systeem. Deze aanpak bespaart geld, bespaart energie en geeft je sneller antwoorden, terwijl de kwaliteit hoog blijft. Het is alsoOption van het vervangen van een enkele, overwerkte superchef door een goed beheerd team van specialisten.

Technische Samenvatting: CALM – Een zelfadaptieve orchestratie-aanpak voor QoS-bewuste routing in op Small Language Models gebaseerde systemen

1. Probleemstelling

Moderne AI-gestuurde systemen worden geconfronteerd met aanzienlijke runtime-onzekerheden voortvloeiend uit dynamische workloads, fluctuaties in resources en de inherente niet-deterministische aard van autoregressieve taalmodellen. Hoewel Large Language Models (LLMs) brede capaciteiten bieden, zijn ze vaak resource-intensief, duur om via API's uit te voeren en gevoelig voor hallucinaties of "oppervlakkige competentie" bij domeinspecifieke taken (bijv. gezondheidszorg, recht). Daarentegen bieden Small Language Models (SLMs) efficiëntie en domeinspecialisatie, maar missen ze de veelzijdigheid om diverse, verschuivende contexten aan te kunnen wanneer ze individueel worden ingezet.

De kernuitdaging ligt in het orchestreren van een vloot van domeinspecialisatie-SLM's om een enkele algemene LLM te vervangen. Dit vereist het oplossen van drie specifieke problemen:

Domeinaccuratesse: Het waarborgen van een hoge feitelijke nauwkeurigheid in kritieke domeinen waar algemene LLM's vaak falen.
Resourcebeperkingen: Het beheren van geheugen (VRAM) en rekenlimieten, aangezien het gelijktijdig geladen houden van meerdere grote modellen onpraktisch is.
Adaptieve Routing: Het ontwikkelen van een mechanisme dat queries dynamisch routeert naar de meest geschikte SLM op basis van realtime prestatie-indicatoren (latentie, energie, vertrouwen) en semantische relevantie, in plaats van statische load balancing. Bestaande adaptieve benaderingen negeren vaak de specifieke overhead en onzekerheden van autoregressieve tekstgeneratie.

2. Methodologie: De CALM-aanpak

De auteurs stellen CALM (Context-Aware Language Model orchestration) voor, een zelfadaptief systeem gebouwd op de MAPE-K (Monitor, Analyze, Plan, Execute, Knowledge) feedbackloop. CALM integreert twee primaire componenten: SORA (Semantic-aware Orchestrator) en CAS (Cache-enabled Adaptive Scheduler).

2.1 Systeemarchitectuur

Modelregistratie: SLM's registreren zich bij SORA door een metadata-tuple in te dienen die een semantische taakbeschrijving (natuurlijke taal prompt) en operationele attributen (IP, poort) bevat.
Zelf-adaptieve Query Routing (SORA):
- Statische Scoring: Berekent de semantische gelijkenis (bijv. Cosine Similarity) tussen de gebruikersquery en de taakbeschrijving van het model.
- Dynamische Scoring: Integreert rollende runtime-metrieken (latentie, energie, VRAM-gebruik, vertrouwen) verzameld door de Monitor.
- Routingbeleid: Een gewogen score combineert statische en dynamische metrieken. Het systeem gebruikt instelbare controleparameters ( $\lambda$ ) om specifieke QoS-doelen te prioriteren (bijv. Pro-Latency, Pro-Energy, of Pro-Confidence).
- Correlatieafhandeling: Het framework erkent de correlatie tussen metrieken (bijv. latentie en energie) en past gewichten aan om bias te voorkomen, hoewel de huidige implementatie uitgaat van onafhankelijke bijdragen.
Queryverwerking & Planning (CAS):
- Verzoeken worden in een globale buffer geplaatst.
- De scheduler hanteert beleid zoals FIFO (First-In-First-Out) of STCF (Shortest-Time-to-Completion-First) om de volgorde van uitvoering te beheren.
Caching-mechanisme:
- Om VRAM-beperkingen aan te pakken, houdt CAS een cache van modellen met een vaste grootte in het geheugen.
- Het maakt gebruik van een LRU (Least Recently Used) vervangingsbeleid om het laden en ontladen van modellen te beheren.
- Een "Pro-Cache" routingstrategie kan de selectie bevoordelen richting modellen die al in de cache zitten om de cold-start overhead te verminderen.

2.2 Experimenteel Ontwerp

De auteurs evalueerden CALM tegenover enkele LLM-baselines (bijv. Llama-2 13B, Deepseek-MOE 16B) en diverse ablaties van hun aanpak.

Workloads: Gesimuleerde 500 gebruikersverzoeken over diverse domeinen (Medisch, Fitness, Mentale Gezondheid, Recht, Financiën) met variërende tokenlimieten (256/512) en laadpercentages (12.5–25 RPM).
Metrieken: Latentie, Energieverbruik (kJ), Vertrouwensscore (1–5) en Piekvormig VRAM-gebruik.
Configuraties: Geteste varianten omvatten Base (statische routing), Base + Caching, en Base + Self-Adaptive Routing (met verschillende $\lambda$ -prioriteiten).

3. Belangrijkste Resultaten

De evaluatie toont aan dat CALM de enkele LLM-baselines op meerdere dimensies overtreft:

Latentie & Efficiëntie: CALM-varianten verminderden de latentie met ongeveer 40–50% en het energieverbruik met 50–60% vergeleken met baseline LLM's. Het gebruik van lichtgewicht SLM's was de primaire drijfveer voor deze winst.
Vertrouwen: Domeinspecifieke routing verbeterde de vertrouwensscores met 15–30%, wat wijst op een betere taakalignering en feitelijke nauwkeurigheid in specifieke domeinen.
Geheugenoptimalisatie: Het caching-module verminderde het piekvormig VRAM-gebruik van ~32 GB (vereist voor volledige LLM-baselines) naar slechts 8–19 GB (afhankelijk van de cachegrootte), wat de inzet op geheugenbeperkte hardware mogelijk maakt zonder significante degradatie van de QoS.
Adaptieve Controle: De zelf-adaptieve loop maakte fijne afstemming van trade-offs mogelijk. Zo verminderde het verhogen van de latentie-gewicht ( $\lambda_{lat}$ ) de latentie met tot wel 44% terwijl een acceptabel vertrouwen behouden bleef. Evenzo verhoogde een "Pro-Cache" routing de cache-hitrate naar 83,8%, wat de cold-start penalty aanzienlijk verminderde.
Schaalbaarheid: Het systeem behield een stabiele prestatie onder toenemende workloads en generaliseerde effectief over uiteenlopende domeinen (bijv. Recht vs. Medisch), wat de model-agnostische aard van de routinglogica bevestigt.

4. Betekenis en Claims

Het artikel beweert dat CALM een praktische oplossing biedt voor het inzetten van AI-systemen onder reële beperkingen door het paradigma te verschuiven van "groter is beter" naar "orchestratie is de sleutel".

Orchestratie boven Grootte: De auteurs beargumenteren dat het coördineren van een vloot gespecialiseerde SLM's via adaptieve controle beter kan presteren dan een enkele, algemene LLM in termen van efficiëntie, kosten en domeinspecifieke nauwkeurigheid.
Omgaan met Onzekerheid: Door runtime-feedback (MAPE-K) te integreren, past het systeem zich autonoom aan aan verschuivende contexten en workload-patronen, waarmee de inherente onzekerheden van taalmodel-inferentie worden aangepakt.
Resource-efficiëntie: De aanpak maakt de inzet van meerdere modellen op beperkte hardware (bijv. enkele GPU's of edge-apparaten) mogelijk door intelligente caching en scheduling, wat de ecologische en economische voetafdruk van AI-inferentie vermindert.
Modulariteit: Het framework ondersteunt een modulair ontwerp waarbij routing, scheduling en caching onafhankelijk kunnen worden afgestemd om specifieke Service Level Objectives (SLO's) te halen.

De auteurs concluderen dat hoewel CALM een effectieve single-GPU inzetbaarheid demonstreert, toekomstig werk de strategieën voor multi-GPU distributie, veerkracht tegen variaties in input en de uitbreiding naar multi-turn conversaties moet verkennen. Ze benadrukken dat hun aanpak een fundament biedt voor duurzame, kostenefficiënte en hoogwaardige AI-systemen zonder te vertrouwen op opaak, resource-zwaar API-gebaseerd LLM-gebruik.