💻 computer science

CALM: A Self-Adaptive Orchestration Approach for QoS-Aware Routing in Small Language Model based Systems

Das Papier stellt CALM vor, ein selbstadaptives Orchestrierungsframework, das auf der MAPE-K-Schleife basiert und Benutzeranfragen dynamisch an eine koordinierte Flotte spezialisierter kleiner Sprachmodelle (SLMs) weiterleitet, während es Caching und Scheduling nutzt, um die Latenz im Vergleich zu Single-LLM-Baselines um 40 % und den Energieverbrauch um 50 % zu reduzieren.

Ursprüngliche Autoren: Hemang Jain, Divyansh Pandey, Karthik Vaidhyanathan

Veröffentlicht 2026-02-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hemang Jain, Divyansh Pandey, Karthik Vaidhyanathan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie führen ein belebtes Restaurant. Früher hätten Sie vielleicht einen einzigen, riesigen, extrem teuren Chefkoch eingestellt, der alles kochen konnte – von Sushi über Steak bis hin zu Dessert. Dieser Koch ist unglaublich talentiert, aber er ist langsam, verbraucht eine gewaltige Menge an Gas (Energie) und wird manchmal verwirrt, wenn man ihm etwas sehr Spezifisches wie „ein glutenfreies, natriumarmes Gericht für einen Diabetiker“ verlangt.

Die Autoren dieser Arbeit, CALM, schlagen eine andere Art vor, Ihre Küche zu führen. Anstatt eines riesigen Chefkochs stellen Sie ein Team aus sechs spezialisierten Köchen ein.

Einer ist ein Meister der italienischen Pasta.
Einer ist ein Sushi-Experte.
Einer ist ein Dessert-Spezialist.
Einer ist ein Veganer-Experte.
Und so weiter.

Diese „Small Language Models“ (SLMs) sind kleiner, schneller, kostengünstiger im Betrieb und viel besser in ihren spezifischen Aufgaben als der riesige Chefkoch. Aber hier ist das Problem: Sie können nicht alle sechs Köche gleichzeitig am Herd stehen lassen, weil Ihre Küche zu klein ist (der Speicher Ihres Computers ist begrenzt).

CALM ist der kluge Manager, der entscheidet, welcher Koch welches Gericht gerade in diesem Moment zubereiten soll, um sicherzustellen, dass Sie Ihr Essen schnell, günstig und köstlich erhalten.

So arbeitet der CALM-Manager, unterteilt in einfache Schritte:

1. Die intelligente Speisekarte (Modellregistrierung)

Bevor überhaupt Bestellungen eingehen, schreibt jeder Koch eine kurze Beschreibung dessen auf, worin er gut ist.

Koch A sagt: „Ich bin großartig in medizinischer Beratung.“
Koch B sagt: „Ich bin großartig in Rechtsverträgen.“
Koch C sagt: „Ich bin großartig in Fitnesstipps.“

Der Manager (CALM) führt eine Liste dieser Beschreibungen.

2. Der Bestellaufnahme (Routing)

Wenn ein Kunde hereinkommt und sagt: „Ich habe Halsschmerzen und Fieber“, wählt der Manager nicht einfach einen zufälligen Koch.

Der Gehirnscan: Der Manager liest die Anfrage des Kunden schnell und vergleicht sie mit den Beschreibungen der Köche. Er erkennt: „Hey, der Medizin-Koch ist die beste Wahl!“
Der Geschwindigkeitscheck: Aber warten Sie, der Manager prüft auch die „Live-Statistiken“. Ist der Medizin-Koch gerade beschäftigt? Arbeitet er heute langsam? Hat er bei der letzten Bestellung viel Energie verbraucht?
Die Entscheidung: Wenn der Medizin-Koch langsam oder müde ist, sagt der Manager vielleicht: „Okay, senden wir das stattdessen an den allgemeinen Gesundheits-Koch, der gerade schneller ist.“

Dies wird als selbstadaptives Routing bezeichnet. Der Manager lernt ständig dazu und ändert seine Meinung basierend darauf, wie die Köche gerade jetzt performen, nicht nur darauf, wofür sie eigentlich zuständig sind.

3. Das Küchenregal (Caching)

Da die Küche klein ist, kann der Manager nur drei Köche gleichzeitig am Herd halten (in den Speicher des Computers). Die anderen drei schlafen im Hinterzimmer (auf der Festplatte).

Wenn der Kunde „Sushi“ bestellt und der Sushi-Koch bereits am Herd steht, großartig! Der Manager leitet die Bestellung sofort weiter.
Wenn der Sushi-Koch im Hinterzimmer ist, muss der Manager ihn aufwecken und an den Herd bringen. Das dauert ein paar Sekunden („Cold Start“).
Der magische Trick: Der Manager ist klug darin, wer am Herd bleibt. Wenn der Sushi-Koch hintereinander für drei Personen gekocht hat, behält der Manager ihn dort. Wenn der italienische Koch seit einer Stunde nicht mehr gerufen wurde, schickt der Manager ihn zurück ins Hinterzimmer, um Platz für die nächste wahrscheinliche Bestellung zu machen.

Dies ist das Caching-Modul. Es spart Zeit, indem es die beliebtesten Köche bereit hält, damit Sie nicht warten müssen, bis sie aufwachen.

4. Die Feedbackschleife (MAPE-K)

Der Manager rät nicht einfach nur; er beobachtet alles.

Monitor (Überwachen): Er beobachtet, wie lange jede Bestellung dauert und wie viel Gas (Energie) verbraucht wird.
Analyze (Analysieren): Er fragt sich: „Wird der Sushi-Koch langsamer?“
Plan (Planen): Er entscheidet: „Okay, für die nächsten 10 Bestellungen priorisieren wir Geschwindigkeit vor Energie“ oder „Lass uns Genauigkeit priorisieren.“
Execute (Ausführen): Er ändert die Regeln für den nächsten Kunden.

Was haben sie herausgefunden?

Die Autoren haben dieses System gegen den „Riesen-Chefkoch“ (ein einzelnes Large Language Model) getestet und dabei beeindruckende Ergebnisse erzielt:

Schneller: Das System war etwa 40 % schneller (geringere Latenz).
Grüner: Es verbrauchte etwa 50 % weniger Energie.
Genau so gut: Die Qualität der Antworten (Konfidenz) war genauso hoch wie beim Riesen-Koch, teilweise sogar besser für spezifische Themen.
Intelligenter Speicher: Durch die Nutzung des „Küchenregals“ (Caching) konnten sie das gesamte System auf einem viel kleineren Computer laufen lassen (weniger Speicher nutzen), ohne die Geschwindigkeit zu stark zu beeinträchtigen.

Das Fazamit

Die Autoren argumentieren, dass es, anstatt zu versuchen, einen einzigen riesigen, teuren KI-Chef zu erschaffen, der alles kann, besser ist, ein Team aus kleineren, spezialisierten KIs einzusetzen, die von einem smarten, selbstregulierenden System verwaltet werden. Dieser Ansatz spart Geld, spart Energie und liefert Ihnen Antworten schneller, während die Qualität hoch bleibt. Es ist wie der Wechsel von einem einzelnen, überarbeiteten Super-Chef zu einem gut geführten Team von Spezialisten.

Technisches Resümee: CALM – Ein selbstadaptiver Orchestrierungsansatz für QoS-bewusstes Routing in auf Small Language Models basierenden Systemen

1. Problemstellung

Moderne KI-gestützte Systeme stehen vor erheblichen Laufzeitunsicherheiten, die aus dynamischen Arbeitslasten, Ressourcenfluktuationen und der inhärenten Nichtdeterministik autoregressiver Sprachmodelle resultieren. Während Large Language Models (LLMs) breite Fähigkeiten bieten, sind sie oft ressourcenintensiv, teuer im Betrieb via APIs und anfällig für Halluzinationen oder „oberflächliche Kompetenz“ bei domänenspezifischen Aufgaben (z. B. Gesundheitswesen, Recht). Im Gegensatz dazu bieten Small Language Models (SLMs) Effizienz und Domänenspezialisierung, verfügen jedoch nicht über die nötige Vielseitigkeit, um vielfältige, sich ändernde Kontexte zu bewältigen, wenn sie einzeln eingesetzt werden.

Die Kernherausforderung besteht darin, eine Flotte von domänenspezialisierten SLMs zu orchestrieren, um ein einzelnes, allgemeines LLM zu ersetzen. Dies erfordert die Lösung von drei spezifischen Problemen:

Domänen-Genauigkeit: Gewährleistung einer hohen faktischen Genauigkeit in kritischen Bereichen, in denen allgemeine LLMs oft versagen.
Ressourcenbeschränkungen: Verwaltung von Speicher- (VRAM) und Rechenlimits, da das gleichzeitige Laden mehrerer großer Modelle unpraktikabel ist.
Adaptive Routenführung: Entwicklung eines Mechanismus, der Anfragen basierend auf Echtzeit-Leistungsmetriken (Latenz, Energie, Konfidenz) und semantischer Relevanz statt durch statisches Load Balancing dynamisch an das am besten geeignete SLM weiterleitet. Bestehende adaptive Ansätze vernachlässigen oft die spezifischen Overheads und Unsicherheiten der autoregressiven Textgenerierung.

2. Methodik: Der CALM-Ansatz

Die Autoren schlagen CALM (Context-Aware Language Model orchestration) vor, ein selbstadaptives System, das auf dem MAPE-K-Feedbackzyklus (Monitor, Analyze, Plan, Execute, Knowledge) basiert. CALM integriert zwei primäre Komponenten: SORA (Semantic-aware Orchestrator) und CAS (Cache-enabled Adaptive Scheduler).

2.1 Systemarchitektur

Modellregistrierung: SLMs registrieren sich bei SORA, indem sie ein Metadaten-Tupel bestehend aus einer semantischen Aufgabenbeschreibung (natürlicher Text-Prompt) und operativen Attributen (IP, Port) übermitteln.
Selbstadaptive Abfrage-Routenführung (SORA):
- Statische Bewertung: Berechnet die semantische Ähnlichkeit (z. B. Cosinus-Ähnlichkeit) zwischen der Benutzeranfrage und der Aufgabenbeschreibung des Modells.
- Dynamische Bewertung: Beinhaltet rollierende Laufzeitmetriken (Latenz, Energie, VRAM-Nutzung, Konfidenz), die vom Monitor erfasst werden.
- Routing-Policy: Ein gewichteter Score kombiniert statische und dynamische Metriken. Das System verwendet abstimmbare Kontrollparameter ( $\lambda$ ), um spezifische QoS-Ziele zu priorisieren (z. B. Pro-Latenz, Pro-Energie oder Pro-Konfidenz).
- Korrelationsbehandlung: Das Framework berücksichtigt die Korrelation von Metriken (z. B. Latenz und Energie) und passt die Gewichtungen an, um Bias zu vermeiden, obwohl die aktuelle Implementierung von unabhängigen Beiträgen ausgeht.
Abfrageverarbeitung & Scheduling (CAS):
- Anfragen werden in einem globalen Buffer zwischengespeichert.
- Der Scheduler verwendet Policies wie FIFO (First-In-First-Out) oder STCF (Shortest-Time-to-Completion-First), um die Ausführungsreihenfolge zu verwalten.
Caching-Mechanismus:
- Um VRAM-Beschränkungen zu begegnen, hält CAS einen Cache fester Größe mit Modellen im Speicher vor.
- Es verwendet eine LRU (Least Recently Used) Eviktierungsstrategie, um das Laden und Entladen von Modellen zu verwalten.
- Eine „Pro-Cache“-Routingstrategie kann die Auswahl zugunsten von Modellen beeinflussen, die bereits im Cache vorhanden sind, um den Cold-Start-Overhead zu reduzieren.

2.2 Experimentelles Design

Die Autoren evaluierten CALM gegenüber Single-LLM-Baselines (z. B. Llama-2 13B, Deepseek-MOE 16B) und verschiedenen Ablationen ihres Ansatzes.

Workloads: Simulierte 500 Benutzeranfragen über diverse Domänen hinweg (Medizin, Fitness, Mentale Gesundheit, Recht, Finanzen) mit variierenden Token-Limits (256/512) und Lastraten (12,5–25 RPM).
Metriken: Latenz, Energieverbrauch (kJ), Konfidenz-Score (1–5) und Peak-VRAM-Nutzung.
Konfigurationen: Getestete Varianten einschließlich Base (statisches Routing), Base + Caching sowie Base + Selbstadaptives Routing (mit unterschiedlichen $\lambda$ -Prioritäten).

3. Kernergebnisse

Die Evaluierung zeigt, dass CALM Single-LLM-Baselines über mehrere Dimensionen hinweg übertrifft:

Latenz & Effizienz: CALM-Varianten reduzierten die Latenz um etwa 40–50 % und den Energieverbrauch um 50–60 % im Vergleich zu Baseline-LLMs. Die Verwendung leichtgewichtiger SLMs war der Haupttreiber für diese Gewinne.
Konfidenz: Das domänenspezifische Routing verbesserte die Konfidenz-Scores um 15–30 %, was auf eine bessere Aufgabenanpassung und faktische Genauigkeit in spezifischen Domänen hindeutet.
Speicheroptimierung: Das Caching-Modul reduzierte die Peak-VRAM-Nutzung von ca. 32 GB (erforderlich für volle LLM-Baselines) auf so wenig wie 8–19 GB (abhängig von der Cache-Größe), was den Einsatz auf hardwarebeschränkter Hardware ohne signifikante Verschlechterung der QoS ermöglicht.
Adaptive Steuerung: Der selbstadaptive Zyklus ermöglichte feingranulare Trade-offs. Beispielsweise reduzierte die Erhöhung der Latenz-Gewichtung ( $\lambda_{lat}$ ) die Latenz um bis zu 44 %, während eine akzeptable Konfidenz beibehalten wurde. Ebenso erhöhte eine „Pro-Cache“-Routingstrategie die Cache-Hit-Rate auf 83,8 %, was die Cold-Start-Strafen erheblich reduzierte.
Skalierbarkeit: Das System behielt eine stabile Leistung unter zunehmenden Arbeitslasten bei und generalisierte effektiv über disjunkte Domänen hinweg (z. B. Recht vs. Medizin), was die modellagnostische Natur der Routing-Logik bestätigt.

4. Bedeutung und Ansprüche

Das Paper behauptet, dass CALM eine praktische Lösung für die Bereitstellung von KI-Systemen unter realen Bedingungen bietet, indem es das Paradigma von „Größer ist besser“ zu „Orchestrierung ist der Schlüssel“ verschiebt.

Orchestrierung statt Größe: Die Autoren argumentieren, dass die Koordination einer Flotte spezialisierter SLMs via adaptiver Steuerung eine einzelne, allgemeine LLM in Bezug auf Effizienz, Kosten und domänenspezifische Genauigkeit übertreffen kann.
Umgang mit Unsicherheit: Durch die Integration von Laufzeit-Feedback (MAPE-K) passt sich das System autonom an wechselnde Kontexte und Arbeitslastmuster an und adressiert damit die inhärenten Unsicherheiten der Sprachmodell-Inferenz.
Ressourceneffizienz: Der Ansatz ermöglicht den Einsatz mehrerer Modelle auf begrenzter Hardware (z. B. einzelne GPUs oder Edge-Geräte) durch intelligentes Caching und Scheduling, was den ökologischen und ökonomischen Fußabdruck der KI-Inferenz reduziert.
Modularität: Das Framework unterstützt ein modulares Design, bei dem Routing, Scheduling und Caching unabhängig voneinander abgestimmt werden können, um spezifische Service Level Objectives (SLOs) zu erfüllen.

Die Autoren kommen zu dem Schluss, dass CALM zwar eine effektive Single-GPU-Bereitstellung demonstriert, zukünftige Arbeiten jedoch Multi-GPU-distribuierte Strategien, die Resilienz gegenüber Eingabevariationen und die Erweiterung auf Multi-Turn-Konversationssettings untersuchen sollten. Sie betonen, dass ihr Ansatz eine Grundlage für nachhaltige, kosteneffiziente und hochperformante KI-Systeme bietet, ohne auf opake, ressourcenintensive API-basierte LLMs angewiesen zu sein.