🤖 machine learning

WiSP: A Working-Set View of Mixture-of-Experts Serving on Extremely Low-Resource Hardware

Dieses Paper stellt WiSP vor, ein routing-bewusstes Working-Set-Managementsystem für Mixture-of-Experts-Modelle auf ressourcenarmen Hardware, das Experten-Gewichte dynamisch auslagert und die VRAM-Allokation zwischen Experten und dem KV-Cache optimiert, um den Decode-Durchsatz signifikant zu verbessern, ohne die zugrunde liegende Serving-Engine zu modifizieren.

Ursprüngliche Autoren: Jiamu Zhang, Liang Wu, Mayank Darbari, Liangjie Hong

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jiamu Zhang, Liang Wu, Mayank Darbari, Liangjie Hong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „zu große für die Kapazität“ KI

Stellen Sie sich vor, Sie besitzen eine riesige Bibliothek mit Büchern (das KI-Modell), die hunderte Milliarden Seiten enthält. Sie möchten eine bestimmte Geschichte auf einem winzigen, tragbaren E-Reader lesen (einer Standard-Grafikkarte oder GPU).

Das Problem ist, dass der E-Reader nicht genügend Speicher hat, um die gesamte Bibliothek auf einmal zu halten. Aber für jeden einzelnen Satz, den Sie lesen, benötigen Sie nur ein paar spezifische Seiten aus ein paar ganz bestimmten Büchern. Der Rest der Bibliothek liegt ungenutzt herum.

Aktuelle Lösungen versuchen dies zu lösen, indem sie die gesamte Bibliothek in einem Lagerhaus (dem Hauptspeicher des Computers) aufbewahren und jedes Mal, wenn Sie eine Seite umblättern, schnell zum Lagerhaus eilen, um die benötigten Seiten zu holen. Das ist langsam, weil der Weg zum Lagerhaus (der Datentransfer) viel Zeit in Anspruch nimmt.

Die WiSP-Lösung: Der „kluge Bibliothekar“

Die Autoren haben ein System namens WiSP (Working-Set Paging) entwickelt. Anstatt für jede einzelne Seite zum Lagerhaus zu eilen, agiert WiSP wie ein kluger Bibliothekar, der beobachtet, was Sie gerade lesen, und einen kleinen, sorgfältig zusammengestellten Stapel der wahrscheinlich benötigten Bücher direkt auf Ihrem Schreibtisch (dem GPU-Speicher) bereithält.

So funktioniert es in drei einfachen Teilen:

1. Der „kluge Stapel“ (Expert Paging)

In KI-Modellen, die als „Mixture-of-Experts“ (MoE) bezeichnet werden, besitzt das Modell viele verschiedene „Experten“ (spezialisierte Teilmodelle), aber es nutzt für jedes Wort nur wenige davon.

Der alte Weg: Das System holt alle Experten für eine Ebene ab, selbst wenn es nur zwei davon verwendet. Das verschwendet Platz und Zeit.
Der WiSP-Weg: WiSP behält nur die spezifischen Experten auf Ihrem Schreibtisch, die Sie tatsächlich gerade benutzen. Wenn Sie einen neuen Experten benötigen, tauscht es schnell einen aus dem Stapel aus und holt den neuen aus dem Lagerhaus.
Das Ergebnis: Da es nur die winzigen Teile bewegt, die Sie tatsächlich benötigen, ist es viel schneller. Die Arbeit stellte fest, dass dies die KI auf kleinen Computern bis zu 2-mal schneller macht als die alte Methode.

2. Der „gemeinsame Schreibtisch“ (Memory Allocation)

Ihr Schreibtisch (GPU-Speicher) ist sehr klein. Es gibt zwei Dinge, die um den Platz kämpfen:

Der Experten-Stapel: Die Bücher, die Sie gerade jetzt zum Lesen brauchen.
Die Kontext-Notizen (KV Cache): Die Notizen, die Sie bisher über die Geschichte geschrieben haben, damit Sie nicht vergessen, was bisher passiert ist.

Wenn Sie Ihren Schreibtisch mit zu vielen Büchern füllen, haben Sie keinen Platz mehr für Ihre Notizen. Wenn Sie ihn mit zu vielen Notizen füllen, können Sie nicht mehr die Bücher holen, die Sie brauchen.

Die WiSP-Lösung (MV-WSA): Dies ist eine kluge Regel, die entscheidet, wie der Platz auf Ihrem Schreibtisch aufgeteilt wird. Sie fragt ständig: „Ist es hilfreicher, mehr Bücher auf dem Schreibtisch zu haben oder mehr Notizen?“
Sie passt die Aufteilung dynamisch an. Wenn Sie eine lange Geschichte schreiben, gibt sie Ihnen mehr Platz für Notien. Wenn Sie schnell zwischen Themen wechseln, gibt sie Ihnen mehr Platz für Bücher. Dies stellt sicher, dass Sie niemals für das eine oder andere den Platz ausgehen lässt.

3. Der Mythos der „Kristallkugel“ (Warum Vorhersage nicht half)

Die Forscher fragten sich: „Was wäre, wenn wir eine Kristallkugel (KI-Vorhersage) verwenden, um zu erraten, welches Buch Sie als Nächstes brauchen werden, und es holen, bevor Sie danach fragen?“

Die Überraschung: Sie fanden heraus, dass in diesem speziellen Szenario (das Lesen eines Satzes nach dem anderen) die Vorhersage die Geschwindigkeit nicht erhöht.
Warum? Die „Straße“ (die Datenverbindung) zwischen dem Lagerhaus und dem Schreibtisch ist zu schmal. Selbst wenn man perfekt errät, was kommt, kann der Lastwagen nur eine begrenzte Menge auf einmal transportieren. Der Engpass ist nicht das Raten des richtigen Buches, sondern die Geschwindigkeit des Lastwagens.
Der wahre Nutzen: Die „Kristallkugel“ ist dennoch nützlich, aber nicht für die Geschwindigkeit. Sie hilft dem Bibliothekar zu wissen, wie groß der Stapel speziell für Sie sein muss. Dies ermöglicht es dem System, den Stapel auf die perfekte Größe zu schrumpfen und so mehr Schreibtischfläche für Ihre Notizen freizugeben.

Das Fazit

Das Paper argumentiert, dass das Ausführen großer KI-Modelle auf kleinen Computern ein Speichermanagement-Problem ist, nicht nur ein Rechenproblem.

WiSP ist ein Werkzeug, das wie ein kluger Bibliothekar fungiert, der nur die notwendigen Bücher auf dem Schreibtisch behält und sie effizient austauscht.
Es verändert das KI-Modell selbst nicht; es verwaltet lediglich den Speicher besser.
Es lässt die KI auf kleinen Geräten signifikant schneller laufen, indem es verhindert, dass Zeit durch das Bewegen unnötiger Daten verschwendet wird.
Es lehrt uns, dass in diesem speziellen Szenario ein effizientes Management des Arbeitsplatzes wichtiger ist als der Versuch, die Zukunft vorherzusagen.

Das System arbeitet so gut, dass es selbst massive KI-Modelle auf einer einzigen Computerkarte ausführen kann, die zuvor gar nicht in der Lage dazu war, ohne die Qualität der Antworten der KI zu verändern.

Technische Zusammenfassung: WiSP – Eine Working-Set-Perspektive auf das Serving von Mixture-of-Experts auf extrem ressourcenarmer Hardware

Problemstellung
Moderne Mixture-of-Experts (MoE)-Modelle, wie Qwen3-30B-A3B und Mixtral-8×7B, legen den Großteil ihrer Parameter in den Experten-Schichten ab, doch nur ein kleiner Bruchteil dieser Experten ist für ein gegebenes Token aktiv. Auf handelsüblicher Hardware mit begrenztem VRAM können diese Modelle oft nicht vollständig in den Speicher passen. Die Standardlösung, statisches Layer-basiertes CPU-Offloading (z. B. --cpu-offload-gb in vLLM), hält zwar den Speicherverbrauch niedrig, überträgt aber bei jedem Forward-Pass alle Experten einer Schicht über den PCIe-Bus. Dieser Ansatz versäumt es, die Sparsamkeit von MoE-Modellen auszunutzen, was deren Effizienzvorteile effektiv zunichtemacht.

Die Autoren rahmen das Serving von MoEs unter geringen Ressourcen als ein Working-Set-Management-Problem. In diesem Regime ist der GPU-Speicher der begrenzte schnelle Speicher, und der Host-Speicher dient als Backing-Store. Zwei unterschiedliche Ströme des Speicherbedarfs konkurrieren um dasselbe VRAM-Budget:

Experten-Gewichte: Ein routing-abhängiger Strom, bei dem pro Token nur eine Teilmenge an Experten benötigt wird.
KV-Cache: Ein token-abhängiger Strom, der für die autoregressive Generierung erforderlich ist.

Bestehende Systeme behandeln diese oft als separate Probleme oder zielen auf High-Batch-Rechenzentrum-Szenarien ab, in denen Berechnung mit Datentransfer überlappt werden kann. In Szenarien mit geringer Konkurrenz und interaktivem Serving (z. B. lokale Coding-Assistenten) ist die Berechnung pro Schritt minimal, wodurch die PCIe-Bandbreite zum primären Engpass wird, statt Rechenleistung oder Vorhersagegenauigkeit.

Methodik: WiSP (Working-Set Paging)
Das Paper stellt WiSP vor, ein System, das den residenten Experten-Satz als Cache über das Routing-Verhalten des Modells betrachtet und diesen gemeinsam mit dem KV-Cache verwaltet. WiSP besteht aus zwei Hauptkomponenten:

Routing-Aware Expert Pager:
- Mechanismus: WiSP integriert sich in eine unveränderte Serving-Engine (z. B. vLLM, indem es einen bestehenden Expert-Map-Indirektions-Hook (π) nutzt. Anstatt ganze Layer zu laden, unterhält es einen kleinen GPU-Scratch-Space, der nur den „Working Set“ an Experten enthält, die wahrscheinlich wiederverwendet werden.
- Operation: In jedem Schritt lädt der Pager nur die fehlenden gerouteten Experten aus dem Host-Speicher (H2D) nach und entfernt die am wenigsten kürzlich verwendeten (LRU) Experten, um Platz zu schaffen.
- Garantien: Da die zugrunde liegenden Kernel und Gewichte unverändert bleiben (nur die Zuordnung wird umgeleitet), erzeugt WiSP byte-identische Ausgaben zur Baseline-Engine. Es erfordert keine neuen Kernel, Quantisierungsänderungen oder Modell-Retraining.
MV-WSA (Marginal-Value Working-Set Allocation):
- Das Allokationsproblem: Da Experten-Gewichte und der KV-Cache dasselbe VRAM-Budget teilen, reduziert eine Erhöhung des residenten Experten-Sets die KV-Kapazität und umgekehrt.
- Strategie: MV-WSA bestimmt die optimale Aufteilung ( $f$ ) zwischen dem Experten-Budget und dem KV-Budget. Ziel ist es, den marginalen Latenzvorteil pro Byte über beide Pools hinweg anzugleichen.
- Admission Floor: Entscheidend ist, dass der Allokator eine Mindestgröße für den KV-Cache ( $\kappa_{min}$ ) erzwingt, die erforderlich ist, um die aktuelle Konkurrenzebene zuzulassen. Wenn die unbeschränkte optimale Aufteilung den KV-Cache verhungern ließe, begrenzt das System die Aufteilung, um sicherzustellen, dass der Scheduler initialisieren und laufen kann.
- Implementationsmodi:
  - Offline Configurator: Analysiert einen repräsentativen Trace, um zu Beginn eine feste Aufteilung festzulegen.
  - Online Controller: Skaliert beide Pools dynamisch während des Servings an „Drained Barriers“ (Punkten, an denen keine aktiven Anfragen Speicherblöcke halten) um, indem Bytes physisch zwischen dem Experten-Scratch- und dem KV-Pool verschoben werden, ohne das Gesamtbudget zu überschreiten.

Wichtige Erkenntnisse zum Prefetching
Eine zentrale empirische Erkenntung des Papers ist, dass routing-basiertes Prefetching bei Single-Stream, Low-Concurrency Decode kaum oder gar keinen Nutzen bietet.

Engpass: Die Leistung wird durch die PCIe-Bandbreite begrenzt, nicht durch die Vorhersagegenauigkeit. Im Batch-1-Decode ist die Berechnung pro Schritt zu gering, um PCIe-Transfers dahinter zu verbergen.
Ergebnis: Spekulatives Prefetching verschlechtert die Leistung oft (Reduktion des Durchsatzes um ~50 % in Tests), da es mit der Bandbreite konkurriert und Experten entfernt, die für den unmittelbaren nächsten Schritt benötigt werden.
Neubewertung: Das Routing-Signal ist wertvoll, nicht um die Latenz zu verbergen, sondern für die Speicherallokation. Es hilft dabei, die minimale „sichere“ Größe des residenten Sets zu identifizieren, was es ermöglicht, den Experten-Cache pro Nutzer richtig zu dimensionieren und das freigewordene VRAM dem KV-Cache zuzuweisen.

Ergebnisse
Die Autoren evaluieren WiSP auf verschiedenen MoE-Architekturen (LLMs, VLMs, Hybrid SSM-MoE und Diffusionsmodelle) unter Verwendung einer NVIDIA H100 (mit einigen Experimenten, die kleinere Speicherbudgets emulieren).

Durchsatzgewinne: Bei gematchten VRAM-Budgets, in denen das Modell nicht hineinpasst, erreicht WiSP bis zu 1,95× Decode-Durchsatz im Vergleich zu statischem CPU-Offloading. Der Gewinn ist am höchsten bei mittleren Speicherbudgets, wo WiSP einen signifikanten Teil des wiederverwendeten Experten-Sets cachen kann, während die Baseline weiterhin alles streamt.
KV-Kapazität: Durch die Reduzierung des Experten-Footprints erhöht WiSP direkt die KV-Cache-Kapazität. Experimente zeigen, dass das Verkleinern des Experten-Caps die maximale Konkurrenz um über 40 % bei gleichem Gesamt-Speicherbudget steigern kann.
Allokationsleistung:
- Offline: Der MV-WSA-Configurator arbeitet sowohl beim Prefill als auch beim Decode gut und bleibt in einer Simulation innerhalb weniger Prozent eines pro-Workflow-Oracle, während feste Aufteilungen (z. B. 50/50) etwa 20 % schlechter sind.
- Online: Der dynamische Dual-Resize-Controller verbessert den Durchsatz um das 1,20-Fache gegenüber der besten statischen Offline-Aufteilung, indem er sich an Workload-Shifts anpasst (z. B. Wechsel von Long-Context-Turns zu Tool-Call-Bursts).
Generalität: WiSP bedient erfolgreich Modelle, die nicht auf eine einzige GPU passen (z. B. Jamba-v0.1, MiniMax-M2), und funktioniert über verschiedene Modalitäten hinweg, einschließlich Vision-Language-Modellen (Kimi-VL) und Diffusionsmodellen (DiT-MoE, LLaDA-MoE), wobei die byte-identischen Ausgaben gewahrt bleiben.

Bedeutung und Behauptungen
Das Paper behauptet, dass WiSP einen einheitlichen Rahmen für das Low-Resource-MoE-Serving bietet, indem es die Experten-Residenz und das KV-Caching als ein einziges Working-Set-Allokationsproblem behandelt.

Paradigmenwechsel im Design: Es argumentiert, dass sich der Fokus für das Serving mit geringer Konkurrenz von der Frage „Wie prefetch ich Experten schneller?“ hin zu „Wie allokiere ich VRAM optimal zwischen Experten und KV-Cache?“ verschieben sollte.
Praktische Auswirkungen: WiSP ermöglicht das Serving von Frontier-Scale-MoE-Modellen auf handelsüblicher Hardware, ohne die Korrektheit der Ausgabe zu gefährden oder spezialisierte Hardware (wie Intel AMX) zu benötigen.
Einschränkungen: Die Autoren merken explizit an, dass WiSP für das Regime konzipiert ist, in dem das Modell nicht in den VRAM passt; wenn das Modell passt, bleibt statische Residenz schneller, da Paging unnötige Indirektion hinzufügt. Zudem wurde gezeigt, dass die Prefetching-Optimierung beim Single-Stream-Decode ineffektiv ist, obwohl sie für High-Batch- oder Multi-Turn-Agent-Sessions relevant sein könnte, bei denen ein Compute-Overlap möglich ist.

Das Werk kommt zu dem Schluss, dass im speichergebundenen Single-Stream-Decode das Routing-Signal eher ein Speicher-Hebel (Bestimmung der Größe des Working-Sets) als ein Geschwindigkeits-Hebel (Verbergen der Latenz) ist, was die intelligente Allokation zum primären Treiber der Performance macht.