Position: LLM Serving Needs Mathematical Optimization and Algorithmic Foundations, Not Just Heuristics
Dieses Positionspapier argumentiert, dass das Inference-Serving von Large Language Models (LLMs) generische Heuristiken überholt hat und die Entwicklung mathematischer Optimierungsmodelle sowie algorithmischer Grundlagen erfordert, die auf seine einzigartigen Merkmale zugeschnitten sind, um nachweisbare Leistungsgarantien über diverse Workloads hinweg zu gewährleisten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie führen eine riesige, hochgeschwindigkeitsfähige Restaurantküche. Diese Küche kocht nicht nur Burger; sie erstellt komplexe, mehrgängige Menüs basierend auf Bestellungen, die nacheinander eintreffen. Der Haken? Sie wissen nicht, wie lange die Zubereitung jeder Mahlzeit dauert, und je mehr der Koch kocht, desto mehr Platz nimmt die Mahlzeit auf der Arbeitsfläche ein, wodurch andere Bestellungen verdrängt werden.
Genau diese Situation herrscht heute bei Large Language Models (LLMs). Sie sind die „Küchen", die Suchmaschinen, Coding-Assistenten und Chatbots antreiben.
Die Arbeit argumentiert, dass diese digitalen Küchen derzeit auf Raten und einfachen Regeln (Heuristiken) basieren. Der Autor ist der Ansicht, dass es Zeit ist, zu mathematischer Präzision und soliden algorithmischen Grundlagen überzugehen, um sie schneller, günstiger und zuverlässiger zu machen.
Hier ist die Aufschlüsselung des Arguments der Arbeit unter Verwendung alltäglicher Analogien:
1. Das Problem: „Genug"-Regeln versagen
Derzeit verwenden Systeme wie vLLM und SGLang (die Software, die diese Modelle ausführt) altmodische Regeln, die aus der allgemeinen Datenverarbeitung übernommen wurden.
- Die Schlange: Wenn Sie eine Warteschlange von Kunden haben, bedient die Küche sie einfach in der Reihenfolge ihres Eintreffens (First-Come, First-Served).
- Die Zuweisung: Wenn Sie mehrere Köche haben, schickt die Küche die nächste Bestellung an den Koch mit der kürzesten Schlange oder wählt einfach per Zufall einen aus.
- Die Aufräumaktion: Wenn die Arbeitsfläche voll wird, wirft die Küche das älteste Item auf der Arbeitsfläche weg, um Platz für ein neues zu schaffen.
Der Punkt der Arbeit: Diese Regeln funktionieren für ein normales Burger-Restaurant gut. Aber LLMs sind seltsam.
- Das „wachsende" Essen: Im Gegensatz zu einem Burger, der von Anfang bis Ende den gleichen Platz einnimmt, wächst eine LLM-Mahlzeit während der Zubereitung. Jedes Wort, das die KI generiert, benötigt mehr Speicher.
- Das „Zwei-Phasen"-Kochen: Der erste Teil der Bestellung (das Lesen des Prompts) ist schnell und erfordert viel Rechenleistung (Compute). Der zweite Teil (das Generieren der Antwort) ist langsam und erfordert eine hohe Speicherbandbreite.
- Das Unbekannte: Die Küche weiß nicht, wie lang die Mahlzeit sein wird, bis sie fertig ist.
Aufgrund dieser Eigenheiten verursachen die alten Regeln „kürzeste Schlange" oder „ältestes Item raus" oft Chaos, sodass einige Köche untätig bleiben, während andere überfordert sind, oder die Arbeitsfläche unerwartet leer läuft.
2. Die Lösung: Holen Sie sich die Mathematiker
Der Autor sagt, wir müssen aufhören zu raten und mit mathematischer Optimierung beginnen. Stellen Sie sich dies vor wie die Einstellung eines Logistikmeisters, der einen Supercomputer nutzt, um den perfekten Weg zu berechnen, die Küche zu betreiben, anstatt einfach nur ein Regelbuch zu befolgen.
Die Arbeit hebt vier spezifische Bereiche hervor, in denen Mathematik die Küche reparieren kann:
Die Köche ausbalancieren (Lastverteilung):
- Aktuelle Methode: Bestellungen an den Koch mit den wenigsten Tickets senden.
- Mathematische Methode: Berechnen Sie genau, wie viel „Arbeitsflächenplatz" und „Rechenleistung" jede Bestellung benötigt, während sie wächst, und verteilen Sie sie so, dass kein einzelner Koch jemals stecken bleibt, während er auf den langsamsten wartet. Die Arbeit zitiert ein reales System (DeepSeek), das Lineare Programmierung (eine Art Mathematik) nutzt, um dies perfekt zu tun, und dabei Zeit und Geld spart.
Die Warteschlange (Scheduling):
- Aktuelle Methode: Die erste Person in der Schlange bedienen.
- Mathematische Methode: Schauen Sie sich die Schlange an und erkennen Sie: „Diese Person hat einen 10-seitigen Aufsatz bestellt, aber die nächste Person will nur einen einzeiligen Witz." Bedienen Sie zuerst den Witz! Das räumt die Arbeitsfläche schneller frei und lässt mehr Leute essen. Mathematik kann vorhersagen, welche Bestellungen schnell fertig werden, um die Küche in Bewegung zu halten.
Der Arbeitsflächenplatz (Caching):
- Aktuelle Methode: Das älteste Item wegwerfen, wenn die Arbeitsfläche voll ist.
- Mathematische Methode: Erkennen Sie, dass das Wegwerfen eines „hochauflösenden Videos", um Platz für ein „winziges Vorschaubild" zu schaffen, ein schlechter Deal ist. Das Video neu zu erstellen dauert ewig und kostet ein Vermögen. Mathematik kann die „Kosten" des Wegwerfens berechnen und die teuren Items auf der Arbeitsfläche behalten.
Die Planung des Personals (Kapazitätsplanung):
- Aktuelle Methode: Immer mehr Köche hinzufügen, wenn die Schlange zu lang wird.
- Mathematische Methode: Verwenden Sie Formeln, um genau zu wissen, wie viele Köche Sie benötigen, bevor Sie überhaupt die Türen öffnen, basierend darauf, wie viele Kunden erwartet werden. Dies verhindert, dass die Küche überhaupt überlastet wird.
3. Warum nicht einfach bei den Regeln bleiben?
Die Arbeit wendet sich an die Skeptiker, die sagen: „Die aktuellen Regeln funktionieren gut, warum ändern?"
- „Es funktioniert im großen Maßstab": Der Autor gibt zu, dass die aktuellen Regeln okay funktionieren, aber sie sind fragil. Wenn eine virale App plötzlich eine seltsame Art von Bestellung sendet, könnte die Küche abstürzen. Mathematik bietet ein Sicherheitsnetz (Garantien), das sicherstellt, dass die Küche auch im schlimmsten Szenario nicht versagt.
- „Hardware ändert sich zu schnell": Der Autor argumentiert, dass sich zwar die Hardware (die Öfen) ändert, die Logik der Organisation der Küche jedoch gleich bleibt. Mathematik gibt Ihnen einen Bauplan, der funktioniert, selbst wenn Sie die Öfen austauschen.
- „Systemtechnik ist wichtiger": Der Autor sagt, Mathematik und Technik sind Partner. Sie können den schnellsten Ofen der Welt haben, aber wenn Ihre Planung schlecht ist, steht der Ofen leer. Mathematik sagt Ihnen, wie Sie den Ofen beschäftigt halten.
4. Das große Ganze
Die Arbeit kommt zu dem Schluss, dass das Feld des LLM-Servings sein „Kindheitsalter" einfacher Regeln überwunden hat. Es ist zu einem komplexen System gereift, das erwachsene Aufsicht durch Mathematiker und Algorithmus-Experten erfordert.
Indem wir diese Probleme als mathematische Rätsel behandeln und nicht nur als technische Anpassungen, können wir Folgendes erreichen:
- Vorhersehbarkeit: Zu wissen, wie sich das System genau verhalten wird.
- Effizienz: Massive Mengen an Energie und Geld zu sparen.
- Zuverlässigkeit: Sicherzustellen, dass das System nicht abstürzt, wenn die Dinge verrückt werden.
Kurz gesagt: Hören Sie auf zu raten. Fangen Sie an zu berechnen. Die Zukunft des AI-Servings geht nicht nur darum, größere Modelle zu bauen; es geht darum, intelligentere, mathematisch bewiesene Wege zu entwickeln, um sie zu betreiben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.