More GPUs or a Smaller Cache? Tensor Parallelism versus KV Compression for Memory-Bound LLM Serving
Diese Arbeit zeigt, dass für speichergebundenes LLM-Serving die KV-Kompression konsistent ein überlegenes Kosten-Kapazitäts-Verhältnis im Vergleich zu Tensor-Parallelität bietet, welche nur notwendig ist, wenn Modelle die Speichergrenzen des Geräts überschreiten, aber die Latenz oder Kosteneffizienz bei kleineren Modellen nicht verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Wenn ein großes Sprachmodell gebeten wird, eine lange Konversation zu führen oder ein massives Dokument zu verarbeiten, stößt es auf eine einfache, aber hartnäckige physische Grenze: den Speicher. Das Modell muss eine fortlaufende Aufzeichnung dessen führen, was es gesagt und gehört hat, in einem speziellen Bereich seines Computerspeichers, bekannt als Cache, um sicherzustellen, dass seine Antworten kohärent bleiben. Wenn die Konversation zu lang wird oder zu viele Menschen gleichzeitig Fragen stellen, läuft dieser Cache über und das System stürzt ab. Um den Dienst am Laufen zu halten, haben sich Ingenieure traditionell auf zwei unterschiedliche Strategien verlassen. Ein Ansatz besteht darin, mehr Computerchips zu kaufen, um die Speicherlast auf mehrere leistungsstarke Prozessoren zu verteilen, die im Einklang arbeiten. Der andere besteht darin, den Speicherbedarf des Gesprächs selbst zu verringern, indem clevere mathematische Tricks verwendet werden, um die Daten zu komprimieren, damit sie auf einen einzigen Chip passen, selbst wenn dies bedeutet, ein winziges Stück Präzision zu opfern. Jahrelang haben diese beiden Gruppen von Experten in getrennten Welten operiert und selten den tatsächlichen Preisaufwand ihrer Lösungen verglichen.
Eine neue Studie bringt diese beiden Ansätze in denselben Raum, um zu sehen, welche Lösung für die Betreiber dieser Systeme wirklich günstiger ist. Die Forscher, die mit Simulationen arbeiteten, die gegen reale Hardware kalibriert waren, setzten sich zum Ziel, einen Wendepunkt zu finden, an dem das Hinzufügen von mehr Chips zu einem besseren Geschäft wird als das Komprimieren der Daten. Sie testeten verschiedene Konfigurationen unter Verwendung populärer Open-Source-Modelle und verschiedener Arten von High-End-Computerchips und maßen dabei die Kosten pro Million generierter Wörter gegenüber der Geschwindigkeit der Antwort. Das Ergebnis war eine Überraschung: Es gibt keinen Wendepunkt. In jedem der von ihnen getesteten Szenarien war die Komprimierung der Daten signifikant günstiger als das Hinzufügen von mehr Hardware. Die Kostendifferenz wurde umso größer, je mehr Speicherentlastung benötigt wurde, wobei die Komprimierung bis zu fast doppelt so hohe Einsparungen bot wie der bloße Kauf von mehr Chips.
Die Studie zeigt, dass die Frage selbst auf einem Missverständnis darüber basierte, wie diese Systeme scheitern. Die Forscher fanden heraus, dass bei kleineren Modellen das Speicherlimit selten allein durch die Länge der Konversation erreicht wird. Ein Modell mit sieben Milliarden Parametern, das auf einem Standard-High-End-Chip läuft, kann seine maximale mögliche Konversationslänge bewältigen, ohne jemals Platzprobleme zu bekommen. Die eigentliche Barriere ist nicht, wie lang der Chat ist, sondern wie groß das Modell selbst ist. Wenn die Kerninstruktionen oder Gewichte eines Modells zu groß sind, um auf einen einzigen Chip zu passen, kann keine Komprimierung helfen, da die Komprimierung nur den Konversationsverlauf schrumpft, nicht aber das Gehirn des Modells. In diesen Fällen ist das Hinzufügen von Chips keine Wahlmöglichkeit; es ist der einzige Weg, um das System überhaupt zum Laufen zu bringen. Dies schafft eine klare Trennlinie: Wenn das Modell klein genug ist, um auf einen Chip zu passen, ist die Komprimierung die überlegene, kostengünstige Option. Wenn das Modell zu groß ist, ist das Hinzufügen von Chips obligatorisch, und die Komprimierung wird zu einem sekundären Werkzeug, um mehr Nutzer zu handhaben, sobald die Hardware erst einmal im Einsatz ist.
Die Forscher entdeckten auch, dass diese beiden Strategien unterschiedliche Dinge erkaufen. Das Hinzufügen von mehr Chips macht das System schneller, was die Zeit verkürzt, bis eine Antwort beginnt und bis jedes Wort generiert wird. Die Komprimierung der Daten hingegen macht das System langsamer, da der Computer härter arbeiten muss, um die komprimierten Informationen zu entpacken, und die zusätzlichen Nutzer, die es nun handhaben kann, erzeugen Verkehrsstaus, die die Antworten verzögern. Während die Komprimierung der Daten ermöglicht, dass ein einziger Dollar Hardware-Ausgaben etwa sechzehnmal mehr gleichzeitige Nutzer unterstützt, erhöht das Hinzufügen von Chips diese Kapazität nur um einen geringen Betrag, während es wesentlich mehr kostet. Die Studie kommt zu dem Schluss, dass der effizienteste Weg darin besteht, zuerst zu bestimmen, ob das Modell auf einen Chip passt. Wenn es das tut, komprimiere die Daten, um Menschen günstig zu bedienen. Wenn es das nicht tut, füge die notwendigen Chips hinzu, um es praktikabel zu machen, und komprimiere dann die Daten, um die Anzahl der Nutzer zu maximieren, die diese Hardware unterstützen kann. Die Vorstellung, dass es einen Mittelweg gibt, an dem sich beide Methoden in den Kosten gleichen, existiert in der realen Welt dieser Simulationen schlichtweg nicht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.