MOSAIC: Multi-Objective Search for Allocating Inference Cache Across LLM Decoder Layers
MOSAIC ist ein Multi-Objective-Neural-Architecture-Search-Framework, das die KV-Cache-Budgets pro Schicht für die Long-Context-LLM-Inferenz optimiert und durch das Erreichen höherer Task-Scores bei signifikant reduziertem Speicherverbrauch konsistent verschiedene Modelle und Eviction-Methoden gegenüber der gleichmäßigen Zuweisung übertrifft.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Große Sprachmodelle sind die Motoren hinter vielen der heute fortschrittlichsten Werkzeuge der künstlichen Intelligenz und sind in der Lage, riesige Dokumente zu lesen oder lange Gespräche zu führen. Diese Modelle stehen jedoch vor einer physischen Einschränkung, wenn sie versuchen, lange Textsequenzen zu verarbeiten: Sie müssen eine wachsende Menge an temporären Informationen in ihrem Computerspeicher speichern, um im Blick zu behalten, was sie bereits gelesen haben. Dieser Speicherbereich, bekannt als Key-Value-Cache, wächst linear mit der Länge des Textes. Für ein Modell, das versucht, ein Buch umfassendes Dokument zu verstehen, kann dieser Speicherbedarf so massiv werden, dass er die Kapazität handelsüblicher Computerhardware überschreitet, was das System dazu zwingt, entweder zu stoppen oder Informationen zu verwerfen.
Um dies zu lösen, haben Forscher Methoden entwickelt, um selektiv bei der Beibehaltung von Informationen vorzugehen. Diese Techniken fungieren wie ein Filter, der entscheidet, welche Teile des Textes wichtig genug sind, um im Speicher behalten zu werden, und welche sicher vergessen werden können. Bis jetzt wandten diese Filter dieselben strengen Regeln auf jeden Teil der internen Verarbeitung des Modells an. Die Annahme war, dass jeder Teil des „Gehirns“ des Modells die gleiche Menge an Speicher benötigt, um seine Aufgabe zu erfüllen. Diese neue Forschung stellt diese Annahme infrage und schlägt vor, dass verschiedene Schichten tatsächlich unterschiedliche Mengen an Platz benötigen und dass es eine Verschwendung von Ressourcen ist, ihnen gleiche Anteile zuzuweisen.
Ein Team von Forschern hat eine neue Methode namens MOSIC eingeführt, die automatisch die perfekte Speichergröße ermittelt, die jeder Schicht eines großen Sprachmodells zugewiesen werden sollte. Anstatt das Modell als einen einheitlichen Block zu behandeln, bei dem jeder Abschnitt das gleiche Stück vom Speicher-Kuchen erhält, behandelt MOSIC die Schichten als Individuen mit einzigartigen Bedürfnissen. Das System nutzt einen ausgeklügelten Suchprozess, um tausende verschiedene Wege der Speicherverteilung zu testen. Es sucht nach einem spezifischen Muster, bei dem einige Schichten mehr Platz erhalten, während andere weniger erhalten, und dabei stets innerhalb eines Gesamtspeicherkontingents bleiben. Das Ziel ist es, die Anordnung zu finden, die es dem Modell ermöglicht, Fragen zu beantworten oder Texte am genauesten zusammenzufassen, ohne den Speicher zu überlasten.
Die Forscher testeten diesen Ansatz an zwei populären großen Sprachmodellen und verglichen ihn mit der Standardmethode, bei der jeder Schicht die gleiche Menge an Speicher zugewiesen wird. Sie evaluierten die Modelle bei einer Vielzahl schwieriger Aufgaben, darunter komplexe Textverständnisaufgaben, Codegenerierung und die Zusammenfassung langer Dokumente. Die Ergebnisse zeigten, dass die neue Methode in der überwiegenden Mehrheit der Fälle konsequent besser abschnitt als die alte Methode und die gleichmäßige Zuweisung in 146 von 154 Testsettings schlug. In einigen Fällen war die Verbesserung dramatisch, wobei das Modell fast fünfzig Punkte in einem standardisierten Test für das Verständnis langer Kontexte gewann. Vielleicht noch wichtiger ist, dass die neue Methode es den Modellen ermöglichte, die gleiche hohe Leistung mit bis zu viermal weniger Speicher als zuvor zu erbringen. Dies bedeutet, dass die Modelle längere Texte verarbeiten oder auf kleineren, kostengünstigeren Computern laufen können.
Eine der überraschendsten Erkenntnisse war, dass die beste Speicherverteilung nicht zufällig war. Die Suche ergab ein konsistentes Muster: Eine kleine Gruppe von Schichten in der Mitte des Modells benötigte konsequent mehr Speicher als die Schichten am Anfang oder am Ende. Die Schichten am Anfang und am Ende konnten mit weniger Platz gut funktionieren, während die mittleren Schichten als kritischer Engpass fungierten, an dem Informationen bewahrt werden mussten. Durch die Verschiebung von Speicher von den Schichten, die ihn nicht benötigten, zu denen, die ihn brauchten, wurde das System wesentlich effizienter. Diese Entdeckung legt nahe, dass die interne Struktur dieser Modelle nicht einheitlich ist; verschiedene Teile des Netzwerks spielen unterschiedliche Rollen und erfordern unterschiedliche Ressourcen, um bei ihrer Arbeit optimal zu funktionieren.
Die Forscher fanden auch heraus, dass dieses optimale Muster einmal entdeckt und dann auf viele verschiedene Speicherlimits angewendet werden konnte. Sie mussten nicht für jede einzelne Speichergröße, die ein Nutzer eventuell wünscht, eine neue, teure Suche durchführen. Stattdessen fanden sie eine „Gewinnerform“ für die Speicherverteilung und skalierten diese einfach hoch oder runter. Das bedeutet, dass eine einzige, einmalige Suche die Lösung für jede zukünftige Speicherbeschränkung liefern konnte, was die Methode praktikabel für den realen Einsatz macht. Das System lernt das ideale Gleichgewicht „offline“, bevor das Modell jemals verwendet wird, um eine Frage zu beantworten, sodass es bei der tatsächlichen Nutzung keine zusätzliche Verzögerung verursacht.
Im Vergleich zu anderen jüngsten Versuchen, dieses Problem zu lösen, untersuchte dieser neue Ansatz einen weitaus größeren Raum an Möglichkeiten. Während andere Methoden nur wenige Variationen gleichzeitig testeten, evaluierte dieses System nur einen winzigen Bruchteil der gesamten möglichen Konfigurationen – es scannte einen Suchraum, der Milliarden Mal größer war als bei früheren Methoden, während es nur wenige hundert Kandidaten evaluierte, um die beste Lösung zu finden. Trotz der Tatsache, dass es so viel mehr Optionen betrachtete, benötigte es weniger Rechenzeit, um die beste Lösung zu finden. Die Studie bestätigt, dass die alte Idee, jede Schicht gleich zu behandeln, ineffizient ist. Indem wir erkennen, dass einige Teile des Modells kritischer sind als andere und die Ressourcen entsprechend zuteilen, können wir diese leistungsstarken Werkzeuge schneller, günstiger und in der Lage machen, viel längere Kontexte zu verstehen, als bisher für möglich gehalten wurde.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.