Energy-Efficient LLM Serving via Disaggregated Attention--FFN and Flexible Frequency Scaling
Dieses Paper präsentiert AFlex, ein Framework, das den Energieverbrauch beim Serving von LLMs durch disaggregierte Attention-FFN-Ausführung, gemeinsame Ressourcen- und Frequenzoptimierung sowie eine verschachtelte Pipeline, die sich an operatorbasierte Frequenzsensitivitäten anpasst und gleichzeitig strikte Latenz-SLOs einhält, um bis zu 49 % reduziert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreiben ein riesiges, superintelligentes Robotergehirn in einem gigantischen Rechenzentrum. Dieses Gehirn, bekannt als Large Language Model (LLM), ist der Motor hinter Chatbots, Programmierassistenten und kreativen Schreibern. Aber es gibt einen Haken: Diese Gehirne sind unglaublich hungrig. Sie verbrauchen enorme Mengen an Elektrizität, da ihre Prozessoren oft mit voller Geschwindigkeit laufen – wie ein Rennwagenmotor, der bei maximaler Drehzahl aufheult, selbst wenn das Auto im Stau steht. Dies ist ein Problem, weil es ein Vermögen an Energie kostet und viel Hitze erzeugt.
Um diese Roboter schneller zu machen, haben Wissenschaftler herausgefunden, wie man die Arbeit aufteilt. Stellen Sie sich den Denkprozess des Roboters als zwei Hauptschritte vor: Zuerst liest und versteht er Ihre Frage (die „Prefill“-Phase), und zweitens schreibt er die Antwort Wort für Wort aus (die „Decode“-Phase). Vor kurzem haben Ingenieure erkannt, dass es besser ist, diese beiden Schritte in verschiedene Räume mit verschiedenen Teams von Arbeitern zu legen, anstatt ein Team beides machen zu lassen. Dies wird als „Disaggregation“ bezeichnet. Es hilft dem Roboter, schneller zu antworten, macht ihn aber nicht unbedingt energieeffizienter. Wenn man nämlich einfach nur die Geschwindigkeit der Arbeiter herunterschraubt, um Energie zu sparen, könnte der Roboter zu langsam werden und seine Fristen versäumen. Die große Frage lautet: Wie können wir die Geschwindigkeit drosseln, um Energie zu sparen, ohne dass der Roboter stottert oder versagt?
Dieses Paper stellt ein cleveres neues System namens AFlex vor, das dieses Rätsel löst, indem es das Gehirn des Roboters wie ein Team von Spezialisten mit unterschiedlichen Energiebedürfnissen behandelt. Die Forscher haben entdeckt, dass die zwei Hauptteile des Robotergehirns – der Teil, der auf Ihre Worte achtet (Attention/Aufmerksamkeit) und der Teil, der die Logik verarbeitet (Feed-Forward Network oder FFN) – nicht gleich sind. Sie sind wie zwei verschiedene Athleten: Einer ist ein Sprinter, der einen hohen Geschwindigkeitsschub braucht, um schnell zu rennen, während der andere ein Marathonläufer ist, der schnell ermüdet, wenn man ihn zu sehr pusht, aber ein stetiges, langsameres Tempo effizient beibehalten kann.
Zuvor behandelten Systeme das gesamte Gehirn als eine Einheit und zwangen sowohl den Sprinter als auch den Marathonläufer, exakt dieselbe Geschwindigkeit zu laufen. Wenn man sie beschleunigte, um dem Sprinter zu helfen, verschwendete der Marathonläufer Energie. Wenn man sie verlangsamte, um beim Marathonläufer Energie zu sparen, wurde der Sprinter zu langsam. Die Autoren dieses Papers fanden heraus, dass diese beiden Teile tatsächlich unterschiedliche Geschwindigkeiten bevorzugen, je nachdem, was der Roboter gerade tut, wie lang die Frage ist und wie viele Menschen gleichzeitig Fragen stellen.
Um dies zu lösen, fungiert AFlex wie ein intelligenter Manager, der dem Sprinter und dem Marathonläufer ihre eigenen Bahnen und ihre eigenen persönlichen Geschwindigkeitseinstellungen geben kann. Es nutzt einen „Globalen Scheduler“, um das große Ganze zu planen – indem entschieden wird, wie viele Arbeiter jeder Aufgabe zugewiesen werden – und einen „Lokalen Controller“, um deren Geschwindigkeiten in Echtzeit, Sekunde für Sekunde, anzupassen. Das System verwendet zudem eine spezielle Pipeline-Technik, bei der die Arbeiter sich Notizen zuschieben, während sie noch arbeiten, damit niemand untätig herumsteht. Dieser „interleaved“ (verschachtelte) Ansatz hält das Fließband reibungslos in Bewegung, ohne dass Lücken entstehen.
Die Forscher testeten AFlex auf leistungsstarken Computerchips (NVIDIA A800 GPUs) mit realen Daten aus Programmier- und Konversationsaufgaben. Sie fanden heraus, dass AFlex, indem es den Attention- und den FFN-Teil mit ihren jeweils einzigartigen, energiesparenden Geschwindigkeiten laufen lässt, den Energieverbrauch pro generiertem Wort um bis zu 49 % im Vergleich zu den besten existierenden Methoden, die die Arbeit aufteilen, und um 48 % im Vergleich zu Systemen, die einfach nur den gesamten Chip verlangsamen, senken konnte. Entscheidend dabei ist, dass der Roboter immer noch genauso schnell antwortete wie zuvor und alle seine Geschwindigkeitsversprechen einhielt. Das Paper legt nahe, dass dieser Ansatz, verschiedenen Teilen des KI-Gehirns unterschiedliche Geschwindigkeiten zuzuweisen, ein bedeutender Schritt dahin ist, künstliche Intelligenz wesentlich energieeffizienter zu machen, ohne die Leistung zu opfern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.