Energy-Efficient LLM Serving via Disaggregated Attention--FFN and Flexible Frequency Scaling
Dit artikel presenteert AFlex, een framework dat het energieverbruik bij het serveren van LLM's met wel 49% vermindert door middel van gedisaggregeerde Attention-FFN-executie, gezamenlijke resource- en frequentieoptimalisatie, en een geïnterleavede pipeline die zich aanpast aan de op operatorniveau gevoelige frequenties terwijl strikte latentie-SLO's worden nageleefd.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme, superintelligente robothersenen aanstuurt in een gigantisch datacenter. Dit brein, bekend als een Large Language Model (LLM), is de motor achter chatbots, programmeerassistenten en creatieve schrijvers. Maar er is een addertje onder het gras: deze hersenen zijn ongelooflijk hongerig. Ze verbruiken enorme hoeveelheden elektriciteit, vaak omdat hun processoren op volle snelheid draaien, zoals een racewagenmotor die op maximaal toerental staat te loeien terwijl de auto zelfs in de file staat. Dit is een probleem omdat het een fortuin aan energie kost en veel hitte genereëert.
Om deze robots sneller te laten werken, hebben wetenschappers ontdekt hoe ze het werk kunnen verdelen. Beschouw het denkproces van de robot als twee hoofdfasen: eerst leest en begrijpt hij je vraag (de "prefill"-fase), en daarna schrijft hij het antwoord woord voor woord uit (de "decode"-fase). Onlangs realiseerden ingenieurs zich dat het beter is om deze twee stappen in verschillende kamers met verschillende teams van werkers onder te brengen, in plaats van één team beide taken te laten doen. Dit wordt "disaggregatie" genoemd. Het helpt de robot sneller te antwoorden, maar het zorgt niet noodzakelijkerwijs voor minder energieverbruik. Sterker nog, als je simpelweg de snelheid van de werkers verlaagt om energie te besparen, kan de robot te traag worden en zijn deadlines missen. De grote vraag is: hoe vertragen we de boel om energie te besparen zonder dat de robot gaat stotteren of faalt?
Dit artikel introduceert een slim nieuw systeem genaamd AFlex dat dit puzzelstukje oplost door de robothersenen te behandelen als een team van specialisten met verschillende energiebehoeften. De onderzoekers ontdekten dat de twee belangrijkste delen van de robothersenen — het deel dat aandacht heeft voor jouw woorden (Attention) en het deel dat de logica verwerkt (Feed-Forward Network, of FFN) — niet hetzelfde zijn. Ze zijn als twee verschillende atleten: de een is een sprinter die een snelheidssprint nodig heeft om snel te rennen, terwijl de ander een marathonloper is die moe wordt als je hem te hard pusht, maar een gestaag, langzamer tempo efficiënt kan volhouden.
Voorheen behandelden systemen het hele brein als één eenheid, waardoor zowel de sprinter als de marathonloper precies dezelfde snelheid moesten aanhouden. Als je de een versnelde om de sprinter te helpen, verspilde de marathonloper energie. Als je de snelheid verlaagde om de marathonloper te sparen, werd de sprinter te traag. De auteurs van dit artikel ontdekten dat deze twee delen eigenlijk verschillende snelheden verkiezen, afhankelijk van wat de robot doet, hoe lang de vraag is en hoeveel mensen tegelijk vragen stellen.
Om dit op te lossen, fungeert AFlex als een slimme manager die de sprinter en de marathonloper hun eigen banen en hun eigen persoonlijke snelheidsinstellingen kan geven. Het gebruikt een "Global Scheduler" om het grote plaatje te plannen, waarbij wordt beslist hoeveel werkers aan elke taak worden toegewezen, en een "Local Controller" om hun snelheden in real-time bij te sturen, seconde per seconde. Het systeem gebruikt ook een speciale pipeline-techniek waarbij de werkers briefjes naar elkaar doorgeven terwijl ze nog steeds aan het werk zijn, zodat niemand stilzit te wachten. Deze "interleaved" aanpak houdt de lopende band soepel in beweging zonder gaten.
De onderzoekers hebben AFlex getest op krachtige computerchips (NVIDIA A800 GPU's) met real-world data van programmeer- en gesprekstaken. Ze ontdekten dat door de Attention- en FFN-delen op hun eigen unieke, energiebesparende snelheden te laten draaien, het systeem het energieverbruik per gegenereerd woord met wel 49% kon verlagen vergeleken met de beste bestaande methoden die het werk verdeelden, en met 48% vergeleken met systemen die simpelweg probeerden de hele chip te vertragen. Cruciaal was dat de robot nog steeds net zo snel antwoordde als voorheen, waarbij alle snelheidseisen werden nagekomen. Het artikel suggereert dat deze aanpak van het geven van verschillende snelheden aan verschillende delen van het AI-brein een grote stap is naar het veel energie-efficiënter maken van kunstmatige intelligentie zonder dat dit ten koste gaat van de prestaties.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.