SweetSpot: An Analytical Model for Predicting Energy Efficiency of LLM Inference

Titel

SweetSpot: Een Analytisch Model voor het Voorspellen van Energie-efficiëntie bij LLM-inferentie

1. Het Probleem

Grote Taalmodellen (LLMs) domineren tegenwoordig de werkbelasting van datacenters, maar hun inferentie (het genereren van antwoorden op gebruikersvragen) is zeer energie-intensief. Schattingen wijzen uit dat inferentie tot 90% van de totale levenscyclus-energieverbruik van een model kan uitmaken.

Bestaande benaderingen voor het schatten van energieverbruik zijn vaak te simplistisch:

• Ze veronderstellen een lineair verband tussen het aantal invoer- en uitvoertokens en het energieverbruik.
• Commerciële aanbieders rekenen vaak op basis van een lineaire combinatie van tokens, wat impliceert dat elke gegenereerde token een constante energiekost heeft.

De auteurs stellen echter dat dit onjuist is. Door de autoregressieve structuur van Transformers (met een distincte prefill-fase voor invoer en een decode-fase voor uitvoer) is de relatie tussen sequentielengte en energie niet-lineair. Er bestaat een complex samenspel tussen rekenkracht (FLOPs) en geheugentoegang (KV-cache), wat leidt tot specifieke "sweet spots" waar de efficiëntie maximaal is, en gebieden waar de efficiëntie sterk daalt.

2. Methodologie

De auteurs hebben een systematische studie uitgevoerd om een nauwkeurig analytisch model te ontwikkelen.

• Hardware en Software: Experimenten zijn uitgevoerd op NVIDIA H100 GPU's met behulp van TensorRT-LLM, een geoptimaliseerd inferentiestack dat bekend staat om zijn energie-efficiëntie en prestaties.
• Modelset: Er is een diverse reeks LLMs getest, variërend van 1B tot 9B parameters. Dit omvat modellen zoals OPT, LLaMA, Gemma, Falcon, Qwen2 en Granite.
• Werklast: De tests omvatten een breed scala aan invoer- ($n_{in}$) en uitvoerlengtes ($n_{out}$), variërend van 64 tot 4096 tokens.
• Metingen: Het energieverbruik ($E_{tot}$) is gemeten via de NVIDIA Management Library (NVML) met een sample-frequentie van 500 ms. De metric "Energy-per-Token" ($E_{tok}$) is berekend door het totale verbruik te delen door het aantal gegenereerde tokens.
• Analyse: De auteurs hebben de computationele complexiteit (FLOPs) en de geheugentoegangskosten (Memory Access) voor zowel de prefill- als de decode-fase wiskundig afgeleid en gecombineerd tot een analytisch model.

3. De SweetSpot: Het Analytische Model

Het kernpunt van het paper is het SweetSpot-model. Dit model voorspelt het energieverbruik op basis van de complexiteit van de Transformer-architectuur.

• Fase 1: Prefill (Invoer): Hier wordt de volledige invoersequentie parallel verwerkt. De kosten zijn kwadratisch afhankelijk van de invoerlengte ($n_{in}^2$) vanwege de attention-mechanismen.
• Fase 2: Decode (Uitvoer): Tokens worden sequentieel gegenereerd. De kosten per token zijn lineair afhankelijk van de totale contextlengte (invoer + reeds gegenereerde tokens), maar worden beperkt door geheugenbandbreedte (KV-cache).

Het model formuleert de energie per token ($E_{tok}$) als een functie van $n_{in}$ en $n_{out}$:
$$E_{tok}(n_{in}, n_{out}) = \theta_0 + \frac{\theta_1 n_{in}^2}{n_{out}} + \theta_2 n_{in} + \theta_3 \frac{n_{in}}{n_{out}} + \theta_4 n_{out} + \frac{\theta_5}{n_{out}}$$

Belangrijke inzichten uit de formule:

• De term $\frac{n_{in}^2}{n_{out}}$ toont aan dat de hoge initiële kosten van lange invoer worden "afgeschreven" over een groter aantal uitvoertokens.
• De term $n_{out}$ vertegenwoordigt de lineaire kosten van het sequentieel decoderen.
• Het model voegt een constante term toe ($\theta_5/n_{out}$) om geheugentoegangskosten te compenseren die onafhankelijk zijn van de lengte maar wel van invloed zijn op de efficiëntie bij korte uitvoer.

4. Belangrijkste Resultaten

• Niet-monotoon gedrag: Energie-efficiëntie is niet lineair. Er is een duidelijke "sweet spot":
  • Maximale efficiëntie: Wordt bereikt bij korte tot gemiddelde invoer en gemiddelde uitvoer.
  • Minimale efficiëntie: Treedt op bij zeer lange invoer of zeer korte uitvoer.
• Aanzienlijke besparingen: Door sequentielengtes af te stemmen op deze sweet spots, kan het energieverbruik worden verlaagd met een factor van 33,41x ten opzichte van de slechtst mogelijke configuratie (lange invoer + korte uitvoer).
• Voorspellende nauwkeurigheid: Het SweetSpot-model heeft een gemiddelde MAPE (Mean Absolute Percentage Error) van 1,79%, wat aanzienlijk beter is dan bestaande baselines (die vaak boven de 30% tot 130% liggen).
• Invloed van Architectuur: Modellen die Grouped-Query Attention (GQA) gebruiken, zijn aanzienlijk energie-efficiënter dan modellen met Multi-Head Attention (MHA), vooral vanwege de verlaagde geheugenbandbreedte-eisen voor de KV-cache.
• Batching: De grootte van de batch heeft een grote invloed op de efficiëntie. Grotere batches (tot aan de limiet van het systeem) maximaliseren de hardwarebenutting en verlagen de energie per token.

5. Betekenis en Toepassing

Deze studie biedt een fundamenteel nieuw perspectief op het optimaliseren van LLM-infrastructuur:

1. Van Empirisch naar Voorspelbaar: Energie-efficiëntie wordt niet langer gezien als een empirisch fenomeen, maar als een voorspelbare ontwerpparameter die kan worden berekend op basis van invoer- en uitvoerlengte.
2. Productie-Optimalisatie: Bedrijven kunnen hun systemen optimaliseren door:
   • Te lange invoer prompts te trunceren (kappen) als dit de efficiëntie ten goede komt.
   • Samenvattingen te genereren in plaats van lange, gedetailleerde antwoorden als dat past bij de sweet spot.
   • Adaptieve generatiestrategieën te implementeren die de outputlengte dynamisch aanpassen aan de invoerlengte om de energie-efficiëntie te maximaliseren.
3. Duurzaamheid: Het model biedt een concrete route om de enorme energiekosten van generatieve AI te verlagen, wat essentieel is voor de duurzaamheid van toekomstige AI-systemen.

Kortom, SweetSpot levert een wiskundig onderbouwd kader dat laat zien dat de "meest efficiënte" manier om een LLM te gebruiken niet altijd de meest logische is voor de gebruiker, maar wel voor de energievoorraad, en dat deze optimalisatie mogelijk is zonder in te leveren op de kwaliteit van het model zelf.