Beyond Test-Time Compute Strategies: Advocating Energy-per-Token in LLM Inference

Titel: Beyond Test-Time Compute Strategies: Advocating Energy-per-Token in LLM Inference

Auteurs: Patrick Wilhelm, Thorsten Wittkopp, Odej Kao (Technische Universität Berlin)
Context: EuroMLSys '25

1. Het Probleem

Grote Taalmodellen (LLM's) presteren uitstekend, maar hun energie- en rekencosts zijn aanzienlijk, vooral in scenario's met veel aanvragen. Er is een groeiende bezorgdheid over de duurzaamheid van AI, waarbij datacenters naar schatting in 2026 1.000 TWh aan elektriciteit zullen verbruiken.

• De huidige trend: Onderzoekers proberen de prestaties van kleine taalmodellen (SLM's) te verbeteren door "test-time compute" strategieën te gebruiken, zoals Chain-of-Thought (CoT) prompting en meerderheidsstemming (Majority Voting).
• Het dilemma: Hoewel deze strategieën de nauwkeurigheid kunnen verhogen, introduceren ze vaak extra energiecosts. Er bestaat een fundamenteel compromis tussen nauwkeurigheid en energie-efficiëntie dat vaak wordt genegeerd.
• Het ontbrekende inzicht: Bestaande schaalwetten (scaling laws) focussen voornamelijk op training en negeren de specifieke energie-dynamiek tijdens inferentie. Er is een gebrek aan gestandaardiseerde metrics om energie-efficiëntie per token te meten en te vergelijken.

2. Methodologie

De auteurs hebben een reeks experimenten uitgevoerd om de energie-efficiëntie van verschillende LLM-architecturen te analyseren onder identieke hardware-omstandigheden.

• Hardware: Alle experimenten zijn uitgevoerd op een NVIDIA L40S GPU. Er is geen parallelisme toegepast en de batchgrootte is ingesteld op 1 om eerlijke vergelijkingen mogelijk te maken.
• Datasets:
  • MMLU (Massive Multitask Language Understanding): Gebruikt voor nauwkeurigheidsmetingen (57 categorieën).
  • MT-Bench: Gebruikt voor het evalueren van token-generatie en input-verwerking.
• Geselecteerde Modellen: Vergelijking tussen LLaMA 3.2 (1B parameters) en LLaMA 3.2 (8B parameters).
• Strategieën:
  • Zero-Shot: Basis inferentie.
  • Majority Voting (MV): Genereren van meerdere antwoorden en kiezen van het meest voorkomende.
  • Chain-of-Thought (CoT): Stap-voor-stap redeneren met een limiet van 5 redeneerstappen en maximaal 512 tokens.
• Metrische Definitie: De kernmeting is Energy-per-Token (Joule), berekend als:
  $$\text{Energy per Token} = \frac{W_{\text{consumed}} \times \text{Time (s)}}{T_{\text{processed}}}$$
  Waarbij $T_{\text{processed}}$ de som is van input- en output-tokens.

3. Belangrijkste Bevindingen en Resultaten

A. Niet-lineaire Energie-Operatiecurves

• Verschillende LLM-architecturen verwerken dezelfde input met verschillende energie-efficiënties.
• De energieconsumptie tijdens het genereren van tokens is niet-lineair. Door de autoregressieve aard van transformers (waarbij elke nieuwe token afhankelijk is van alle vorige) stijgt de complexiteit en het energieverbruik op een karakteristieke manier naarmate het aantal gegenereerde tokens toeneemt.
• GPU-gebruik correleert niet altijd rechtstreeks met energie-efficiëntie; een model kan een lager GPU-gebruik hebben maar toch meer energie per token verbruiken.

B. Trade-off tussen Nauwkeurigheid en Energie (MMLU-resultaten)

De resultaten tonen een scherp contrast tussen strategieën:

1. Chain-of-Thought (CoT) op SLM's (1B):

   • Nauwkeurigheid: Grote verbetering in complexe taken (bijv. +281% in Wiskunde, +26% in Sociologie).
   • Energie: Enorme kostenstijging. De energieconsumptie neemt toe met 120x tot 150x ten opzichte van de basis 1B-modellen.
   • Conclusie: CoT is extreem inefficiënt voor real-world implementaties, tenzij de nauwkeurigheidstoeslag kritiek is.

2. Majority Voting (MV) op SLM's (1B):

   • Nauwkeurigheid: Matige verbetering (bijv. +19% in Engineering, +8% in Gezondheid).
   • Energie: Stijging van 72% tot 177%.
   • Conclusie: De extra energiecosts wegen vaak niet op tegen de kleine nauwkeurigheidswinst.

3. Grotere Modellen (LLaMA 8B):

   • Nauwkeurigheid: Consistent superieur aan alle 1B-varianten (bijv. +350% in Wiskunde, +72% in Sociologie).
   • Energie: Een veel bescheidener stijging van 35% tot 65% ten opzichte van de 1B-basis.
   • Conclusie: Het gebruik van een groter model (8B) is vaak energie-efficiënter dan het toepassen van complexe redeneerstrategieën op een kleiner model (1B), omdat het een betere balans biedt tussen nauwkeurigheid en energiekosten.

4. Key Contributions

1. Advocatie voor "Energy-per-Token": De auteurs pleiten ervoor om deze metric te introduceren als een standaardcomplement voor traditionele nauwkeurigheidsbenchmarks (zoals MMLU).
2. Karakterisering van Niet-lineaire Curves: Het paper identificeert en kwantificeert de niet-lineaire relatie tussen het aantal gegenereerde tokens en het energieverbruik, wat essentieel is voor het voorspellen van kosten.
3. Kritische Analyse van Test-Time Compute: Het paper toont aan dat het "opblazen" van SLM's met CoT vaak contraproductief is voor duurzaamheid, en dat het schalen van het modelgrootte (naar 8B) een efficiëntere route kan zijn.
4. Voorgestelde Oplossing: Dynamische Query-Routing:
   • De auteurs stellen een architectuur voor met twee schatters: een Performance Estimator en een Energy Estimator.
   • Dynamische Route: Het systeem kiest per query de optimale strategie:
     • Eenvoudige taken: Gebruik SLM (1B) zonder CoT.
     • Complexe redenering (bijv. Wiskunde): Routeer naar het grotere model (8B) in plaats van CoT op het kleine model.
     • CoT met beperking: Als CoT noodzakelijk is, wordt het aantal redeneerstappen dynamisch beperkt op basis van "operating curves" om afnemende meeropbrengsten (diminishing returns) te voorkomen.

5. Significance en Impact

Dit paper is significant omdat het de focus verschuift van puur het maximaliseren van nauwkeurigheid naar het optimaliseren van duurzame AI.

• Het daagt de huidige trend uit om complexe inferentiestrategieën blindelings toe te passen op kleine modellen.
• Het biedt een praktisch kader voor het bouwen van energiebewuste routers die rekening houden met hardware-operatiecurves.
• Door het dynamisch reguleren van redeneerdiepte en modelkeuze, kunnen organisaties de CO2-voetafdruk van LLM-inferentie aanzienlijk verkleinen zonder in te leveren op de kwaliteit van de antwoorden voor specifieke taken.

Kortom: De paper concludeert dat voor een duurzame toekomst, we moeten stoppen met het "opblazen" van kleine modellen met dure redeneertrucs en in plaats daarvan slimme, taakbewuste routing moeten implementeren die de juiste balans vindt tussen modelgrootte, redeneerdiepte en energiekosten.