🤖 AI

Multi-Level Modeling of Large Language Model Inference Latency and Energy via Hybrid Analytical--Machine-Learning Predictors

Dit artikel introduceert HYMELL, een hybride drielagig framework dat analytische modellering en machine learning combineert om de inferentielatentie en het energieverbruik van diverse Large Language Model-architecturen op hardware zoals de NVIDIA H100 nauwkeurig te schatten, waarbij een foutmarge van minder dan 5% wordt behaald en efficiënte, hardwarevrije design space exploration mogelijk wordt gemaakt.

Oorspronkelijke auteurs: Saeid Shokoufa, Mohammad Erfan Sadeghi, Mehdi Kamal, Massoud Pedram

Gepubliceerd 2026-08-10

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Saeid Shokoufa, Mohammad Erfan Sadeghi, Mehdi Kamal, Massoud Pedram

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een gigantische, pratende robot probeert te bouwen die verhalen kan schrijven, wiskundige problemen kan oplossen en kan chatten als een mens. Deze robot wordt een Large Language Model (LLM) genoemd. Om hem te laten werken, heb je een super-snelle computerhersenen nodig, meestal een Graphics Processing Unit (GPU), wat hetzelfde soort chip is als die in krachtige gamingcomputers. Maar hier is de crux: deze robots worden zo groot en slim dat ze ongelooflijk duur zijn om te draaien. Ze verslinden enorme hoeveelheden elektriciteit en doen er lang over om na te denken, wat ze lastig bruikbaar maakt in echte situaties zoals ziekenhuizen of scholen.

De grote vraag die wetenschappers zich stellen is: "Hoe kunnen we precies weten hoeveel energie en tijd een robot nodig zal hebben voordat we hem zelfs maar bouwen?" Op dit moment moet je, om erachter te komen, meestal de robot bouwen, hem laten draaien en hem met speciale instrumenten meten. Dit is traag, duur en vereist dat je de eigenlijke supercomputer bij de hand hebt. Als je duizend verschillende robotontwerpen wilt uitproberen om de meest efficiënte te vinden, zou je ze allemaal één voor één moeten bouwen en testen, wat een eeuwigheid zou duren en een fortuin zou kosten.

Dit is waar een team onderzoekers van de University of Southern California met een nieuw idee genaxt komt: HYMELL. Zie HYMELL als een "glazen bol" voor computerwetenschappers. In plaats van de robot te bouwen en te testen, laat dit nieuwe hulpmiddel je precies voorspellen hoe snel en hoe energieverslindend een robot zal zijn, alleen maar door naar de blauwdrukken te kijken. Het gebruikt een slimme mix van klassieke wiskundige formules en moderne machine learning om de kosten van het draaien van deze enorme modellen te raden. De onderzoekers hebben hun glazen bol getest op een krachtige computerchip genaamd de NVIDIA H100 en ontdekten dat het de snelheid en het energieverbruik van de robot met verbazingwekkende nauwkeurigheid kan voorspellen — vaak met een afwijking van minder dan 5%. Dit betekent dat ingenieurs nu snel duizenden verschillende robotontwerpen op een laptop kunnen uitproberen om de meest efficiënte te vinden, zonder een supercomputer te hoeven kopen of dagen op resultaten te hoeven wachten.

De Drie-Niveaus Detective

Om te begrijpen hoe HYMELL werkt, stel je voor dat je probeert in te schatten hoe lang het duurt om een enorme, meerlagige taart te bakken en hoeveel elektriciteit je oven zal verbruiken. Je zou kunnen proberen de totale tijd te raden door alleen naar de uiteindelijke taart te kijken, maar dat is vaak onnauwkeurig omdat je de kleine details mist. In plaats daarvan werkt HYMELL als een detective op drie niveaus, die het probleem opdeelt in kleinere, beheersbare stukjes.

Niveau 1: De Kleine Ingrediënten (Analytische Modellering)
Eerst kijkt het systeem naar de kleinste "ingrediënten" van de hersenen van de robot. Dit zijn basis wiskundige operaties zoals het vermenigvuldigen van enorme rasters met getallen (genaamd GEMM), het normaliseren van gegevens (RMSNorm) en het berekenen van aandachtsscores (Softmax). De onderzoekers realiseerden zich dat deze kleine operaties anders gedragen afhankelijk van hoe groot de taak is.

De Analogie: Denk aan een kleine keukentaak zoals het snijden van één ui. Als je slechts één ui hebt, gaat de tijd vooral over hoe lang het duurt om naar de koelkast te lopen, een mes te pakken en te beginnen met snijden (dit is "launch-bound"). Maar als je een berg uien moet snijden, gaat de tijd vooral over de werkelijke snelsnelheid en hoe snel je de uien kunt verplaatsen (dit is "memory-bound").
HYMELL gebruikt wiskundige formules om de kosten van deze kleine ingrediënten te berekenen op basis van of de taak klein of groot is. Het gokt niet; het gebruikt natuurkundige regels om de basiskosten van deze operaties te bepalen.

Niveau 2: De Receptblokken (Machine Learning)
Vervolgens groepeert het systeem deze kleine ingrediënten in grotere "blokken", zoals het Attention Block (dat de robot helpt te focen op belangrijke woorden) en het Feed-Forward Network (dat de robot helpt informatie te verwerken).

De Analogie: Stel je voor dat je precies weet hoe lang het duurt om een ui te snijden en hoe lang het duurt om eieren te kloppen. Maar wanneer je deze combineert om een omelet te maken, zijn er extra stappen: het kraken van de schaal, het schoonmaken van de kom, en misschien een beetje wachten. Deze extra stappen zijn moeilijk te berekenen met eenvoudige wiskunde.
Daarom gebruikt HYMELL een klein, slim computerprogramma (een Machine Learning-model) om deze "extra stappen" te leren. Het kijkt naar de op wiskunde gebaseerde schattingen van Niveau 1 en voegt een correctiefactor toe voor de rommelige, echte overhead zoals het herstructureren van gegevens of het wisselen tussen taken. Dit stelt het in staat om de kosten van een heel "receptblok" zeer nauwkeurig te voorspellen.

Niveau 3: De Hele Taart (End-to-End Voorspelling)
Ten slotte brengt het systeem alle blokken samen om de kosten van de gehele robot te voorspellen tijdens een volledige conversatie.

De Analogie: Nu heb je de tijd voor de omelet, de taart en de salade. Maar het bakken van een heel banket houdt meer in dan alleen de tijden bij elkaar optellen. Je moet rekening houden met het opwarmen van de oven, de drukte in de keuken en de tijd die het kost om gerechten van het aanrecht naar de tafel te brengen.
HYMELL gebruikt een ander slim computerprogramma om de kosten van alle blokken te nemen en deze "systeem-niveau" effecten toe te voegen. Het houdt rekening met zaken zoals hoeveel mensen er tegelijkertijd vragen stellen (batch size) en of de robot een lange prompt leest of slechts één woord tegelijk genereert. Dit geeft een uiteindelijke, nauwkeurige voorspelling van de totale tijd en energie die nodig zijn.

Wat Ze Hebben Gevonden

De onderzoekers hebben deze drie-niveaus detective getest op een krachtige NVIDIA H100 GPU met beroemde robotmodellen zoals LLaMA 3, Mistral en Qwen. De resultaten waren indrukwekkend.

Hoge Nauwkeurigheid: Voor de kleine ingrediënten (Niveau 1) waren de voorspellingen ongelooflijk dicht bij de werkelijkheid, met fouten die vaak onder de 4% lagen. Voor de hele robot (Niveau 3) voorspelde het systeem de tijd en het energieverbruik met een fout van minder dan 5% voor veel modellen. Bijvoorbeeld, bij het testen van het LLaMA 3 8B-model was de fout slechts 4,19% voor de tijd en 2,92% voor energie tijdens de "prefill"-fase (het lezen van de prompt), en zelfs lager (rond de 1,5%) tijdens de "decode"-fase (het genereren van woorden).
Snelheid en Flexibiliteit: Omdat HYMELL voorspelt op basis van de blauwdruk (architecturale parameters) in plaats van de robot daadwerkelijk te draaien, is het ongelooflijk snel. Het stelt ingenieurs in staat om direct duizenden ontwerpwijzigingen te verkennen. Ze zouden bijvoorbeeld kunnen vragen: "Wat gebeurt er als we het aantal attention heads verdubbelen?" en binnen enkele seconden een antwoord krijgen, wat aantoont dat 64 heads de meest energie-efficiënte keuze kan zijn voor een specifieke opstelling.
Werkend op Verschillende Hardware: Het team heeft ook aangetoond dat deze methode niet gebonden is aan slechts één type computer. Ze hebben het getest op een andere GPU (de NVIDIA RTX A6000) en het systeem werkte nog steeds goed, met fouten rond de 8%. Dit suggereert dat als je HYMELL op een nieuwe computerchip wilt gebruiken, je niet het hele wiel opnieuw hoeft uit te vinden; je hoeft alleen de basisgedragingen van de nieuwe chip één keer te meten, en de rest van het systeem past zich automatisch aan.

Wat Het Niet Is

Het is belangrijk om op te merken wat HYMELL niet doet. Het is geen toverstaf die je vertelt hoe je een robot vanaf nul moet bouwen, noch vervangt het volledig de noodzaak voor echt testen. Het is een voorspellingsinstrument. De onderzoekers geven expliciet aan dat hoewel hun model zeer nauwkeurig is, het nog steeds kleine fouten heeft, vooral bij het omgaan met zeer complexe interacties tussen verschillende onderdelen van de robot of bij het wisselen tussen verschillende soorten geheugenoptimalisaties. Ook al hebben ze het getest op enkele computers, ze merkten op dat het voorspellen van hoe deze robots werken over vele computers die samenwerken (multi-GPU), het toevoegen van een paar extra stappen aan het systeem vereist, wat ze nog niet volledig hebben opgelost.

Waarom Dit Belangrijk Is

De schoonheid van HYMELL is dat het een traag, duur gokspel verandert in een snelle, precieze wetenschap. Door de betrouwbaarheid van wiskundige formules te combineren met de flexibiliteit van machine learning, geeft het ontwerpers een krachtig hulpmiddel om groenere, snellere en efficiëntere AI te bouwen. In plaats van door elektriciteit en tijd heen te branden om elke nieuwe gedachte te testen, kunnen ze deze "glazen bol" gebruiken om de beste ontwerpen te vinden voordat ze ze zelfs maar bouwen, wat de weg vrijmaakt voor een meer duurzame toekomst voor kunstmatige intelligentie.

Technische Samenvatting: Hybride Modellering voor Energie en Latentie van LLM's (HYMELL)

Probleemstelling

De snelle schaling van Large Language Models (LLMs) heeft geleid tot substantiële to evenementen in computationele kosten, energieverbruik en inferentie-latentie. Nauwkeurige schatting van deze metrieken is cruciaal voor duurzame AI-implementatie en hardware-bewust ontwerp. Bestaande benaderingen kampen met significante beperkingen:

Zuiver Analytische Modellen (bijv. AMALI, LIFE, SweetSpot) vereisen vaak uitgebreide handmatige modellering, gedetailleerde per-kernel analyse en expliciete hardware-specificaties. Ze hebben moeite met schaalbaarheid bij het aanpassen aan nieuwe architecturen of kernels en vertrouwen op aannames die mogelijk niet standhouden onder variërende systeem-overheads.
Proxy-gebaseerde Methoden (bijv. het gebruik van inferentietijd als proxy voor energie) falen in het vastleggen van fijnmazige architecturale effecten of systeem-niveau overheads, waardoor ze slechts grove schattingen bieden.
Zuiver Data-gedreven Modellen missen vaak interpreteerbaarheid en kunnen niet goed generaliseren over diverse sequentielengtes en batching-regimes zonder uitgebreide hertraining.

Er is behoefte aan een framework dat een balans vindt tussen nauwkeurigheid, interpreteerbaarheid en aanpasbaarheid om zowel dense als Mixture-of-Experts (MoE) LLM's te modelleren tijdens de prefill- en decode-fasen, zonder dat hardware-executie nodig is voor elke ontwerpiteraie.

Methodologie: Het HYMELL-framework

De auteurs stellen HYMELL (Hybrid Modeling for Energy and Latency of LLMs) voor, een hiërarchisch framework op drie niveaus dat analytische modellering voor primitieve operaties combineert met machine learning (ML) voor componenten op een hoger niveau. Het framework werkt op een NVIDIA H100 GPU (met validatie op RTX A6000) en ondersteunt zowel Dense als MoE-architecturen, evenals Multi-Head Attention (MHA) en Grouped-Query Attention (GQA).

Niveau 1: Analytische Schatting van Primitieve Operatoren

Dit niveau modelleert laag-niveau GPU-operaties met regime-bewuste analytische vergelijkingen. De auteurs maken onderscheid tussen launch-bound (kleine workloads die gedomineerd worden door kernel launch overhead) en memory-bound (grotere workloads die gedomineerd worden door geheugentrafiek) executie-regimes.

RMSNorm: Gemodelleerd als een memory-bound operator met een vaste overhead. De estimator gebruikt regressiecoëfficiënten gebaseerd op het aantal tokens ( $N$ ) en de verborgen dimensie ( $d_{model}$ ), waarbij regimes worden onderscheiden op basis van het totaal aantal verwerkte elementen.
Softmax: Gemodelleerd voor causale aandacht-matrices ( $N \times N$ ). De estimator legt kwadratische geheugentrafiek ( $N^2$ ) en reductiediepte ( $\log_2 N$ ) vast, en schakelt tussen regimes op basis van sequentielengte-drempels.
GEMM (General Matrix Multiplication): Het dominante computationele blok. Het model partitioneert GEMMs in vijf regimes op basis van totale floating-point operaties ( $F$ ) en Arithmetic Intensity (AI): kernel-launch-bound, memory-bound, balanced (memory-dominant), balanced (compute-dominant), en compute-bound. Kenmerken zijn onder meer parallelliteitsfactoren ($PF = MN/K$), geheugentrafiek ( $B_{in}, B_{out}$ ), en interactietermen om nuances in GPU-utilisatie te vangen.

Niveau 2: ML-voorspelling van Block-niveau Componenten

Analytische schattingen van Niveau 1 dienen als input voor lichte Multi-Layer Perceptrons (MLP's) om de kosten van complexe blokken te voorspellen, waarbij residuele overheads (zoals tensor reshaping, masking, activatiefuncties en routing) worden gevangen die niet expliciet analytisch gemodelleerd zijn.

Attention Block: Gebruikt de GEMM- en Softmax-voorspellingen, samen met architecturale parameters (heads, dimensies), om de totale aandachtstijd en energie te voorspellen. Het ondersteunt zowel MHA als GQA, en modelleert expliciet de KV-cache lengte ( $L_{KV}$ ) tijdens autoregressieve decodering.
FFN Block: Gebruikt GEMM-voorspellingen voor up/down projecties. Voor MoE-architecturen worden het aantal experts en top- $k$ routing als inputs opgenomen om de geaggregeerde kosten te voorspellen.

Niveau 3: End-to-End Systeem-niveau Schatting

Een finale MLP aggregeert block-niveau voorspellingen met globale systeemparameters (modeldimensie, aantal lagen, sequentielengte, batchgrootte, inferentie-modus, MoE-configuratie). Dit niveau vangt systeem-niveau effecten zoals kernel-scheduling, cross-layer synchronisatie en framework-overheads die moeilijk op lager niveau te modelleren zijn.

Belangrijkste Bijdragen

Hybride Drie-niveau Architectuur: Een nieuw framework dat de interpreteerbaarheid van analytische modellen voor primitieven benut en de flexibiliteit van ML voor complexe interacties en overheads.
Regime-bewuste Analytische Modellering: Expliciete scheiding van launch-bound en memory-bound (of compute-bound) regimes voor RMSNorm, Softmax en GEMM, wat de nauwkeurigheid voor kleine tensors en variërende workloads aanzienlijk verbetert.
Hardware-Agnostische Portabiliteit: Hoewel getraind op specifieke hardware, is het framework ontworpen om portabel te zijn. Het aanpassen aan nieuwe GPU's vereist enkel het opnieuw profileren om analytische coëfficiënten bij te werken en lichte MLP's te finetunen, waardoor het niet nodig is om structurele vergelijkingen opnieuw af te leiden.
Ondersteuning voor Diverse Architecturen: Het model verwerkt dense en MoE FFN's, MHA en GQA mechanismen, en diverse sequentielengtes en batchgroottes.

Experimentele Resultaten

Het framework werd geëvalueerd op een NVIDIA H100 GPU met ongeveer 1.200 modelconfiguraties (waaronder LLaMA 3 8B, Mistral 7B en Qwen 1.5 2.7B MoE).

Nauwkeurigheid op Operator-niveau:
- RMSNorm: Behaalde een MAPE van 1,69% (Tijd) en 3,38% (Energie).
- Softmax: Behaalde een MAPE van 3,27% (Tijd) en 1,92% (Energie).
- GEMM: Behaalde een MAPE van 6,38% (Tijd) en 5,79% (Energie) over diverse regimes heen.
Nauwkeurigheid op Block-niveau:
- Attention: MAPE van 1,98% (Tijd) en 2,42% (Energie).
- FFN: MAPE van 4,62% (Tijd) en 5,47% (Energie) voor dense; iets hoger voor MoE vanwege routing-overhead.
End-to-End Nauwkeurigheid:
- Behaalde een gemiddelde MAPE van 10,98% voor latentie en 11,78% voor energie over dense en MoE modellen in zowel prefill als decode fasen.
- Vergelijking met AMALI: Op LLaMA 3 8B (batchgrootte 1), presteerde HYMELL aanzienlijk beter dan het analytische model AMALI. HYMELL behaalde een tijd-MAPE van 4,19% (prefill) en 1,58% (decode) vergeleken met de 15,56% en 34,90% van AMALI. HYMELL leverde ook energie-schattingen, wat AMALI niet deed.
Generalisatie:
- Cross-Device: Wanneer geport naar een NVIDIA RTX A6000, behield het framework een sterke nauwkeurigheid (Gemiddelde Tijd MAPE: 8,14%, Energie MAPE: 8,62%) na herprofilering.
- Architecturale Uitbreidbaarheid: Het framework slaagde er succesvol in om varianten van linear attention te schatten met een lage fout (Tijd MAPE: 1,91%), wat de aanpasbaarheid aan niet-standaard aandachtmechanismen aantoont.

Betekenis en Claims

Het artikel claimt dat HYMELL een snelle, hardware-vrije surrogaat biedt voor de evaluatie van LLM-inferentie. Door de executiekosten direct te voorspellen vanuit architecturale parameters, maakt het mogelijk:

Snelle Design Space Exploratie: Onderzoekers kunnen parameters doorzoeken (bijv. aandacht-heads, modeldimensies, MoE-instellingen) om configuraties te identificeren die energie of latentie minimaliseren zonder fysieke experimenten uit te voeren.
Energie-efficiënte Optimalisatie: Het framework ondersteunt de gezamenlijke optimalisatie van architecturale parameters voor hardware-bewust ontwerp.
Schaalbaarheid: De hybride aanpak vermijdt de complexiteit van volledig analytische modellen terwijl het een betere generalisatie behoudt dan zuiver data-gedreven black-box modellen.

De auteurs benadrukken dat hoewel de evaluatie zich richt op single-GPU inferentie, de modulaire aard van het framework de uitbreiding naar multi-GPU schaling mogelijk maakt door collectieve communicatieprimitieven en netwerkbandbreedte als globale kenmerken op te nemen. Het werk dient als fundament voor duurzame AI-implementatie door nauwkeurige, vroegtijdige energie- en latentieschatting mogelijk te maken.