🤖 AI

Multi-Level Modeling of Large Language Model Inference Latency and Energy via Hybrid Analytical--Machine-Learning Predictors

Ce document présente HYMELL, un cadre hybride à trois niveaux qui combine la modélisation analytique et l'apprentissage automatique pour estimer avec précision la latence d'inférence et la consommation d'énergie de diverses architectures de grands modèles de langage sur du matériel tel que le NVIDIA H100, atteignant une erreur de moins de 5 % et permettant une exploration efficace de l'espace de conception sans recours au matériel.

Auteurs originaux : Saeid Shokoufa, Mohammad Erfan Sadeghi, Mehdi Kamal, Massoud Pedram

Publié 2026-08-10

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Saeid Shokoufa, Mohammad Erfan Sadeghi, Mehdi Kamal, Massoud Pedram

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire un robot géant et parlant capable d'écrire des histoires, de résoudre des problèmes mathématiques et de discuter comme un humain. Ce robot est appelé un Grand Modèle de Langage (LLM). Pour le faire fonctionner, vous avez besoin d'un cerveau informatique super rapide, généralement un Processeur Graphique (GPU), qui est le même type de puce que l'on trouve dans les ordinateurs de jeux vidéo haut de gamme. Mais voici le hic : ces robots deviennent si gros et si intelligents qu'ils deviennent incroyablement coûteux à exploiter. Ils engloutissent des quantités massives d'électricité et mettent beaucoup de temps à réfléchir, ce qui les rend difficiles à utiliser dans des situations réelles comme les hôpitaux ou les écoles.

La grande question que se posent les scientifiques est la suivante : « Comment pouvons-nous savoir exactement de quelle quantité d'énergie et de temps un robot aura besoin avant même de le construire ? » Actuellement, pour le savoir, il faut généralement construire le robot, le faire fonctionner et le mesurer avec des outils spéciaux. C'est lent, coûteux et cela nécessite d'avoir le super-ordinateur sous la main. Si vous voulez essayer mille conceptions de robots différentes pour trouver la plus efficace, vous devriez toutes les construire et les tester une par une, ce qui prendrait une éternité et coûterait une fortune.

C'est ici qu'une équipe de chercheurs de l'Université de Californie du Sud intervient avec une nouvelle idée appelée HYMELL. Considérez HYMELL comme une « boule de cristal » pour les informaticiens. Au lieu de construire le robot et de le tester, cet outil vous permet de prédire exactement la vitesse et la gourmandise énergétique d'un robot en regardant simplement ses plans. Il utilise un mélange astucieux de formules mathématiques classiques et d'apprentissage automatique moderne pour deviner le coût d'exécution de ces modèles géants. Les chercheurs ont testé leur boule de cristal sur une puce informatique puissante, la NVIDIA H100, et ont découvert qu'elle peut prédire la vitesse et la consommation d'énergie du robot avec une précision étonnante, en se trompant souvent de moins de 5 %. Cela signifie que les ingénieurs peuvent désormais tester rapidement des milliers de conceptions de robots sur un ordinateur portable pour trouver la plus efficace, sans avoir besoin d'acheter un super-ordinateur ou d'attendre des jours pour obtenir des résultats.

Le Détective à Trois Niveaux

Pour comprendre comment fonctionne HYMELL, imaginez que vous essayez d'estimer le temps nécessaire pour cuire un énorme gâteau à plusieurs couches et la quantité d'électricité que votre four consommera. Vous pourriez essayer de deviner le temps total en regardant simplement le gâteau final, mais cela est souvent imprécis car vous manquez les petits détails. Au lieu de cela, HYMELL agit comme un détective à trois niveaux, décomposant le problème en morceaux plus petits et plus gérables.

Niveau 1 : Les Minuscules Ingrédients (Modélisation Analytique)
D'abord, le système examine les plus petits « ingrédients » du cerveau du robot. Il s'agit d'opérations mathématiques de base comme la multiplication de grandes grilles de nombres (appelées GEMM), la normalisation de données (RMSNorm) et le calcul de scores d'attention (Softmax). Les chercheurs ont réalisé que ces minuscules opérations se comportent différemment selon la taille de la tâche.

L'analogie : Pensez à une petite tâche de cuisine comme couper un oignon. Si vous n'avez qu'un seul oignon, le temps nécessaire dépend principalement du temps qu'il faut pour marcher jusqu'au réfrigérateur, prendre le couteau et commencer à couper (c'est le mode « limité par le lancement » ou launch-bound). Mais si vous devez couper une montagne d'oignons, le temps dépend principalement de la vitesse de découpe et de la rapidité avec laquelle vous déplacez les oignons (c'le mode « limité par la mémoire » ou memory-bound).
HYMELL utilise des formules mathématiques pour calculer le coût de ces minuscules ingrédients en fonction du fait que la tâche soit petite ou immense. Il ne devine pas ; il utilise des règles basées sur la physique pour déterminer le coût de base de ces opérations.

Niveau 2 : Les Blocs de Recettes (Apprentissage Automatique)
Ensuite, le système regroupe ces minuscules ingrédients en blocs plus larges, comme le Bloc d'Attention (qui aide le robot à se concentrer sur les mots importants) et le Réseau de Propagation Avant (qui l'aide à traiter l'information).

L'analogie : Imaginez que vous savez exactement combien de temps il faut pour couper un oignon et combien de temps pour battre des œufs. Mais quand vous combinez ces éléments pour faire une omelette, il y a des étapes supplémentaires : casser la coquille, nettoyer le bol et peut-être attendre un peu. Ces étapes supplémentaires sont difficiles à calculer avec des mathématiques simples.
Ainsi, HYMELL utilise un petit programme informatique intelligent (un modèle d'apprentissage automatique) pour apprendre ces « étapes supplémentaires ». Il regarde les estimations basées sur les mathématiques du Niveau 1 et ajoute un facteur de correction pour les imprévus du monde réel, comme le remodelage des données ou le passage d'une tâche à une autre. Cela lui permet de prédire le coût d'un bloc de recette entière avec une grande précision.

Niveau 3 : Le Gâteau Entier (Prédiction de Bout en Bout)
Enfin, le système assemble tous les blocs pour prédire le coût de l'exécution complète d'une conversation par le robot.

L'analogie : Maintenant, vous avez le temps pour l'omelette, le gâteau et la salade. Mais cuisiner un banquet implique plus que de simplement additionner les temps. Vous devez vous soucier de la chauffe du four, de l'encombrement de la cuisine et du temps nécessaire pour déplacer les plats du comptoir à la table.
HYMELL utilise un autre programme informatique intelligent pour prendre les coûts de tous les blocs et y ajouter ces effets de « niveau système ». Il prend en compte des facteurs tels que le nombre de personnes posant des questions en même temps (taille de lot ou batch size) et si le robot est en train de lire une longue instruction ou de générer un mot à la fois. Cela donne une prédiction finale et précise du temps et de l'énergie totale nécessaires.

Ce Qu'Ils Ont Trouvé

Les chercheurs ont testé ce détective à trois niveaux sur un processeur graphique NVIDIA H100 puissant en utilisant des modèles de robots célèbres comme LLaMA 3, Mistral et Qwen. Les résultats sont impressionnants.

Haute Précision : Pour les minuscules ingrédients (Niveau 1), les prédictions étaient incroyablement proches de la réalité, avec des erreurs dépassant souvent les 4 %. Pour le robot entier (Niveau 3), le système a prédit le temps et la consommation d'énergie avec une erreur de moins de 5 % pour de nombreux modèles. Par exemple, lors de tests sur le modèle LLaMA 3 8B, l'erreur était de seulement 4,19 % pour le temps et 2,92 % pour l'énergie pendant la phase de « prefill » (lecture de l'instruction), et encore plus faible (environ 1,5 %) pendant la phase de « decode » (génération des mots).
Vitesse et Flexibilité : Parce que HYMELL prédit en se basant sur le plan (paramètres architecturaux) plutôt qu'en faisant tourner le robot, il est incroyablement rapide. Il permet aux ingénieurs d'explorer instantanément des milliers de changements de conception. Par exemple, ils pourraient demander : « Que se passe-t-il si nous doublons le nombre de têtes d'attention ? » et obtenir une réponse en quelques secondes, montrant que 64 têtes pourraient être le choix le plus économe en énergie pour une configuration spécifique.
Fonctionnement sur Différents Matériels : L'équipe a également démontré que cette méthode n'est pas liée à un seul type d'ordinateur. Ils l'ont testée sur un autre GPU (le NVIDIA RTX A6000) et le système a toujours bien fonctionné, avec des erreurs autour de 8 %. Cela suggère que si vous voulez utiliser HYMELL sur une nouvelle puce informatique, vous n'avez pas besoin de réinventer toute la roue ; il vous suffit de mesurer les comportements de base de la nouvelle puce une seule fois, et le reste du système s'adapte automatiquement.

Ce Qu'Il N'Est Pas

Il est important de noter ce que HYMELL ne fait pas. Ce n'est pas une baguette magique qui vous dit comment construire un robot à partir de zéro, et cela ne remplace pas entièrement la nécessité de tests réels. C'est un outil de prédiction. Les chercheurs précisent explicitement que bien que leur modèle soit très précis, il comporte toujours de petites erreurs, notamment lorsqu'il traite des interactions très complexes entre les différentes parties du robot ou lorsqu'il passe entre différents types d'optimisations de mémoire. De plus, bien qu'ils l'aient testé sur des ordinateurs uniques, ils ont noté que prédire le fonctionnement de ces robots sur de nombreux ordinateurs travaillant ensemble (multi-GPU) nécessiterait d'ajouter quelques étapes supplémentaires au système, ce qu'ils n'ont pas encore totalement résolu.

Pourquoi Cela Importe

La beauté de HYMELL est qu'il transforme un jeu de devinettes lent et coûteux en une science rapide et précise. En combinant la fiabilité des formules mathématiques avec la flexibilité de l'apprentissage automatique, il offre aux concepteurs un outil puissant pour construire une IA plus verte, plus rapide et plus efficace. Au lieu de gaspiller de l'électricité et du temps pour tester chaque idée, ils peuvent utiliser cette « boule de cristal » pour trouver les meilleures conceptions avant même de les construire, ouvrant la voie à un avenir plus durable pour l'intelligence artificielle.

Résumé technique : Modélisation hybride pour l'énergie et la latence des LLM (HYMELL)

Énoncé du problème

La montée en charge rapide des modèles de langage de grande taille (LLM) a entraîné des augmentations substantielles des coûts de calcul, de la consommation d'énergie et de la latence d'inférence. Une estimation précise de ces métriques est cruciale pour un déploiement de l'IA durable et une conception tenant compte du matériel. Les approches existantes présentent des limitations significatives :

Les modèles purement analytiques (ex. AMALI, LIFE, SweetSpot) nécessitent souvent une modélisation manuelle extensive, une analyse détaillée par noyau (kernel) et des spécifications matérielles explicites. Ils peinent à passer à l'échelle lors de l'adaptation à de nouvelles architectures ou de nouveaux noyaux et reposent sur des hypothèses qui peuvent ne pas tenir sous des charges système variables.
Les méthodes basées sur des proxys (ex. utiliser le temps d'inférence comme proxy pour l'énergie) ne parviennent pas à capturer les effets architecturaux fins ou les surcharges au niveau du système, fournissant des estimations uniquement à grain grossier.
Les modèles purement axés sur les données manquent souvent d'interprétabilité et peuvent mal généraliser à travers diverses longueurs de séquence et régimes de mise en lot (batching) sans un réentraînement extensif.

Il existe un besoin pour un cadre qui équilibre précision, interprétabilité et adaptabilité pour modéliser les LLM denses et ceux utilisant le mélange d'experts (MoE) à travers les phases de préremplissage (prefill) et de décodage.

Méthodologie : Le cadre HYMELL

Les auteurs proposent HYMELL (Hybrid Modeling for Energy and Latency of LLMs), un cadre hiérarchique à trois niveaux qui combine la modélisation analytique pour les opérations primitives avec l'apprentissage automatique (ML) pour les composants de haut niveau. Le cadre opère sur un GPU NVIDIA H100 (avec validation sur RTX A6000) et prend en charge les architectures denses et MoE, ainsi que l'attention multi-têtes (MHA) et l'attention par groupe de requêtes (GQA).

Niveau 1 : Estimation analytique des opérateurs primitifs

Ce niveau modélise les opérations GPU de bas niveau en utilisant des équations analytiques sensibles aux régimes. Les auteurs distinguent les régimes d'exécution limités par le lancement (petites charges de travail dominées par le surcoût de lancement de noyau) et limités par la mémoire (charges de travail plus importantes dominées par le trafic mémoire).

RMSNorm : Modélisé comme un opérateur limité par la mémoire avec un surcoût fixe. L'estimateur utilise des coefficients de régression basés sur le nombre de jetons ( $N$ ) et la dimension cachée ( $d_{model}$ ), distinguant les régimes en fonction du nombre total d'éléments traités.
Softmax : Modélisé pour les matrices d'attention causale ( $N \times N$ ). L'estimateur capture le trafic mémoire quadratique ( $N^2$ ) et la profondeur de réduction ( $\log_2 N$ ), changeant de régime en fonction des seuils de longueur de séquence.
GEMM (Multiplication de matrices générales) : Le bloc de calcul dominant. Le modèle partitionne les GEMM en cinq régimes basés sur le nombre total d'opérations en virgule flottante ( $F$ ) et l'intensité arithmétique (AI) : limité par le lancement de noyau, limité par la mémoire, équilibré (dominante mémoire), équilibré (dominante calcul), et limité par le calcul. Les caractéristiques incluent les facteurs de parallélisme ($PF = MN/K$), le trafic mémoire ( $B_{in}, B_{out}$ ), et des termes d'interaction pour capturer les nuances d'utilisation du GPU.

Niveau 2 : Prédiction par ML des composants au niveau des blocs

Les estimations analytiques du Niveau 1 servent d'entrées à des perceptrons multicouches (MLP) légers pour prédire les coûts des blocs complexes, capturant les surcoûts résiduels non explicitement modélisés analytiquement (ex. redimensionnement de tenseurs, masquage, fonctions d'activation et routage).

Bloc d'attention : Prend les prédictions GEMM et Softmax, ainsi que les paramètres architecturaux (têtes, dimensions), pour prédire le temps et l'énergie totaux de l'attention. Il supporte à la fois MHA et GQA, modélisant explicitement la longueur du cache KV ( $L_{KV}$ ) lors du décodage autorégressif.
Bloc FFN : Utilise les prédictions GEMM pour les projections montantes (up) et descendantes (down). Pour les architectures MoE, il incorpore le nombre d'experts et le routage top- $k$ comme entrées pour prédire le coût agrégé.

Niveau 3 : Estimation du système de bout en bout

Un MLP final agrège les prédictions de bloc avec les paramètres globaux du système (dimension du modèle, nombre de couches, longueur de séquence, taille de lot, mode d'inférence, configuration MoE). Ce niveau capture les effets du système tels que l'ordonnancement des noyaux, la synchronisation entre les couches et les surcoûts du framework, qui sont difficiles à modéliser aux niveaux inférieurs.

Principales contributions

Architecture hybride à trois niveaux : Un nouveau cadre qui tire parti de l'interprétabilité des modèles analytiques pour les primitives et de la flexibilité du ML pour les interactions et surcoûts complexes.
Modélisation analytique sensible aux régimes : Séparation explicite des régimes de lancement et de mémoire (ou de calcul) pour RMSNorm, Softmax et GEMM, améliorant considérablement la précision pour les petits tenseurs et les charges de travail variables.
Portabilité indépendante du matériel : Bien qu'entraîné sur un matériel spécifique, le cadre est conçu pour être portable. Adapter le cadre à de nouveaux GPU nécessite uniquement un re-profilage pour mettre à jour les coefficients analytiques et un ajustement fin (fine-tuning) des MLP légers, évitant ainsi de redériver les équations structurelles.
Support de diverses architectures : Le modèle gère les FFN denses et MoE, les mécanismes MHA et GQA, ainsi que diverses longueurs de séquence et tailles de lots.

Résultats expérimentaux

Le cadre a été évalué sur un GPU NVIDIA H100 en utilisant environ 1 200 configurations de modèles (incluant LLaMA 3 8B, Mistral 7B et Qwen 1.5 2.7B MoE).

Précision au niveau de l'opérateur :
- RMSNorm : A atteint un MAPE de 1,69 % (Temps) et 3,38 % (Énergie).
- Softmax : A atteint un MAPE de 3,27 % (Temps) et 1,92 % (Énergie).
- GEMM : A atteint un MAPE de 6,38 % (Temps) et 5,79 % (Énergie) à travers divers régimes.
Précision au niveau du bloc :
- Attention : MAPE de 1,98 % (Temps) et 2,42 % (Énergie).
- FFN : MAPE de 4,62 % (Temps) et 5,47 % (Énergie) pour le dense ; légèrement plus élevé pour MoE en raison du surcoût de routage.
Précision de bout en bout :
- A atteint un MAPE moyen de 10,98 % pour la latence et 11,78 % pour l'énergie sur les modèles denses et MoE dans les phases de préremplissage et de décodage.
- Comparaison avec AMALI : Sur LLaMA 3 8B (taille de lot 1), HYMELL a nettement surpassé le modèle analytique AMALI. HYMELL a obtenu un MAPE de temps de 4,19 % (prefill) et 1,58 % (decode) contre respectivement 15,56 % et 34,90 % pour AMALI. HYMELL fournit également des estimations d'énergie, ce que AMALI ne fait pas.
Généralisation :
- Transversalité des disposités : Lorsqu'il est porté sur un NVIDIA RTX A6000, le cadre maintient une forte précision (MAPE Temps moyen : 8,14 %, MAPE Énergie : 8,62 %) après re-profilage.
- Extensibilité architecturale : Le cadre a estimé avec succès les variantes d'attention linéaire avec une erreur faible (MAPE Temps : 1,91 %), démontrant son adaptabilité aux mécanismes d'attention non standards.

Signification et affirmations

L'article affirme que HYMELL fournit un substitut rapide et sans matériel pour l'évaluation de l'inférence des LLM. En prédisant les coûts d'exécution directement à partir des paramètres architecturaux, il permet :

Exploration rapide de l'espace de conception : Les chercheurs peuvent balayer les paramètres (ex. têtes d'attention, dimensions du modèle, réglages MoE) pour identifier les configurations qui minimisent l'énergie ou la latence sans exécuter d'expériences physiques.
Optimisation économe en énergie : Le cadre permet une optimisation conjointe des paramètres architecturaux pour une conception tenant compte du matériel.
Scalabilité : L'approche hybride évite la complexité des modèles entièrement analytiques tout en maintenant une meilleure généralisation que les modèles purement axés sur les données de type "boîte noire".

Les auteurs soulignent que bien que l'évaluation se concentre sur l'inférence sur un seul GPU, la nature modulaire du cadre permet une extension à l'échelle multi-GPU en incorporant les primitives de communication collective et la bande passante réseau comme caractéristiques globales. Ce travail sert de fondation pour un déploiement durable de l'IA en permettant une estimation précise et précoce de l'énergie et de la latence.