Résumé Technique : EnergyLens

Énoncé du Problème

À mesure que les modèles de langage de grande taille (LLM) évoluent pour inclure des architectures denses, de type mélange d'experts (MoE) et à espace d'état, et qu'ils sont déployés sur des accélérateurs hétérogènes (NVIDIA, Intel, AMD) pour des charges de travail multimodales diverses (texte, image, vidéo), l'optimisation de l'énergie d'inférence est devenue aussi critique que l'optimisation de la latence et du débit. Cependant, les approches existantes de prédiction de l'énergie souffrent de trois limitations principales :

1. Proxies de Latence : De nombreux modèles analytiques traitent la latence comme un proxy de l'énergie. Les auteurs démontrent que les optimums de latence et d'énergie divergent dans plus de 20 % des configurations testées, entraînant des pénalités énergétiques allant jusqu'à 79,8 % lorsque des stratégies basées sur la latence sont utilisées.
2. Surrogates Boîte Noire : Les modèles d'apprentissage automatique basés sur les données (par exemple, Forêts Aléatoires, Réseaux de Neurones) atteignent une précision raisonnable mais sont « avides de données », nécessitant des centaines d'échantillons de profilage pour se généraliser. Ils manquent d'interprétabilité, n'offrant aucun aperçu physique sur la raison pour laquelle une configuration est efficace, et échouent à extrapoler de manière fiable à des tailles de lots ou des matériels non vus.
3. Manque de Généralisabilité : Les modèles analytiques existants échouent souvent à découpler les effets physiques distincts du Parallélisme Tensoriel (TP) et du Parallélisme de Pipeline (PP), ou ils ne parviennent pas à tenir compte de la mise à l'échelle non linéaire de l'énergie avec la taille du lot et la longueur de la séquence à travers différentes modalités.

Méthodologie : Le Cadre EnergyLens

Les auteurs proposent EnergyLens, un cadre qui utilise la régression symbolique pour découvrir des expressions mathématiques compactes et sous forme fermée pour la consommation d'énergie des GPU. Contrairement aux modèles boîte noire, EnergyLens dérive des formules où les termes correspondent directement à des propriétés mesurables du système.

1. Modèle Énergétique Unifié

Le cœur d'EnergyLens est une équation sous forme fermée à douze paramètres qui décompose l'énergie ($E$) en trois composantes physiquement fondées :
$$E = E_{prefill} + E_{decode} + E_{overhead}$$

• Décomposition par Phase : Le modèle sépare explicitement la phase de calcul intensive prefill (traitement des tokens d'entrée) de la phase limitée par la mémoire decode (génération des tokens de sortie).
• Découplage du Parallélisme : Le modèle distingue le Parallélisme Tensoriel ($d_{TP}$) du Parallélisme de Pipeline ($d_{PP}$). Il reconnaît que le TP réduit le calcul par GPU grâce à une utilisation efficace des cœurs tensoriels mais introduit des frais de synchronisation, tandis que le PP introduit des bulles de pipeline et maintient les appareils sous tension pendant les phases d'inactivité.
• Mise à l'Échelle Non Linéaire : La formule capture l'amortissement sous-linéaire des frais fixes (comme les lancements de noyaux et l'initialisation du cache KV) à mesure que la taille du lot augmente, ainsi que les lois de mise à l'échelle spécifiques pour différentes modalités (par exemple, compression logarithmique pour les charges de travail vidéo/image).

La forme générale (Équation 4 dans l'article) est :
$$E = \alpha_p \frac{\text{total input tokens}}{(\text{batch size}^{\beta_p} + \epsilon_p)} d_{TP}^{\gamma_{1,p}} d_{PP}^{\gamma_{2,p}} + \alpha_d \frac{\text{max tokens}}{(\text{batch size}^{\beta_d} + \epsilon_d)} d_{TP}^{\gamma_{1,d}} d_{PP}^{\gamma_{2,d}} + \delta_1 d_{TP} + \delta_2 d_{PP}$$

2. Entraînement et Ajustement

• Collecte de Données : Un cadre de profilage parcourt systématiquement les stratégies de parallélisme, les schémas de quantification, les tailles de lots et les longueurs de séquence sur les GPU NVIDIA, Intel et AMD.
• Régression Symbolique : Le cadre explore l'espace des expressions mathématiques pour trouver la structure qui s'adapte le mieux aux données de profilage.
• Estimation des Paramètres : Une fois la structure de la formule fixée, les douze paramètres scalaires ($\phi$) sont ajustés en utilisant l'optimisation L-BFGS-B sur un petit ensemble de données représentatif.
• Efficacité des Échantillons : Le modèle nécessite aussi peu que 50 mesures de profilage pour atteindre une haute précision, soit une réduction de 10 fois par rapport aux méthodes d'ensemble ML qui nécessitent ~500 échantillons.

Contributions Clés

1. Modèle Unifié sous Forme Fermée : Développement d'un modèle énergétique unique qui découple les contributions TP et PP et sépare l'énergie prefill de l'énergie decode, avec des paramètres portant une signification physique explicite.
2. Découverte par Régression Symbolique : Démonstration que la régression symbolique peut révéler des structures de formules non linéaires qui se généralisent à travers diverses architectures (Dense, MoE, SSM), modalités (texte, image, vidéo) et fournisseurs de matériel sans changer le modèle de formule.
3. Cadre de Profilage Systématique : Mise en œuvre d'un cadre qui explore l'espace conjoint du parallélisme, de la quantification et des paramètres de charge de travail pour générer les données structurées nécessaires à la modélisation analytique.
4. Modélisation Directe de l'Énergie : En modélisant directement l'énergie plutôt qu'en utilisant la latence comme proxy, le cadre identifie des configurations de parallélisme plus économes en énergie que les optimiseurs basés sur la latence négligent systématiquement.

Résultats Expérimentaux

Les auteurs ont évalué EnergyLens sur 940 scénarios impliquant des transformateurs denses, des MoE et des modèles à espace d'état sur des GPU NVIDIA A100, AMD MI100 et Intel Max 1550.

• Précision de Sélection de Configuration : EnergyLens atteint 88,2 % de précision de sélection de configuration Top-1 (identification de la seule meilleure configuration énergétique), surpassant nettement la base analytique la plus proche, MAVERIQ, qui a obtenu 60,9 %.
• Classement par Paires : EnergyLens atteint 95,8 % de précision de classement par paires (prédiction correcte de laquelle des deux configurations est plus efficace) contre 91,5 % pour MAVERIQ.
• Efficacité des Échantillons : EnergyLens correspond à la précision prédictive des méthodes d'ensemble ML (Forêts Aléatoires, Gradient Boosting) tout en nécessitant 10 fois moins d'échantillons de profilage (13,0 % d'erreur absolue moyenne en pourcentage [MAPE] pour $n=50$ contre 49,0 % de MAPE pour la Forêt Aléatoire à $n=50$).
• Généralisation :
  • Transversalité Matérielle : Le modèle se transfère entre les fournisseurs de GPU (NVIDIA, Intel, AMD) avec uniquement le reclage des coefficients scalaires.
  • Transversalité des Modalités : Il fonctionne de manière robuste sur les charges de travail texte, image+texte et vidéo+texte.
  • Extrapolation : EnergyLens extrapole de manière fiable à des tailles de lots non vues (3 à 10 fois plus grandes que les données d'entraînement) avec une précision par paires ≥93 % sur cinq des sept jeux de données, alors que les bases de référence à lot linéaire échouent significativement.
• Robustesse : Contrairement aux proxies basés sur la latence qui nécessitent des mesures de puissance précises par configuration, EnergyLens modélise l'énergie nativement et maintient une haute précision même lorsque la télémétrie de puissance est indisponible.

Importance et Revendications

L'article affirme qu'EnergyLens fournit un outil pratique et interprétable pour le déploiement optimal en énergie des LLM. Son importance réside dans :

• Interprétabilité : Contrairement aux surrogates boîte noire, EnergyLens offre des prédictions « auditables » où les opérateurs peuvent inspecter les termes pour comprendre les moteurs physiques de la consommation d'énergie (par exemple, vérifier le coût relatif de l'échelle TP vs PP).
• Actionnabilité : Le modèle permet d'identifier les configurations Pareto-optimales pour le déploiement sans mesure exhaustive.
• Rentabilité : En réduisant le budget de profilage de centaines d'échantillons à ~50, il rend le réglage de configuration conscient de l'énergie réalisable pour les environnements de production.
• Fondement Physique : La découverte que les optimums de latence et d'énergie divergent, et que le parallélisme de pipeline peut réduire l'énergie même lorsqu'il ne réduit pas la latence, remet en question l'hypothèse prévalente selon laquelle la latence est un proxy suffisant pour l'efficacité énergétique.

Les auteurs concluent que bien que le modèle actuel utilise des termes additifs, les travaux futurs pourraient explorer des interactions multiplicatives pour les MoE et les charges de travail à contexte long, ainsi que l'intégration avec des planificateurs dynamiques pour la reconfiguration en ligne. Le cadre et les jeux de données sont destinés à être publiés en open source.