💻 computer science

LLM-Powered Predictive Decision-Making for Sustainable Data Center Operations

Cet article présente un système d'ordonnancement prédictif piloté par un LLM qui prévoit le temps d'exécution et la consommation d'énergie à partir du code source afin d'optimiser l'allocation des ressources GPU, réalisant une réduction de 32 % de la consommation d'énergie et une diminution de 30 % du temps d'attente pour des opérations de centres de données durables.

Auteurs originaux : Hanzhao Wang, Jingxuan Wu, Yumeng Li, Yu Pan, Guanting Chen

Publié 2026-08-20

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hanzhao Wang, Jingxuan Wu, Yumeng Li, Yu Pan, Guanting Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le monde moderne fonctionne grâce à un moteur discret et invisible : le centre de données. Ces vastes entrepôts de serveurs informatiques alimentent tout, du visionnage de films en streaming aux outils d'intelligence artificielle qui transforment notre façon de travailler et de réfléchir. Cependant, cette commodité numérique a un coût physique important. L'entraînement des modèles d'intelligence artificielle les plus avancés nécessite des quantités immenses de puissance de calcul, ce qui exige en retour des quantités phénoménales d'électricité et d'eau pour le refroidissement. À mesure que la demande pour ces systèmes intelligents croît, la pression sur nos réseaux énergétiques et sur l'environnement s'intensifie également. Le défi pour les ingénieurs n'est plus seulement de rendre ces systèmes plus rapides ; il s'agit de les rendre durables, en veillant à ce que le futur numérique ne consomme pas les ressources physiques nécessaires à son propre soutien.

Pour répondre à cette tension croissante, une équipe de chercheurs a développé une nouvelle façon de gérer le flux de travail à l'intérieur de ces centres de données. Au lieu de deviner combien de temps une tâche informatique prendra ou quelle quantité d'énergie elle consommera, ils ont créé un système qui utilise un modèle de langage sophistiqué pour lire le code informatique lui-même et prédire le résultat avant même que le travail ne commence. Cette approche traite le code source — les instructions écrites par les programmeurs humains — comme une histoire que l'ordinateur peut comprendre. En analysant la structure et la logique du code, le système peut estimer le temps nécessaire pour terminer une tâche et l'énergie qu'elle consommera, le tout sans avoir besoin d'exécuter la tâche au préalable. Cette capacité prédictive permet au centre de données de faire des choix plus intelligents concernant l'attribution des puces informatiques puissantes aux différentes tâches, équilibrant la charge pour économiser l'énergie et réduire les temps d'attente.

Les chercheurs ont construit un système prototype qui fonctionne en deux étapes distinctes. Premièrement, un modèle d'intelligence artificielle pré-entraîné, conçu pour comprendre le langage humain et le code, lit les instructions soumises par un utilisateur. Il traduit le code complexe en une représentation mathématique qui capture l'essence de la tâche. Ce modèle ne repose pas sur des règles rigides écrites à la main ou sur des caractéristiques spécifiques que les ingénieurs doivent définir manuellement pour chaque nouveau type de programme. Au lieu de cela, il utilise son entraînement large pour reconnaître des motifs et comprendre le contexte du code, tout comme un lecteur habile peut saisir l'intrigue d'une histoire sans avoir besoin d'un résumé. Une fois que le système a compris la tâche, il prédit deux chiffres critiques : le temps que prendra la tâche pour se terminer et la quantité d'électricité qu'elle utilisera. Ces prédictions sont réalisées en moins d'une seconde, assez rapidement pour être utilisées dans une prise de décision en temps réel.

Avec ces prédictions en main, la seconde étape du système prend le relais : un algorithme d'ordonnancement qui décide de la manière de distribuer les ressources informatiques disponibles. Dans un centre de données typique, les tâches arrivent sous forme de flux continu, et le gestionnaire doit décider quelle puce informatique attribuer à chacune d'elles. Si le gestionnaire attribue une tâche à une puce trop puissante, l'énergie est gaspillée. Si le gestionnaire l'attribue à une puce trop faible ou s'il attend trop longtemps pour l'attribuer, la tâche reste dans une file d'attente, retardant les résultats. Le nouveau système utilise les prédictions de la première étape pour calculer la meilleure attribution possible pour chaque tâche entrante. Il prend en compte la disponibilité actuelle de différents types de puces informatiques, le coût énergétique estimé et le temps que prendra la tâche. L'objectif est de minimiser l'énergie totale utilisée tout en gardant le temps d'attente de toutes les tâches aussi court que possible.

Pour tester si cette idée fonctionne dans le monde réel, les chercheurs ont collaboré avec un centre de données pour exécuter une simulation utilisant deux mois de données opérationnelles réelles. Ils ont comparé leur nouveau système prédictif à la méthode standard utilisée par l'installation, qui repose sur des décisions plus simples basées sur des règles. Les résultats ont été significatifs. Le nouveau système a réduit la consommation totale d'énergie du centre de données de 32 %. Parallèlement, il a réduit de 30 % le temps passé par les tâches en file d'attente. Ces améliorations ont été obtenues non pas en changeant le matériel ou l'infrastructure physique, mais en changeant la façon dont le centre de données réfléchit au travail qu'il accomplit. Le système a prouvé qu'en comprenant le code avant l'exécution, l'installation pouvait fonctionner avec une bien plus grande efficacité.

L'un des aspects les plus frappants de ce travail est sa flexibilité. Les méthodes traditionnelles pour prédire l'utilisation de l'énergie nécessitent souvent un modèle distinct, construit sur mesure, pour chaque type différent de programme informatique. Si un nouveau genre de tâche apparaissait, l'ancien système aurait du mal à prédire ses besoins. La nouvelle approche, cependant, utilise un modèle unique et unifié capable de gérer une grande variété de tâches, de l'entraînement de systèmes complexes de reconnaissance d'images à l'exécution de modèles de langage. C'est parce que le modèle d'intelligence artificielle sous-jacent a appris à comprendre la structure fondamentale du code, plutôt que de simplement mémoriser des exemples spécifiques. Les chercheurs ont constaté que même lorsque le code était écrit dans un style légèrement différent ou par une personne différente, le système pouvait toujours faire des prédictions précises. Pour améliorer davantage cela, ils ont ajouté une étape secondaire où le système peut réécrire le code inconnu dans un style qui correspond à ses données d'entraînement, garantissant que les prédictions restent précises même pour des tâches que le système n'a jamais vues auparavant.

L'étude souligne également un changement dans la façon dont nous pourrions concevoir la gestion des ressources à l'ère numérique. Pendant des années, les centres de données ont fonctionné sur des estimations fournies par les utilisateurs ou sur des moyennes historiques qui manquent souvent la cible. Cette nouvelle méthode remplace les suppositions par des prédictions éclairées. Elle suggère que la clé d'un avenir numérique plus durable réside dans de meilleurs outils de prise de décision capables de s'adapter à la complexité de l'informatique moderne. Bien que le système actuel se concentre sur le temps et l'énergie, les chercheurs notent que ce même cadre pourrait être étendu pour prédire d'autres impacts environnementaux, tels que l'utilisation de l'eau pour le refroidissement ou les émissions de carbone, à condition que le centre de données suive ces mesures.

Le succès de ce prototype démontre que l'intelligence artificielle peut être utilisée non seulement pour créer de nouvelles technologies, mais aussi pour optimiser l'infrastructure qui les soutient. En lisant le code et en prédisant le coût du travail, le système transforme le centre de données en un organisme plus réactif et plus efficace. La réduction de 32 % de l'énergie et de 30 % du temps d'attente ne sont pas seulement des chiffres ; elles représentent une étape concrète vers la réduction de l'empreinte environnementale de la révolution de l'IA. Alors que la demande pour l'intelligence artificielle continue de monter en flèche, des méthodes comme celle-ci offrent une voie pratique, prouvant que nous pouvons construire un monde numérique plus intelligent et plus durable sans sacrifier la performance. Ce travail montre qu'avec les bons outils, le moteur invisible d'Internet peut fonctionner de manière plus propre et plus efficace que jamais.

Résumé technique : Prise de décision prédictive pilotée par les LLM pour des opérations de centres de données durables

1. Formulation du problème

L'expansion rapide des charges de travail pilotées par l'IA, en particulier les modèles de langage de grande taille (LLM), a intensifié la consommation d'énergie et de ressources des centres de données. Les pipelines opérationnels actuels dans les centres de données reposent souvent sur des algorithmes heuristiques qui allouent les ressources (par exemple, les GPU) sur la base d'estimations fournies par l'utilisateur concernant la durée de la tâche et les besoins en ressources. Cependant, prédire avec précision le temps d'exécution et la consommation d'énergie est intrinsèquement difficile en raison de la complexité des systèmes informatiques modernes (incluant la bande passante, la mémoire, les piles logicielles et les variations matérielles). Par conséquent, ni les utilisateurs ni les centres de données ne possèdent de connaissances précises sur les exigences optimales en ressources, ce qui entraîne des inefficacités, un gaspillage de ressources et une empreinte environnementale accrue.

Les auteurs formulent un problème en deux parties :

Prédiction : Étant donné un code source $x$ soumis par l'utilisateur et une configuration GPU potentielle $z$ , prédire le temps d'exécution $t$ et la consommation d'énergie $e$ . Ceux-ci sont modélisés comme des fonctions inconnues $t = f(x, z)$ et $e = g(x, z)$ qui sont spécifiques à l'infrastructure du centre de données.
Prise de décision : Développer une politique $\pi$ pour allouer séquentiellement les ressources GPU aux tâches arrivantes afin de minimiser une somme pondérée du temps d'exécution, du temps d'attente et du coût énergétique, sous réserve de contraintes d'inventaire GPU limitées. Ce problème est compliqué par la présence d'une file d'attente et la nécessité d'équilibrer plusieurs objectifs (optimisation multi-usage), pour lesquels aucune solution analytique n'existe.

2. Méthodologie

A. Modèle prédictif basé sur les LLM

Le cœur du système proposé est un modèle prédictif unifié de bout en bout qui utilise un modèle de langage de grande taille (LLM) pré-entraîné pour traiter le code source.

Architecture : Le modèle se compose de deux étapes :
1. Extraction de représentation : Un LLM pré-entraîné (noté $l_{\theta_1}$ ) prend le code source $x$ en entrée et produit une représentation vectorielle de dimension $d$ . Les paramètres du LLM $\theta_1$ sont maintenus fixes.
2. Sondage (Probing) : Un modèle supervisé léger (un « probe », noté $h_{\theta_2}$ ou $q_{\theta_2}$ ) prend la représentation extraite et la configuration GPU $z$ en entrée pour prédire la métrique cible (temps ou énergie).
Entraînement : Le système est entraîné sur un ensemble de données de codes sources appariés avec des résultats d'exécution réels (temps et énergie) à travers diverses configurations GPU. Notamment, le modèle ne nécessite qu'un petit ensemble de données (environ 500 exemples de code source) car le LLM pré-entraîné possède déjà une compréhension contextuelle étendue du code.
Avantages par rapport aux méthodes traditionnelles :
- Généralisation : Contrairement aux méthodes précédentes qui reposent sur des caractéristiques faites à la main (par exemple, la profondeur des couches, le nombre de passages) spécifiques à certains types de modèles (par exemple, uniquement CNN), l'approche par LLM se généralise à divers types de tâches et de tâches composites (par exemple, un CNN suivi d'un LSTM).
- Efficacité des données : Le LLM pré-entraîné agit comme un puissant extracteur de caractéristiques, réduisant le besoin de jeux de données d'entraînement massifs.
- Flexibilité : La même représentation peut être utilisée pour différentes cibles de prédiction (temps, énergie, et potentiellement des métriques d'eau ou de carbone) en entraîant simplement différents sondes (probes).

B. Algorithmes de prise de décision séquentielle

Pour optimiser l'allocation des ressources, les auteurs proposent deux algorithmes basés sur les données qui utilisent les prédictions du modèle LLM :

Algorithme Glouton (Greedy) : Assigne les tâches selon une règle de premier arrivé, premier servi, en sélectionnant le type de GPU qui minimise la valeur de l'objectif estimée ( $\alpha \hat{t} + \beta w + \gamma \hat{e}$ ) pour la tâche actuelle.
Algorithme Basé sur la Valeur (Value-Based) : Inspiré par le problème du sac à dos multiple, cet algorithme considère l'ensemble de la file d'attente. Il assigne les tâches en fonction de leur « valeur » dans la réduction du temps d'attente global et des coûts énergétiques, plutôt que de suivre strictement l'ordre d'arrivée.

C. Gestion des tâches hors distribution (OOD)

Les auteurs identifient une incohérence potentielle où un code fonctionnellement équivalent écrit par différents ingénieurs pourrait produire des représentations LLM différentes, entraînant des erreurs de prédiction. Pour atténuer cela, ils proposent un pipeline étendu :

Align-LLM : Si la représentation d'une nouvelle tâche s'écarte significativement des clusters d'entraînement, un « Align-LLM » auxiliaire réécrit le code source pour qu'il corresponde au style des tâches similaires dans la base de code locale. Cela aligne la représentation d'entrée avec la distribution d'entraînement, améliorant la précision de la prédiction sans altérer la fonctionnalité du code.

3. Contributions clés

Contributions méthodologiques

Modèle prédictif polyvalent basé sur les LLM : La première solution complète de bout en bout qui prend le code source brut en entrée pour estimer le temps d'exécution et la consommation d'énergie. Elle élimine le besoin de caractéristiques manuelles spécifiques aux tâches.
Système de planification prédictive entièrement automatisé : Un cadre unifié capable de gérer n'importe quel type de tâche soumise par l'utilisateur et de fournir des estimations immédiates, surmontant les limites des modèles de prédiction traditionnels rigides.
Prise de décision séquentielle : Un algorithme basé sur les données qui traite le problème complexe d'allocation de ressources multi-objectifs avec des files d'attente, un scénario où les solutions analytiques standards échouent.

Contributions au niveau de l'application

Déploiement pratique : Le pipeline s'exécute en moins d'une seconde, permettant une planification en temps réel et rentable. Il est efficace même avec des données d'entraînement limitées.
Durabilité multi-usage : Le cadre est conçu pour être extensible, capable de prédire diverses métriques de durabilité (par exemple, les émissions de carbone, l'utilisation de l'eau) si les données nécessaires sont disponibles.

4. Résultats expérimentaux

Les auteurs ont validé leur approche grâce à une collaboration avec un centre de données, en utilisant deux mois de données opérationnelles (du 1er juillet 2024 au 1er septembre 2024).

Métriques de performance : Comparé à la méthode de référence « Simple Rule » du centre de données (premier arrivé, premier servi avec préférence pour le GPU le plus puissant), l'algorithme basé sur la valeur proposé a réalisé :
- Une réduction de 32 % de la consommation d'énergie totale (TEC).
- Une réduction de 30 % du temps d'attente total (TWT).
- Une réduction de 24 % du nombre de tâches retardées.
Comparaison : L'algorithme basé sur la valeur a nettement surpassé l'algorithme glouton en considérant l'état global de la file d'attente plutôt que seulement la tâche immédiate.
Robustesse : Le pipeline étendu avec l'Align-LLM a réussi à atténuer les erreurs de prédiction causées par les variations de style de codage, rapprochant les tâches hors distribution de la distribution d'entraînement et améliorant la précision de la prédiction.

5. Signification et affirmations

L'article affirme que ce travail offre une solution pratique et évolutive pour moderniser les opérations des centres de données afin de répondre aux objectifs de durabilité. En tirant parti de la compréhension contextuelle et des capacités de généralisation des LLM, le système proposé surmonte la rigidité des méthodes de prédiction traditionnelles basées sur des heuristiques ou sur la physique.

Les auteurs soulignent que leur approche :

Fait progresser l'infrastructure : Elle offre une voie vers une infrastructure d'IA plus efficace et respectueuse de l'environnement.
Relie la théorie et la pratique : Elle démontre que les LLM peuvent être efficacement intégrés dans des boucles de décision opérationnelles en temps réel avec des exigences minimales en données.
Est évolutive : La nature unifiée du modèle lui permet de s'adapter à divers types de tâches et à de futures métriques de durabilité sans nécessiter une refonte complète de l'architecture de prédiction.

Le travail conclut que l'intégration de la modélisation prédictive basée sur les LLM avec la prise de décision séquentielle est une stratégie viable pour réduire considérablement l'impact environnemental des charges de travail pilotées par l'IA tout en améliant l'efficacité opérationnelle.