Résumé technique : Routage conscient de l'environnement (GAR) pour l'inférence des LLM

1. Énoncé du problème

Le déploiement à grande échelle des grands modèles de langage (LLM) nécessite des architectures de routage capables d'équilibrer la qualité de la réponse, la latence de queue et le coût de calcul au sein de pools de modèles hétérogènes. Bien que les frameworks de routage existants optimisent la précision et la latence (considérant souvent le coût monétaire comme secondaire), ils négligent largement l'impact environnemental. C'est une lacune critique car :

• Variabilité de l'intensité carbone du réseau : L'intensité carbone varie considérablement (jusqu'à 10 fois) selon les régions et les périodes, en raison de la disponibilité des énergies renouvelables et des dépendances aux combustibles fossiles.
• Hétérogénéité des modèles : La consommation d'énergie varie drastiquement en fonction des choix architecturaux, de la mise à l'échelle des paramètres et des motifs de génération de tokens.
• Désalignement des objectifs : L'optimisation du seul coût monétaire ou de la latence peut systématiquement orienter le trafic vers des périodes à forte intensité carbone ou des régions à forte empreinte carbone, même lorsque plusieurs modèles offrent une précision équivalente.

Les systèmes actuels traitent les émissions de carbone uniquement par une mesure et un rapport a posteriori, sans prendre de décisions de routage en temps réel, par requête, qui traitent la minimisation du carbone comme un objectif d'optimisation principal, aux côtés des garanties formelles de niveau de service.

2. Méthodologie : Routage conscient de l'environnement (GAR)

L'article présente GAR, un framework d'optimisation multi-objectif sous contraintes conçu pour minimiser les émissions de CO2 par requête tout en satisfaisant des seuils de précision explicites et des objectifs de niveau de service (SLO) de latence p95.

2.1 Formulation du problème

Pour une requête $x$ arrivant à l'instant $t$, le routeur gère un pool de modèles $\mathcal{M}$. Avant l'inférence, le système génère des prédictions légères pour :

• Exactitude ($\hat{p}_m$) : Probabilité d'une réponse correcte.
• Latence ($\hat{\ell}_{m,p95}$) : Temps de réponse p95 estimé.
• Émissions ($\hat{c}_m$) : CO2 estimé, calculé comme $energy(m, tokens) \times grid\_intensity(t, region)$.

Le framework définit un ensemble réalisable $F(x, t)$ contenant tous les modèles qui satisfont le seuil de précision spécifique au jeu de données $\tau_d(x)$ et l'objectif de latence p95 $L$. Au sein de cet ensemble, le routeur sélectionne le modèle minimisant les émissions prédites. Pour assurer la robustesse, des marges de sécurité sont appliquées aux estimations de carbone et de latence.

2.2 Budgets carbone roulants

Pour les charges de travail en flux continu, GAR maintient une fenêtre glissante des émissions réalisées sur les $W$ dernières requêtes. Cela garantit que les émissions moyennes restent dans un budget par requête $B$, empêchant l'accumulation de dette carbone à long terme tout en permettant une flexibilité à court terme.

2.3 Algorithmes et politiques

L'article propose plusieurs stratégies pour opérationnaliser ce framework :

• GAR-PD (Primal-Dual en ligne) : Un algorithme inspiré de Shalev-Shwartz & Singer (2007) qui traite le routage conscient du carbone comme un problème de Lagrange en ligne. Il utilise une variable duale $\lambda_t$ (prix ombre) pour équilibrer la satisfaction des contraintes avec l'optimisation environnementale. L'objectif de sélection minimise une somme pondérée de la perte de qualité, de la latence et des émissions de carbone, mise à jour dynamiquement en fonction de la somme des émissions réalisées sur la fenêtre roulante.
• GAR-Fixed : Impose une limite stricte de carbone par requête. Si la limite rend l'ensemble réalisable vide, il revient au modèle à plus faible carbone disponible.
• GAR-$\epsilon$ : Préserve l'exactitude dans une tolérance $\epsilon$ du modèle le plus performant de l'ensemble réalisable tout en minimisant le carbone.
• GAR-Target : Définit des seuils de précision cibles par jeu de données via une recherche binaire pour correspondre aux niveaux de précision macro souhaités, en routant vers le modèle à plus faible carbone répondant à ces objectifs.

2.4 Détails de mise en œuvre

Le framework repose sur des estimateurs pré-routage légers entraînés sur des données historiques (utilisant une régression logistique pour l'exactitude, une régression quantile pour la latence et des modèles linéaires pour le carbone). Ces prédicteurs s'exécutent en parallèle, se terminant en moins d'une milliseconde par requête, permettant une prise de décision en temps réel sans passes d'inférence supplémentaires.

3. Contributions clés

1. Formalisation : L'article formalise le routage conscient du carbone comme un problème d'optimisation multi-objectif sous contraintes, fournissant le premier framework principiel pour la minimisation du CO2 par requête dans la mise en service des LLM avec des garanties de qualité formelles.
2. Développement d'algorithmes : Il développe GAR-PD, un algorithme de routage primal-dual en ligne pratique pour les budgets carbone roulants, ainsi que des variantes heuristiques (GAR-Fixed, GAR-$\epsilon$, GAR-Target) pour divers scénarios de déploiement.
3. Optimisation adaptative : Les auteurs établissent des techniques d'optimisation de contraintes adaptatives qui atteignent une couverture de faisabilité élevée tout en limitant la dégradation de la précision, permettant des réductions substantielles des émissions sans compromettre l'expérience utilisateur.
4. Validation empirique : Des expériences complètes sur des benchmarks NLP standards (MMLU, HellaSwag, GSM8K, WinoGrande, SQuAD, ARC) avec des pools de LLM hétérogènes (7B–70B) démontrent l'efficacité du framework.

4. Résultats expérimentaux

L'évaluation compare GAR à des bases de référence basées sur des règles (plus grand/petit LLM), des bases de référence optimisant la précision (AccMax) et une borne supérieure Oracle.

• Compromis de performance : GAR-PD atteint une précision macro de 0,737 avec 0,712 g de CO2/req.
  • Par rapport au plus grand LLM (précision 0,741, 2,750 g/req), GAR-PD réduit les émissions de 74 % tout en maintenant une précision comparable.
  • Par rapport au plus petit LLM (précision 0,592, 0,476 g/req), GAR-PD améliore la précision de 15 points de pourcentage pour une augmentation modeste du carbone.
  • GAR-PD atteint au moins 97 % de la solution optimale (Oracle-Faisable).
• Études d'ablation : La suppression de composants dégrade considérablement les performances :
  • La suppression de l'estimateur de carbone augmente les émissions de 152 % (1,794 g/req).
  • La suppression des portes de faisabilité entraîne une baisse de précision de 9,5 points et une hausse de 23 % du CO2.
  • La suppression de l'estimateur de latence fait bondir la latence moyenne de 147 %, violant les SLO.
• Optimalité de Pareto : GAR-PD occupe une position forte sur la frontière de compromis précision-CO2, suivant étroitement la frontière de Pareto tout en restant pratique.

5. Importance et affirmations

L'article affirme que GAR fournit une approche pratique et théoriquement fondée pour une inférence durable des LLM. En traitant le carbone comme un objectif d'optimisation principal plutôt que comme une réflexion tardive, le framework démontre que des réductions significatives de l'empreinte carbone de l'infrastructure d'IA peuvent être obtenues sans sacrifier la qualité ou la fiabilité du service.

Les auteurs positionnent ce travail comme une recherche fondamentale. Ils reconnaissent explicitement les limites, notant que leur modélisation de l'intensité carbone repose sur des données de réseau disponibles publiquement qui peuvent être en retard de plusieurs heures par rapport aux conditions en temps réel, et que le framework actuel exclut les considérations de coût financier. Des travaux futurs sont proposés pour intégrer des API de carbone en temps réel, étendre le framework aux scénarios d'entraînement et étudier la gestion dynamique des ensembles de modèles.