🤖 machine learning

Towards Resource-Efficient LLMs: End-to-End Energy Accounting of Distillation Pipelines

Ce papier présente un cadre complet de comptabilité énergétique de bout en bout qui révèle les coûts de ressources souvent négligés liés aux charges de travail du côté de l'enseignant dans la distillation des LLM, permettant ainsi de créer des courbes de compromis énergie-qualité et des directives pratiques pour sélectionner des méthodes de distillation efficaces.

Auteurs originaux : Katherine Lambert, Sasha Luccioni

Publié 2026-05-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Katherine Lambert, Sasha Luccioni

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Grande Idée : Le « Coût Caché » de l'Enseignement à l'IA

Imaginez que vous voulez enseigner à un jeune apprenti (un modèle d'IA petit et efficace) comment devenir un chef étoilé. Vous avez deux options :

Entraînement Direct : L'apprenti apprend en goûtant de vrais plats et en pratiquant par lui-même.
Distillation (Enseignement) : Vous engagez un célèbre Chef Maître (une IA immense et coûteuse) pour qu'il goûte d'abord les plats, qu'il note par écrit des détails précis sur exactement comment ils goûtent, puis qu'il remette ces notes à l'apprenti pour qu'il les étudie.

Pendant des années, le monde de la technologie a supposé que l'Option 2 était toujours moins chère et plus écologique. La logique était la suivante : « L'apprenti est petit, donc il consomme moins d'électricité. Le Chef Maître n'est qu'un coût ponctuel. »

Ce document dit : « Attendez une minute. Vous oubliez de compter le coût du Chef Maître. »

Les chercheurs ont découvert que lorsque l'on compte tout — y compris l'électricité massive que le Chef Maître utilise pour goûter les aliments, rédiger les notes et vérifier le travail — la méthode d'« enseignement » finit souvent par consommer plus d'énergie que de simplement laisser l'apprenti apprendre par lui-même.

L'Expérience : Mesurer Toute la Cuisine

Les chercheurs ont construit une « cuisine intelligente » pour mesurer exactement combien d'électricité était utilisée à chaque étape unique. Ils ne se sont pas contentés de regarder l'apprenti ; ils ont suivi le Chef Maître, la prise de notes, les tests et le repas final.

Ils ont comparé trois méthodes en utilisant différentes tailles de « chefs » IA (de petits modèles de 1 milliard de paramètres à de grands modèles de 13 milliards) :

Référence (Entraînement Direct) : L'élève apprend directement à partir des données brutes.
Distillation des Logits : Le professeur écrit des « profils de saveurs » mathématiques complexes (logits) que l'élève doit copier.
Données Synthétiques : Le professeur rédige de pleines « recettes » (réponses), et l'élève apprend en les mémorisant.

Ce Qu'ils Ont Découvert

1. Le « Professeur » est un Porteur Lourds

Dans les méthodes d'« enseignement », le Chef Maître doit accomplir une énorme quantité de travail avant même que l'élève ne commence.

L'Analogie : C'est comme engager un architecte célèbre pour dessiner les plans d'une maison. Si vous ne construisez qu'une seule maison, le coût du temps de l'architecte rend le projet incroyablement cher.
La Découverte : Lorsque les chercheurs ont compté l'énergie utilisée par le « Professeur » pour générer des données ou mettre en cache des notes, la facture énergétique totale des méthodes d'enseignement était souvent 2,4 fois plus élevée que celle de l'entraînement direct de l'élève.

2. La Taille Compte (La Règle de l'« Amortissement »)

Le document a identifié une règle spécifique pour savoir quand l'enseignement économise réellement de l'énergie : La Réutilisation.

L'Analogie : Si l'architecte célèbre dessine les plans pour une seule maison, c'est du gaspillage. Mais si ce même jeu de plans est utilisé pour construire 100 maisons identiques, le coût par maison chute drastiquement.
La Découverte : La distillation ne devient économe en énergie que si vous réutilisez le travail du professeur.
- Si vous entraînez un petit élève une seule fois, c'est un gaspillage d'énergie.
- Si vous utilisez les mêmes notes du professeur pour entraîner 5 à 10 élèves différents (ou si vous soumettez le même élève à de nombreux tests différents), le coût énergétique se « lisse », et l'enseignement devient l'option la moins chère.

3. Des Élèves Plus Gros Ne Signifient Pas Toujours De Meilleurs Résultats

Habituellement, nous pensons que les modèles plus gros sont meilleurs. Mais les chercheurs ont découvert que rendre un modèle élève plus gros (par exemple, passer de 7 milliards à 13 milliards de paramètres) coûte beaucoup d'énergie supplémentaire mais ne donne qu'un minuscule boost en « qualité » (son intelligence).

L'Analogie : Acheter une immense voiture de sport de luxe pour aller faire ses courses à l'épicerie. Cela coûte une fortune en essence, mais vous n'arrivez à l'épicerie que 2 minutes plus vite que dans une petite berline.
La Découverte : Pour de nombreuses tâches, un élève de taille moyenne entraîné directement est souvent le « point idéal » le plus économe en énergie.

4. Tout « Enseignement » N'est Pas Égal

Les chercheurs ont testé deux types d'enseignement :

Distillation des Logits : Le professeur donne des notes mathématiques complexes.
Données Synthétiques : Le professeur rédige des réponses complètes.
La Découverte : Les deux méthodes souffrent de la « Taxe du Professeur ». Cependant, la méthode « Données Synthétiques » (où le professeur rédige des réponses complètes) est particulièrement gourmande en énergie car le professeur doit générer beaucoup de texte.

Les « Règles d'Or » pour Économiser de l'Énergie

Sur la base de leurs mesures, les auteurs proposent trois règles simples pour quiconque construit une IA :

Ne supposez pas que l'enseignement est gratuit : Si vous n'entraînez qu'un seul modèle, laissez-le simplement apprendre directement (SFT de référence). C'est généralement moins cher et plus écologique.
Réutilisez, Réutilisez, Réutilisez : Si vous devez utiliser un professeur, assurez-vous d'utiliser le travail de ce professeur pour de nombreux élèves différents ou de nombreuses expériences différentes. Si vous jetez les notes du professeur après une seule utilisation, vous gaspillez de l'électricité.
Vérifiez toute la chaîne : Ne regardez pas seulement combien d'énergie l'élève consomme. Vous devez additionner l'énergie utilisée par le professeur, la génération de données et les tests pour obtenir une image réelle.

Résumé

Le document soutient que la distillation n'est pas automatiquement une « IA Verte ». Elle n'est verte que si vous traitez le travail du professeur comme une ressource réutilisable. Si vous traitez le professeur comme une dépense ponctuelle, vous brûlez probablement plus d'électricité que nécessaire.

Les auteurs ont publié un « mètre ruban » (un outil open-source) afin que d'autres chercheurs puissent mesurer précisément leurs propres coûts énergétiques, garantissant qu'à l'avenir, nous construirons une IA véritablement efficace, et non pas seulement efficace sur le papier.

Résumé technique : Vers des LLM économes en ressources : comptabilité énergétique de bout en bout des pipelines de distillation

Énoncé du problème

Le déploiement rapide des grands modèles de langage (LLM) a intensifié les préoccupations concernant la consommation d'électricité, l'extension des centres de données et l'impact environnemental. Bien que la distillation de modèles soit fréquemment présentée comme une voie vers des modèles plus efficaces et moins coûteux, les affirmations actuelles en matière de durabilité reposent souvent sur une comptabilité incomplète. Plus précisément, les travaux antérieurs ne rapportent généralement que les coûts de formation du côté de l'élève (par exemple, FLOPs, temps d'exécution), omettant les charges de travail substantielles du côté du « professeur » requises pour la distillation, telles que la génération de données synthétiques, la mise en cache des logits, le filtrage et l'évaluation. Cette omission rend difficile de justifier les affirmations selon lesquelles la distillation est intrinsèquement plus économe en énergie ou « plus écologique » que le réglage fin supervisé (SFT) standard.

Méthodologie

Les auteurs proposent un cadre complet de comptabilité énergétique de bout en bout conçu pour mesurer le coût computationnel intégral des pipelines de distillation.

Configuration expérimentale :

Matériel/Environnement : Les expériences ont été menées sur une seule GPU NVIDIA H100 SXM 80 Go et 16 cœurs CPU Intel Xeon Gold afin d'assurer des conditions cohérentes. La pile logicielle (Linux, pilotes, CUDA) a été fixée pour toutes les exécutions.
Modèles : L'étude utilise la famille OLMo-2, comportant un modèle professeur de 32 milliards de paramètres et des modèles élèves de 1, 7 et 13 milliards de paramètres.
Tâches : Trois charges de travail supervisées ont été utilisées : suivi des instructions (TULU-3), raisonnement mathématique (OpenR1-Math-220k) et génération de code (Open-R1 Codeforces).
Régimes de distillation : Trois pipelines ont été comparés sous des budgets d'entraînement et des hyperparamètres fixes :
1. SFT de référence : Entraînement direct sur les étiquettes du jeu de données original.
2. Distillation de connaissances basée sur les logits (KD) : Le professeur génère des logits (mis en cache hors ligne), et l'élève est entraîné à correspondre à la distribution adoucie du professeur.
3. Réglage fin supervisé synthétique (Synthetic SFT) : Le professeur génère des sorties synthétiques, qui servent d'étiquettes dures pour l'entraînement de l'élève.

Protocole de mesure :

Suivi par étape : Le pipeline est décomposé en étapes distinctes : stabilisation de l'environnement ( $E_{prerun}$ ), calcul côté professeur ( $E_{teacher}$ : mise en cache des logits ou génération de données), entraînement de l'élève ( $E_{student}$ ) et évaluation ( $E_{eval}$ ).
Métriques : L'énergie GPU est mesurée directement via la télémétrie NVML (traitée comme vérité terrain). L'énergie CPU et le CO2e sont estimés à l'aide d'outils standards (par exemple, des estimateurs de type CodeCarbon). Les résultats sont normalisés en Joules par token (J/token) et en kWh totaux.
Métriques de qualité : Un score de qualité scalaire ( $Q$ ) est dérivé en moyennant les scores normalisés sur cinq benchmarks (AlpacaEval 2, IFEval, MT-Bench-101, GSM8K, MMLU) par rapport à la performance du professeur.

Contributions clés

Protocole et outil de mesure de l'énergie de distillation : Les auteurs formalisent un protocole d'enregistrement par étape et publient un outil de mesure open source. Cela permet d'obtenir des graphiques énergétiques comparables qui séparent explicitement les coûts côté professeur des coûts d'entraînement de l'élève.
Benchmark contrôlé avec frontières de Pareto : L'étude compare des élèves de 1/7/13 milliards de paramètres face à un professeur de 32 milliards de paramètres à travers les trois pipelines. Elle construit des frontières de Pareto énergie-qualité qui révèlent les régimes où la distillation est ou n'est pas efficace.
Règles de conception et conditions de seuil de rentabilité : L'article quantifie comment des facteurs tels que la réutilisation du professeur, la longueur de séquence et les hyperparamètres (par exemple, température KD, poids de perte) déplacent la frontière énergie-qualité. Il dérive des conditions spécifiques selon lesquelles la distillation devient compétitive en termes d'énergie.

Résultats clés

La surcharge du professeur domine : Lorsqu'on tient compte de l'intégralité du pipeline, le KD et le Synthetic SFT consomment nettement plus d'énergie de bout en bout que le SFT de référence pour des gains de qualité comparables. Le travail côté professeur (mise en cache des logits ou génération de données) agit comme une surcharge quasi fixe qui déplace les courbes de distillation vers la droite sur la frontière énergie-qualité.
Échelle et efficacité : Les modèles élèves plus grands (par exemple, 13B) atteignent une qualité supérieure mais avec des rendements décroissants en matière d'énergie. Les modèles plus petits (par exemple, 1B) minimisent l'énergie mais échouent souvent à égaler la qualité des modèles SFT de référence plus grands.
Le rôle de la réutilisation : La distillation n'est pas intrinsèquement moins chère dans un scénario « unique ». Cependant, le coût fixe du professeur peut être amorti. Les auteurs dérivent un seuil de rentabilité ( $N^*$ ) pour le nombre d'exécutions d'élèves nécessaires pour réutiliser les artefacts du professeur (logits mis en cache ou données synthétiques) avant que la distillation ne devienne plus économe en énergie que le SFT de référence. Par exemple, un élève de 7B nécessite environ 5 à 6 réutilisations pour atteindre le seuil de rentabilité avec le KD, tandis qu'un élève de 13B n'en nécessite que 2 à 3.
Sensibilité aux hyperparamètres :
- Dans le KD, augmenter la température ( $T$ ) procure des gains de qualité modestes pour de légères augmentations d'énergie ; le poids de mélange ( $\alpha$ ) est un contrôle plus critique pour le compromis.
- Dans le Synthetic SFT, le budget de génération (nombre maximal de nouveaux tokens) est le principal moteur de la consommation d'énergie. L'augmentation de la longueur des tokens améliore la qualité mais présente une croissance énergétique non linéaire avec des rendements décroissants.

Importance et affirmations

L'article soutient que la distillation n'est pas intrinsèquement durable lorsqu'elle est examinée sous un angle de bout en bout. La perception courante de la distillation comme méthode « moins chère » découle souvent de l'ignorance des coûts amont du professeur.

Les auteurs affirment que :

Dépendance au flux de travail : Que la distillation soit rentable est principalement une question de flux de travail (spécifiquement, la capacité à réutiliser les artefacts du professeur) plutôt qu'une propriété intrinsèque de l'algorithme.
Transparence : Les pratiques actuelles de rapport obscurcissent le véritable coût environnemental du développement de l'IA. En adoptant une comptabilité par étape, les praticiens peuvent prendre des décisions éclairées sur le moment d'utiliser la distillation par rapport au SFT de référence.
Lignes directrices pratiques : L'article fournit des règles de conception concrètes :
- Signaler à la fois l'énergie exclusive à l'élève et celle du pipeline complet avec des hypothèses de réutilisation explicites.
- Traiter les artefacts du professeur comme une infrastructure partagée (mise en cache et versionnée) pour amortir les coûts.
- Utiliser le SFT de référence lorsque la réutilisation est faible ; privilégier la distillation uniquement lorsque les artefacts du professeur peuvent être réutilisés sur plusieurs élèves ou balayages d'hyperparamètres.

Les auteurs notent explicitement que leurs seuils quantitatifs sont spécifiques au matériel et que leur analyse se concentre sur l'énergie opérationnelle, excluant les émissions incorporées liées à la fabrication du matériel. Ils positionnent leur travail comme une fondation pour des rapports plus honnêtes sur le calcul et l'énergie dans les milieux académiques et industriels.