Energy-Efficient LLM Serving via Disaggregated Attention--FFN and Flexible Frequency Scaling
Ce document présente AFlex, un cadre qui réduit la consommation d'énergie lors du service des LLM jusqu'à 49 % grâce à une exécution désagrégée de l'Attention-FFN, une optimisation conjointe des ressources et de la fréquence, ainsi qu'un pipeline entrelacé qui s'adapte aux sensibilités de fréquence au niveau des opérateurs tout en respectant des SLO de latence stricts.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous dirigiez un cerveau de robot massif et super intelligent dans un centre de données géant. Ce cerveau, connu sous le nom de Grand Modèle de Langage (LLM), est le moteur derrière les chatbots, les assistants de codage et les écrivains créatifs. Mais il y a un pièote : ces cerveaux sont incroyablement gourmands. Ils consomment d'énormes quantités d'électricité, faisant souvent tourner leurs processeurs à pleine vitesse, comme le moteur d'une voiture de course tournant au régime maximal même quand la voiture est coincée dans un embouteillage. C'est un problème car cela coûte une fortune en énergie et génère beaucoup de chaleur.
Pour faire fonctionner ces robots plus rapidement, des scientifiques ont trouvé comment diviser le travail. Imaginez le processus de réflexion du robot comme ayant deux étapes principales : d'abord, il lit et comprend votre question (la phase de « prefill »), et ensuite, il écrit la réponse mot par mot (la phase de « decode »). Récemment, des ingénieurs ont réalisé qu'il est préférable de mettre ces deux étapes dans des pièces différentes avec des équipes de travailleurs différents, plutôt qu'une seule équipe pour faire les deux. C'est ce qu'on appelle la « désagrégation ». Cela aide le robot à répondre plus vite, mais cela ne réduit pas nécessairement sa consommation d'électricité. En fait, si vous réduisez simplement la vitesse des travailleurs pour économiser de l'énergie, le robot pourrait devenir trop lent et manquer ses échéances. La grande question est : comment pouvons-nous ralentir pour économiser de l'énergie sans que le robot ne bégaye ou n'échoue ?
Ce document présente un nouveau système ingénieux appelé AFlex qui résout ce casse-tête en traitant le cerveau du robot comme une équipe de spécialistes ayant des besoins énergétiques différents. Les chercheurs ont découvert que les deux parties principales du cerveau du robot — la partie qui prête attention à vos mots (l'Attention) et la partie qui traite la logique (le Réseau de Neurones à Propagation Avant, ou FFN) — ne sont pas les mêmes. Elles sont comme deux athlètes différents : l'un est un sprinter qui a besoin d'un boost de vitesse pour courir vite, tandis que l'autre est un coureur de marathon qui se fatigue si on le pousse trop fort mais qui peut maintenir un rythme plus lent et efficace.
Auparavant, les systèmes traitaient tout le cerveau comme une seule unité, forçant le sprinter et le coureur de marathon à courir exactement à la même vitesse. Si vous les accélérait pour aider le sprinter, le coureur de marathon gaspillait de l'énergie. Si vous les ralentissait pour économer le coureur de marathon, le sprinter devenait trop lent. Les auteurs de ce document ont découvert que ces deux parties préfèrent en réalité des vitesses différentes selon ce que le robot fait, la longueur de la question et le nombre de personnes qui posent des questions en même temps.
Pour corriger cela, AFlex agit comme un gestionnaire intelligent capable de donner au sprinter et au coureur de marathon leurs propres pistes et leurs propres réglages de vitesse personnels. Il utilise un « Planificateur Global » pour planifier la vue d'ensemble, décidant combien de travailleurs assigner à chaque tâche, et un « Contrôleur Local » pour ajuster leurs vitesses en temps réel, seconde par seconde. Le système utilise également une technique de pipeline spéciale où les travailleurs se passent des notes pendant qu'ils travaillent encore, afin que personne ne reste assis à attendre. Cette approche « entrelacée » permet de maintenir la chaîne de montage en mouvement fluide sans aucune interruption.
Les chercheurs ont testé AFlex sur des puces informatiques puissantes (GPU NVIDIA A800) en utilisant des données réelles de tâches de codage et de conversation. Ils ont constaté qu'en laissant les parties Attention et FFN fonctionner à leurs propres vitesses uniques et économes en énergie, le système pouvait réduire l'énergie utilisée par mot généré jusqu'à 49 % par rapport aux meilleures méthodes existantes qui divisent le travail, et de 48 % par rapport aux systèmes qui essaient simplement de ralentir toute la puce. Crucialement, le robot répondait toujours aussi vite qu'avant, respectant toutes ses promesses de vitesse. Le document suggère que cette approche consistant à donner à différentes parties du cerveau de l'IA des vitesses différentes est une étape majeure vers la création d'une intelligence artificielle beaucoup plus économe en énergie sans sacrifier la performance.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.