Résumé technique : Approvisionnement analytique pour la mise en service de LLM découplés Attention–FFN sous charges stochastiques

Énoncé du problème

La mise en service des grands modèles de langage (LLM) fait face à des défis d'efficacité majeurs à mesure que la taille des modèles augmente. Bien que le découplage Attention–FFN (AFD) ait émergé comme une architecture prometteuse pour dissocier les couches Attention (à état, dominées par le cache KV) limitées par la mémoire des couches FFN (sans état) limitées par le calcul, la détermination du ratio optimal d'approvisionnement en ressources reste un problème ouvert.

Dans une topologie AFD (notée $r$A–1F, où $r$ instances Attention alimentent une instance FFN), les performances du système sont hautement sensibles au ratio $r$.

• Si $r$ est trop faible, le serveur FFN manque d'entrées, entraînant des ressources de calcul inactives.
• Si $r$ est trop élevé, les instances Attention se bloquent en attendant le serveur FFN partagé, provoquant un blocage au niveau des étapes et des bulles dans le pipeline.

Les systèmes existants déterminent généralement $r$ par recherche empirique ou approximations déterministes naïves qui ignorent la stochastique des charges de travail. La difficulté centrale réside dans la nature dynamique de la charge de travail Attention : contrairement au calcul FFN qui ne dépend que de la taille du lot, la latence Attention évolue continuellement à mesure que les caches KV grandissent et que les requêtes sont ravitaillées avec des longueurs de prompt et de décodage aléatoires. De plus, l'exécution synchronisée de plusieurs workers Attention introduit un effet de « traînard » régi par le worker le plus lent, créant une barrière de synchronisation difficile à modéliser analytiquement.

Méthodologie

Les auteurs développent un cadre probabiliste rigoureux pour dériver une règle d'approvisionnement sous forme close pour le ratio A/F optimal ($r^*$) sous des charges de travail stochastiques. La méthodologie adresse deux sources principales d'aléa :

1. Évolution de la charge de travail par créneau temporel : Les auteurs modélisent la charge de tokens par créneau temporel à l'aide d'une analyse de renouvellement-récompense en temps discret. Ils identifient une statistique de charge unique, $\theta$ (la charge de tokens stationnaire attendue par créneau temporel), qui régit l'approvisionnement. Cette statistique prend en compte l'effet de « biais de longueur » où les requêtes plus longues sont échantillonnées plus fréquemment lors des étapes de décodage aléatoires. Crucialement, $\theta$ et sa variance $\nu^2$ peuvent être estimés de manière non paramétrique à partir des traces de requêtes sans supposer de familles de distributions spécifiques.
2. Synchronisation inter-workers : Pour adresser l'effet de barrière où le système attend le plus lent des $r$ workers, les auteurs appliquent une correction par statistique d'ordre gaussienne. Ils modélisent la charge totale sur les $r$ workers comme une somme de variables aléatoires indépendantes et identiquement distribuées (i.i.d.) et approximent la charge maximale en utilisant la valeur attendue du maximum de $r$ variables normales standard ($\kappa_r$).

L'analyse aboutit à deux règles d'approvisionnement :

• Règle de champ moyen ($r^*_{mf}$) : Une solution sous forme close dérivée en ignorant la barrière de synchronisation (en supposant un équilibrage de charge parfait). Cette règle se décompose en trois régimes : goulot d'étranglement Attention, goulot d'étranglement de communication et goulot d'étranglement FFN.
• Raffinement conscient de la barrière ($r^*_G$) : Une optimisation affinée qui intègre le terme de surcharge de synchronisation ($\sqrt{B}\nu\kappa_r$) dans l'approximation du temps de cycle. Ceci est résolu par une optimisation analytique unidimensionnelle combinée à une recherche discrète.

Contributions clés

1. Modèle de charge de travail probabiliste : L'article établit un cadre analytique capturant la dynamique stochastique de la mise en service AFD avec mise en lot continue. Il identifie $\theta$ comme la statistique gouvernant l'approvisionnement, valable sous des distributions arbitraires de longueurs de prompt et de décodage, et fournit un estimateur non paramétrique pour $\theta$ et $\nu^2$ à partir des traces.
2. Règle d'approvisionnement sous forme close : Les auteurs dérivent un ratio optimal de champ moyen qui équilibre explicitement les goulots d'étranglement Attention, de communication et FFN. Ils fournissent en outre un raffinement conscient de la barrière qui quantifie la surcharge de synchronisation introduite par les workers traînards, montrant que cette surcharge croît de manière sous-logarithmique avec $r$.
3. Validation calibrée sur traces : L'équipe a développé un simulateur AFD calibré avec des traces réelles et des paramètres matériels (spécifiquement des NPU Huawei Ascend 910C). Ils ont validé le cadre sur diverses charges de travail et configurations matérielles.

Résultats

La validation expérimentale démontre une grande précision dans la prédiction du comportement du système :

• Précision du ratio optimal : Le ratio optimal prédit ($r^*_{mf} \approx 9,3$) correspond étroitement au ratio optimal de simulation. La courbe de débit théorique suit bien les résultats de simulation sur toutes les configurations testées ($r \in \{1, 2, 4, 8, 16, 24, 32\}$).
• Marges d'erreur : Le ratio optimal prédit correspond au ratio optimal de simulation à 10 % près.
• Impact des traînards : Un écart résiduel d'environ 15 % dans la prédiction du débit entre le modèle de champ moyen et la simulation a été observé pour de grands $r$. L'analyse consciente de la barrière explique cette divergence, l'attribuant à la surcharge de synchronisation qui atteint environ 11 % à $r=24$.
• Sensibilité aux paramètres : Les études d'ablation montrent que le $r^*$ optimal augmente avec des tailles de micro-lots ($B$) plus grandes et des longueurs de contexte totales plus longues (à la fois préremplissage $\mu_P$ et décodage $\mu_D$), car ces facteurs augmentent la pression computationnelle du côté Attention.

Importance et affirmations

L'article affirme fournir la première fondation analytique fondée sur des principes pour l'approvisionnement des systèmes AFD, dépassant la recherche empirique. En offrant un compte rendu compact et calibrable de la manière dont la structure stochastique de la charge de travail détermine l'approvisionnement, le cadre permet aux concepteurs de systèmes de :

• Déterminer le ratio A/F optimal sans construction extensive de systèmes ou essais et erreurs.
• Comprendre les compromis entre l'extension de la mémoire (Attention) et l'extension du calcul (FFN) sous des charges de travail réalistes et stochastiques.
• Quantifier le coût des barrières de synchronisation dans les architectures découplées.

Les auteurs notent que bien que la validation sur système réel soit laissée pour un travail futur à mesure que les implémentations AFD mûrissent, la validation actuelle basée sur la simulation (utilisant des traces provenant de distributions similaires à la production) fournit une confirmation empirique forte de la théorie. Le travail est présenté comme un préprint (arXiv:2601.21351v2), indiquant qu'il s'agit d'une contribution fondamentale au domaine émergent de la mise en service découplée de LLM.