Think Before You Grid-Search: Floor-First Triage for LLM Serving

Résumé Technique : Triage de type « Floor-First » pour le Service LLM

Énoncé du Problème
Les équipes de production optimisant le service de modèles de langage de grande taille (LLM) font face à un espace de configuration vaste impliquant des configurations de parallélisme (TP, EP, DP), le batching, la quantification et le travail au niveau des kernels. La réponse opérationnelle habituelle face à des objectifs de latence non atteints consiste à tester de nombreuses configurations et à déployer des profilers lourds (par exemple, Nsight Systems) de manière indiscriminée. Cette approche dégénère souvent en une recherche par grille inefficace, où les mesures de performance sont ambiguës : un temps par jeton de sortie (TPOT) lent pourrait provenir de limites fondamentales de bande passante, de lacunes d'implémentation, de communication exposée, de surcoûts de l'hôte ou de kernels sous-performants. L'article soutient que la communauté de l'ingénierie manque d'une procédure de décision systématique pour déterminer quand le profilage est justifié et où chercher en premier, menant à des choix de déploiement imprévisibles (par exemple, des stratégies de parallélisme conflictuelles pour les modèles DeepSeek sur un matériel identique) basés sur la tradition plutôt que sur une comptabilité explicite des ressources.

Méthodologie : Triage « Floor-First » (Priorité au Plancher)
L'article propose le « Floor First », un flux de travail de triage piloté par le résidu qui traite l'estimation analytique comme la couche primaire de profilage. La méthodologie se compose de quatre étapes distinctes :

1. Construction du Plancher Analytique : Avant tout benchmark, le système calcule un « plancher à deux côtés » pour une configuration donnée. Ce modèle traite chaque étape de décodage comme un vecteur de ressources à cinq dimensions : octets HBM, FLOPs, octets réseau, messages réseau et capacité KV.

   • Plancher Optimiste ($t_{opt}$) : Calculé comme le maximum des temps de ressources indépendants ($max(t_{HBM}, t_{compute}, t_{network})$), en supposant un chevauchement parfait.
   • Plancher Pessimiste ($t_{sum}$) : Calculé comme la somme de tous les temps de ressources ($t_{HBM} + t_{compute} + t_{network}$), en supposant aucun chevauchement.
   • Intervalle de Diagnostic : La position d'un benchmark mesuré dans l'intervalle $[t_{opt}, t_{sum}]$ sert de diagnostic à coût nul pour le chevauchement du système. Si la mesure est proche de $t_{opt}$, le chevauchement est bon ; si elle est proche de $t_{sum}$, le scheduling/chevauchement est le goulot d'étranglement ; si elle est supérieure à $t_{sum}$, le temps fuit vers des coûts non modélisés (écarts de l'hôte, stragglers).

2. Discipline de Benchmark : Les benchmarks doivent être menés selon des règles strictes : génération de charge en boucle ouverte (pour éviter le biais d'auto-bridage), distributions de longueur réalistes, fonctionnement en régime permanent et rapport de percentile de queue (P99).

3. Réconciliation et Triage : Le temps mesuré est comparé au plancher.

   • Petit Résidu (< 1,3× plancher) : L'investigation s'arrête. Le système est proche de la limite théorique pour cet axe ; toute optimisation supplémentaire nécessite de changer l'architecture (ex: attention éparse, quantification) plutôt que de régler les kernels.
   • Grand Résidu : Le profilage est escaladé. Nsight Systems est utilisé uniquement pour répondre à trois questions spécifiques : Y a-t-il des écarts entre les kernels ? La communication est-elle exposée ? Quelle classe de kernel dépasse son budget analytique ? Nsight Compute est réservé strictement aux classes de kernels qui dépassent leur budget après exclusion des autres causes.

4. Ordre de Mur (Wall Ordering) : Au lieu de comparer la latence par batch unique, les déploiements sont évalués par « ordre de mur » — déterminant quelle contrainte de ressource (capacité KV, bande passante KV, bande passante des poids ou calcul) limite en premier à mesure que la charge augmente. La capacité est traitée comme une dimension de ressource de premier rang, et non comme une vérification de mémoire post-hoc.

Principales Contributions

1. Flux de Travail de Triage Piloté par le Résidu : Une boucle de décision qui sépare la définition de la cible, la construction du plancher et l'escalade du profiler, avec des règles d'arrêt explicites qui orientent les efforts d'optimisation soit vers le travail de pipeline (layout/scheduling), soit vers le travail de kernel.
2. Modèle de Plancher à Deux Côtés : Un modèle analytique qui fournit des bornes optimistes et pessimistes, utilisant l'écart entre elles pour diagnostiquer l'efficacité du chevauchement sans exécuter de profiler.
3. L'Ordre de Mur comme Résultat : Une méthode pour comparer les alternatives de déploiement en fonction de la première contrainte de ressource (mur) qui se déclenche à mesure que la concurrence croît, révélant qu'un layout avec une latence par batch unique moins bonne peut dominer la frontière de débit (goodput) si il possède un mur de capacité plus élevé.
4. Discipline de Métrique : Une systématisation des métriques d'utilisation (MFU vs MBU) basée sur l'« identité de la crête » ($MFU/MBU = I_{work}/I_{ridge}$), garantissant que la bonne métrique est rapportée pour la ressource limitante.
5. Artefact et Compétence d'Agent : Un artefact Python sans dépendance (floor.py) et une compétence lisible par agent (SKILL.md) qui imposent cette discipline dans les boucles d'optimisation agentiques, empêchant les agents de recourir réflexivement aux profilers.

Résultats de l'Étude de Cas
L'article applique cette méthodologie à un modèle MoE de type DeepSeek-V3.2 de 671B sur 16 GPU NVIDIA H20.

• Caractérisation du Matériel : Le GPU H20 est identifié comme ayant un point de crête de ~74 FLOP/byte (contre ~590 pour le H100), ce qui en fait une pièce extrêmement orientée « décodage » où la région limitée par la mémoire est 8× plus large.
• Jugement de Layout :
  • TP16 : À un batch size de 64 et un contexte de 8K, le TP16 est limité par la capacité KV à environ 70 requêtes simultanées. Le terme de bande passante KV est significatif, et le mur de calcul est inatteignable dans la région faisable.
  • EP16 + DP Attention : Ce layout échange un trafic de poids légèrement moins bon contre un mur de capacité de ~644 requêtes (un ordre de grandeur de plus). Bien que le TP16 ait une latence par flux unique plus faible (2,4× plus rapide à B=1), l'EP16+DP domine la frontière de débit à haute concurrence.
  • Attention Éparse (DSA) : Supprime le mur de bande passante KV mais pas le mur de capacité, car le KV complet doit rester adressable.
• Résolution de Désaccord : L'étude explique pourquoi différentes équipes ont déployé des layouts opposés (TP vs DP) sur le même matériel : le choix optimal est une fonction calculable du point de fonctionnement (concurrence). Une haute concurrence favorise le DP ; une faible concurrence favorise le TP.

Signification et Revendications
L'article affirme que les désaccords de production dans le service LLM sont souvent prévisibles à partir d'un petit compte de ressources (cinq nombres par GPU plus les dimensions du modèle) plutôt que nécessitant des expérimentations extensives. En rendant ce compte systématique, le flux de travail fournit une procédure de triage générale qui :

• Empêche le gaspillage d'effort de profilage lorsque les mesures sont proches du plancher analytique.
• Identifie l'axe d'optimisation correct (pipeline vs kernel) avant d'engager des outils coûteux.
• Explique les choix de déploiement via l'« ordre de mur » plutôt que par des benchmarks ponctuels.
• Offre une méthode robuste pour le matériel aux caractéristiques extrêmes (comme le H20) où les heuristiques standards échouent.

Les auteurs notent modestement que l'ébauche actuelle repose sur des planchers analytiques et des constantes calibrées, avec une campagne de mesure prévue (Section 8) nécessaire pour valider empiriquement les seuils de résidu et les règles d'escalade. La méthode est présentée comme une procédure de décision pour l'ingénierie, et non comme un remplacement des simulateurs ou des profilers, qui restent essentiels pour les résidus qui survivent au test du plancher.