Résumé Technique : Toute Synchronisation n'est pas Sûre : Ordonnancement de DiLoCo Calibré pour l'Infrastructure IA Partagée

Énoncé du Problème

Dans les flottes d'IA industrielles fragmentées où l'entraînement partage le matériel avec le service sensible à la latence (par exemple, des sidecars vLLM), le mode d'entraînement conventionnel de type DiLoCo fait face à un défi de production critique : quand est-il sûr de synchroniser ?

Bien que DiLoCo réduise la communication en permettant aux îlots d'apprentissage d'effectuer des étapes d'optimisation locale avant une synchronisation externe occasionnelle, les études d'ordonnancement existantes échouent souvent à isoler la valeur du timing de celle du budget. La plupart des évaluations comparent des politiques sensibles à la charge de travail contre des bases à période fixe (par exemple, toutes les 256 ou 512 étapes). Cependant, une base à période fixe peut simplement synchroniser moins fréquemment ou à des moments différents par hasard, plutôt que de démontrer une véritable conscience de la charge de travail.

Le problème central est qu'une fusion externe consomme des ressources d'hôte, de réseau et de checkpoint pendant une durée fixe (par exemple, 8 secondes). Si cette fenêtre chevauche des requêtes sensibles à la latence, elle provoque des violations d'Objectifs de Niveau de Service (SLO). La question n'est pas seulement de savoir à quelle fréquence synchroniser, mais quels créneaux spécifiques choisir pour éviter les périodes à coût élevé, et si une politique peut rivaliser de manière fiable avec un placement aléatoire du même budget de synchronisation.

Méthodologie

1. Le Protocole de Calibration

Les auteurs proposent un protocole d'évaluation rigoureux pour déterminer si une politique de synchronisation mérite de revendiquer une amélioration des SLO de service. Le protocole introduit un Différé Aléatoire Apparié (Matched Random Deferral) de contrôle :

• Concept : Un contrôle non déployable qui hérite du budget de synchronisation exact (nombre de fusions) de la politique évaluée, mais qui randomise le placement de ces fusions au sein du corridor temporel réalisable.
• Objectif : Cela sépare la fréquence de synchronisation du placement de la fenêtre. Si une politique sensible à la charge de travail ne peut pas battre un placement aléatoire du même budget, elle n'a pas démontré de « gain de placement ».
• Porte : Une revendication d'amélioration de SLO n'est valide que si la politique bat l'enveloppe aléatoire appariée dans un régime calibré.

2. DiLoCo Sensible à la Charge de Travail (WA-DiLoCo)

Le papier instancie ce protocole avec WA-DiLoCo, un contrôleur léger basé sur un score :

• Entrées : Progrès de l'apprenant (réduction de la perte, contribution de jetons, obsolescence) et pression de la flotte (réseau, service, checkpoint).
• Scoring : Un score linéaire $s_i$ est calculé pour chaque apprenant, pondérant positivement le progrès et négativement la pression. La pression de service porte le poids le plus élevé dans le cadre cible.
• Logique de Décision : Le coordinateur synchronise si l'écart depuis la dernière fusion dépasse $H_{min}$ (128 étapes) et si le score moyen dépasse un seuil, ou si l'écart atteint $H_{max}$ (512 étapes). Cela garantit que les fusions restent dans un corridor borné.

3. Chevauchement Calibré et Prévision

Pour les charges de travail par rafales (bursty), les auteurs identifient que le chevauchement direct avec les requêtes du sidecar est un signal de coût plus précis que les mesures de pression générale.

• WA-Calibré Hors-Ligne (Offline Calibrated-WA) : Un oracle qui observe l'intégralité de la trace de rafale et resélectionne les fenêtres réalisables à plus faible chevauchement. Cela établit la limite théorique supérieure de ce qui est possible.
• Prévision en Ligne (Online Forecasting) : Pour rendre cela déployable, les auteurs augmentent le contrôleur avec une prévision par Moyenne Mobile Exponentielle Pondérée (EWMA) à un pas pour les taux de requête. Cela permet au contrôleur de noter les fenêtres candidates en fonction du chevauchement attendu avant le lancement de la fusion.

Contributions Clés

1. Protocole d'Évaluation Calibré : Le papier identifie une lacune dans la littérature existante où les bases à période fixe confondent budget et placement. Le protocole exige un transfert d'effet de taille de sidecar réel, un match de charge sans synchronisation, et une enveloppe aléatoire appariée avant de revendiquer des améliorations de SLO de service.
2. Contrôle de Différé Aléatoire Apparié : Introduit un contrôle non déployable qui hérite du budget de fusion du planificateur évalué mais randomise son placement. Il sert de base stricte ; un planificateur qui ne peut pas battre ce placement aléatoire n'a contrôlé que le budget, pas la charge de travail.
3. Formulation d'Ordonnancement Calibré Borné : Les auteurs formalisent la synchronisation comme un placement réalisable dans un corridor min/max-H. Ils prouvent que sous un modèle de chevauchement calibré, l'ordonnancement calibré hors ligne est proche de l'optimal au sein de la classe de budget apparié, tandis que la variante en ligne se dégrade gracieusement avec l'erreur de prévision.
4. Étude Étendue du Régime de Sidecar Réel : L'étude évalue les politiques à travers des régimes de service ordinaires, à forte pression, à synchronisation constante et des régimes de rafales utilisant des rejeux de sidecars vLLM réels.

Résultats

Les expériences révèlent que l'efficacité de l'ordonnancement dépend fortement du régime de la charge de travail :

• Régimes Ordinaires/À Forte Pression : Dans les traces de sidecars ordinaires, les effets de pression synthétique n'ont pas été transférés aux latences réelles (ratios p95 $\approx$ 1,0). Dans les régimes à forte pression, toutes les politiques étaient saturées, et aucune politique ne dominait.
• Régimes à Synchronisation Constante : WA-DiLoCo a surpassé les bases à intervalle fixe et de porte de pression. Cependant, il a égalisé statistiquement le contrôle de différé aléatoire apparié ($p=0,56$), indiquant que pour les charges constantes, un simple placement aléire est souvent suffisant, et qu'aucune affirmation de dominance forte ne peut être faite.
• Régimes de Rafales (Bursty) : C'est ici que la calibration apporte de la valeur.
  • WA-Calibré Hors-Ligne : A réduit les violations de SLO dues au surplus de synchronisation à 4,45 %, battant significativement l'enveloppe aléatoire appariée (6,26 %) et WA-DiLoCo (6,92 %).
  • Forecaster en Ligne : Le contrôleur en ligne augmenté par EWMA a réduit les violations de SLO de 6,54 % (aléatoire apparié) à 5,09 % dans les rejeux de sidecars vLLM réels ($p=0,021$). Cela représente un gain de placement de 1,46 point de pourcentage, réduisant les violations de SLO d'environ 60 requêtes par sidecar par dix minutes au débit testé.

Signification et Revendications

La principale signification du papier est méthodologique plutôt qu'algorithmique. Les auteurs soutiennent que toute synchronisation n'est pas sûre, et que revendiquer des améliorations de SLO nécessite un niveau de preuve plus élevé.

• Le Protocole d'Abord : Les auteurs affirment que la « leçon déployable » est le protocole lui-même : les chercheurs doivent rapporter le transfert d'effet de taille de sidecar réel, le match de charge sans synchronisation, et une enveloppe aléatoire appariée avant de revendiquer des améliorations de SLO de service.
• Revendications Modestes sur le Déploiement : Le papier est modeste quant à l'état actuel du contrôleur en ligne. Bien que l'oracle hors ligne prouve qu'une structure exploitable existe dans les traces de rafales, le contrôleur en ligne (sans prévision) n'a pas significativement battu l'aléatoire apparié. La réussite de la revendication de déploiement repose spécifólnie sur la variante augmentée par la prévision dans une famille de traces non périodiques spécifique.
• Limites : Les auteurs déclarent explicitement que ce sont des études de rejeu testées sous contrainte, et non des déploiements en production réelle. La durée de fusion de 8 secondes est spécifique à la configuration, et le contrôleur en ligne reste une « implémentation incomplète » de l'idée d'ordonnancement calibré, nécessitant un ajustement plus poussé des poids et des garde-fous pour l'équité et la non-starvation dans les futurs déploiements.

En conclusion, le papier démontre que si DiLoCo réduit la communication, l'ordonnancement des événements de synchronisation restants est un problème de contrôle critique dans les flottes partagées. En introduisant une base aléatoire appariée et un protocole de calibration, les auteurs montrent que l'ordonnancement sensible à la charge de travail ne produit des gains de SLO mesurables que lorsque la charge de travail possède une structure exploitable (comme les rafales) et que le contrôleur peut prévoir ou observer précisément cette structure.