Les logiciels modernes ne fonctionnent souvent pas comme un seul programme massif, mais comme une collection de petites parties indépendantes appelées microservices. Ces parties communiquent constamment entre elles, comme une équipe de spécialistes s'échangeant des notes pour résoudre un problème complexe. Pour que cette équipe fonctionne de manière fluide, les ordinateurs qui les hébergent doivent ajuster leur puissance automatiquement. Si trop de personnes visitent un site web en même temps, le système doit ajouter des travailleurs instantanément. Si le trafic diminue, il doit laisser partir les travailleurs pour économiser de l'argent. Cet ajustement automatique est appelé l'autoscaling (mise à l'échelle automatique). Actuellement, la plupart des systèmes attendent de constater un problème — comme des temps de réponse lents — avant de réagir. Cette réaction prend plusieurs minutes, un délai qui semble une éternité dans le monde numérique, provoquant chez les utilisateurs de la latence ou des erreurs. De plus, les personnes qui gèrent ces systèmes manquent souvent d'une vue claire et immédiate du coût de chaque ajustement spécifique, ce qui rend difficile l'équilibre entre performance et budget.

Une équipe de chercheurs de l'Université Multimedia en Malaisie a développé un nouveau système conçu pour résoudre ces deux problèmes à la fois. Ils appellent leur cadre de travail ST-KEDA. Au lieu d'attendre que le trafic augmente pour ensuite réagir, ce système essaie de prédire la hausse avant qu'elle ne se produise. Il tient également un décompte permanent du coût de chaque action entreprise, permettant de prendre des décisions qui économisent de l'argent sans sacrifier la vitesse. Les chercheurs ont testé ce système sur deux exemples réels de logiciels complexes : une boutique de vente en ligne comprenant onze services différents et un système de réservation de billets de train comprenant quarante et un services. Leurs conclusions montrent qu'en regardant vers l'avenir et en comprenant l'impact financier de chaque mouvement, le système peut réduire les coûts d'infrastructure de plus d'un tiers tout en réduisant considérablement le nombre de fois où il ajoute et retire frénétiquement des travailleurs.

Le cœur du problème réside dans la manière dont les systèmes actuels surveillent les problèmes. Les outils standards surveillent la charge de travail actuelle de l'ordinateur, comme l'occupation des processeurs. Lorsque la charge de travail franchit une certaine limite, le système commande plus de puissance informatique. Cependant, le temps nécessaire pour remarquer le pic, calculer le besoin, trouver un nouvel ordinateur, télécharger le logiciel nécessaire et démarrer le nouveau travailleur est significatif. Dans les tests des chercheurs, l'ensemble de ce processus prenait en moyenne près de cinq minutes. Pendant cette fenêtre, le système est submergé et les utilisateurs souffrent. La nouvelle approche, ST-KEDA, change la stratégie : passer de la réaction à l'anticipation. Elle étudie l'historique des modèles de trafic pour deviner ce qui se passera dans les prochaines minutes.

Pour rendre ces prédictions précises, le système commence par décomposer l'historique complexe du trafic en morceaux plus simples et compréhensibles. Imaginez un enregistrement bruyant d'une rue animée ; il contient le bourdonnement constant du trafic, le rythme des heures de pointe et les sons soudains et aigus comme le coup de klaxon d'une voiture. Les chercheurs ont utilisé une technique mathématique pour séparer ces différents rythmes du bruit. Ils ont découvert qu'en étudiant ces motifs séparés — les tendances constantes, les cycles quotidiens et les pics soudains — l'ordinateur pouvait comprendre le trafic bien mieux qu'en regardant simplement les données brutes et désordonnées. Cette séparation permettait au moteur de prédiction de voir la structure sous-jacente de la demande plutôt que le simple chaos.

Le système utilise ensuite un modèle d'apprentissage sophistiqué qui comprend comment les différentes parties du logiciel dépendent les unes des autres. Dans une architecture de microservices, une partie en déclenche souvent une autre. Par exemple, un utilisateur cliquant sur « acheter » peut déclencher une vérification de l'inventaire, qui déclenche ensuite un processus de paiement. Si le système prédit une augmentation des clics sur « acheter », il sait que les services d'inventaire et de paiement auront également besoin de plus de puissance, avant même que ces services ne montrent des signes d'activité. En cartographiant ces connexions, le système peut préparer toute la chaîne de services simultanément. Cela évite la latence qui survient lorsqu'une partie est prête mais que la suivante est encore en train de s'éveiller.

Crucialement, ce système ne se soucie pas seulement de la vitesse ; il se soucie du prix. Les services de cloud computing facturent à la minute pour chaque unité de processeur et de mémoire utilisée. Les chercheurs ont intégré une couche dans leur système qui calcule le coût de chaque décision d'échelle en temps quasi réel. Alors que les relevés de facturation traditionnels peuvent mettre des jours à arriver, ce système estime le coût dans les secondes qui suivent une modification. Il sait exactement combien un nouvel instant de calcul coûtera pour l'heure suivante. Cela permet au système de faire un arbitrage : il peut décider d'économiser de l'argent en maintenant un nombre de travailleurs légèrement inférieur, acceptant un très faible risque de ralentissement, ou il peut dépenser plus pour garantir une vitesse parfaite. Les chercheurs ont testé un paramètre où le système priorisait l'économie d'argent, et il a réussi à réduire le coût total de fonctionnement de la boutique en ligne de 34,7 %.

Les résultats des tests ont été frappants. Comparée au système réactif standard, la nouvelle approche a réduit le temps nécessaire pour s'adapter au nouveau trafic de près de cinq minutes à seulement huit secondes. Cette vitesse signifiait que le système ne prenait que rarement du retard. Les chercheurs ont également mesuré ce qu'on appelle le « flapping » (instabilité), qui se produit lorsqu'un système réagit de manière excessive, ajoutant trop de travailleurs, puis les supprimant immédiatement, puis les ajoutant à nouveau. Ce changement constant est coûteux et instable. Le nouveau système a réduit ce comportement chaotique de 96,6 %, créant une opération beaucoup plus fluide. Lorsque le système était autorisé à ignorer les préoccupations de coût pour se concentrer uniquement sur la performance, le nombre de réponses lentes est tombé à seulement 2 %, une amélioration significative par rapport aux 8 % du système standard.

L'étude a également révélé que les composants spécifiques de leur conception étaient tous nécessaires. Lorsqu'ils ont supprimé la capacité de décomposer les modèles de trafic, les prédictions sont devenues moins précises. Lorsqu'ils ont supprimé la compréhension de la façon dont les services sont connectés entre eux, le système n'a pas pu préparer les parties en aval de la chaîne à temps. Et lorsqu'ils ont supprimé le suivi des coûts, le système n'a plus pu faire les arbitrages intelligents qui menaient à de telles économies. Les chercheurs ont constaté que le meilleur équilibre était atteint lorsque le système était réglé pour se soucier à la fois du coût et de la vitesse, acceptant une infime augmentation des réponses lentes pour réaliser des économies financières massives.

Ce travail démontre que la gestion des systèmes logiciels complexes n'a pas à être un jeu de rattrapage. En combinant une compréhension profonde de l'évolution des modèles de trafic, de la façon dont les différentes parties logicielles dépendent les unes des autres et du coût exact de chaque décision, il est possible de faire fonctionner ces systèmes de manière plus efficace et moins coûteuse. Les chercheurs ont testé leurs idées sur deux types d'applications distinctes, suggérant que l'approche est assez robuste pour gérer différents types de charges de travail. Bien que le système ait été testé dans un environnement cloud spécifique, les principes de prédiction de la demande et d'intégration du coût dans la boucle de décision offrent une voie claire pour quiconque gère des services numériques à grande échelle. L'avenir du cloud computing ne sera peut-être pas seulement de disposer de plus de puissance, mais de savoir exactement quand et comment l'utiliser.