Using dynamic loss weighting to boost improvements in forecast stability

Imaginez que vous êtes un prévisionniste météo essayant de prédire la température pour la semaine prochaine. Chaque matin, vous recevez une nouvelle donnée — une lecture de température fraîche provenant de la veille. Naturellement, vous mettez à jour votre prédiction pour mardi prochain. Mais voici le hic : chaque fois que vous mettez à jour, votre prédiction pour mardi prochain peut bondir ou chuter radicalement. Un jour, vous dites qu'il fera 21 °C, le lendemain, 18 °C, puis 22 °C. Ce mouvement incessant est appelé « instabilité de prévision ». C'est agaçant pour quiconque essaie d'organiser un pique-nique ou de gérer une chaîne d'approvisionnement, car ils ne peuvent pas faire confiance à des chiffres qui ne restent pas en place.

Les scientifiques essaient de construire des modèles informatiques qui soient non seulement précis (dire la bonne température) mais aussi stables (tenir leur récit). Récemment, des chercheurs ont découvert un moyen d'apprendre à ces modèles à être un peu plus constants en ajoutant une « pénalité de stabilité » lors de leur entraînement. Considérez cela comme un professeur disant à un élève : « Ne te contente pas de donner la bonne réponse ; ne change pas ta réponse à chaque fois que tu reçois un nouvel indice. » Cependant, l'ancienne méthode pour enseigner cela était un peu rigide. Elle utilisait un carnet de règles fixe qui disait : « Accorde 10 % d'attention à la stabilité et 90 % à la précision », et ce ratio ne changeait jamais pendant tout le processus d'apprentissage.

Cet article pose une question simple et curieuse : Et si nous rendions le carnet de règles dynamique ? Et si l'ordinateur pouvait apprendre à se concentrer sur la précision d'abord, et ne commencer à se soucier de la stabilité qu'une fois qu'il serait bon dans les bases ? Les auteurs, une équipe de la KU Leuven, ont testé cette idée en utilisant un puissant modèle de prévision appelé N-BEATS. Ils ont testé plusieurs techniques de « pondération dynamique de la perte » (dynamic loss weighting) — des méthodes qui permettent à l'ordinateur de mélanger l'importance de la précision par rapport à la stabilité au fur et à mesure qu'il apprend. Ils ont découvert qu'en laissant le modèle ajuster ses propres priorités à la volée, ils pouvaient obtenir des prévisions tout aussi précises mais beaucoup moins agitées que auparavant. C'est comme enseigner à un étudiant à arrêter de se remettre en question une fois qu'il a maîtrisé la leçon, ce qui donne des prédictions auxquelles les gens peuvent réellement faire confiance.

L'histoire de la prévision agitée

Dans le monde de la prévision de séries temporelles, les ordinateurs sont comme des boules de cristal qui regardent le passé pour deviner le futur. Mais ces boules de cristal ont une mauvaise habitude : elles sont capricieuses. Lorsque de nouvelles données arrivent, le modèle peut complètement changer d'avis sur ce qu'il avait prédit pour la semaine suivante. C'est ce qu'on appelle l'instabilité de prévision à origine glissante (rolling origin forecast instability). Imaginez que vous planifiez une fête. Si votre ami vous dit : « Je pense que 10 personnes viendront », puis cinq minutes plus tard : « En fait, peut-être 20 », et une heure plus tard : « Attendez, peut-être 5 », vous seriez assez frustré. Vous avez besoin d'une prédiction suffisamment fiable pour commander la bonne quantité de pizzas.

Pendant longtemps, l'objectif était simplement de rendre la prédiction la plus précise possible. Mais dans le monde réel, la précision n'est pas la seule chose qui compte. Si une prévision change trop brusquement, les gens cessent d'y croire. Ils peuvent commencer à faire leurs propres ajustements basés sur leur « intuition », ce qui rend souvent la prévision moins précise. Ainsi, les chercheurs ont voulu apprendre aux modèles à être « stables » sans perdre leur « précision ».

L'ancienne méthode : Un carnet de règles statique

Auparavant, une méthode appelée N-BEATS-S a été introduite pour résoudre ce problème. Elle fonctionnait en donnant à l'ordinateur un devoir en deux parties :

1. Partie A : Dire les bons chiffres (Précision).
2. Partie B : Ne pas trop changer sa réponse lorsqu'on reçoit de nouvelles données (Stabilité).

L'ordinateur devait équilibrer ces deux tâches. L'ancienne façon de faire consistait à utiliser un hyperparamètre statique (appelons-le $\lambda$). C'est comme un cadran que le formateur humain règle avant que l'ordinateur ne commence à apprendre. Si vous réglez le cadran sur 0,025, vous dites à l'ordinateur : « Hé, concentre-toi à 97,5 % sur l'exactitude et seulement 2,5 % sur la stabilité. » Si vous le réglez sur 0,275, vous lui dites : « D'accord, accorde plus d'attention à la stabilité. »

Le problème avec ce cadran statique est qu'il est fixé dans le marbre pour toute la durée du processus d'apprentissage. L'ordinateur ne décide pas quand se concentrer sur quoi. C'est comme dire à un étudiant : « Passe 20 % de ton temps en mathématiques et 80 % en histoire » pendant tout le semestre, même s'il est déjà un génie en maths et qu'il a juste besoin de pratiquer un peu l'histoire. Les chercheurs soupçonnaient qu'un carnet de règles rigide pouvait freiner l'ordinateur.

La nouvelle idée : Une danse dynamique

Les auteurs de cet article se sont demandé : Et si l'ordinateur pouvait changer le cadran pendant son apprentissage ? C'est ce qu'on appelle la Pondération Dynamique de la Perte (DLW - Dynamic Loss Weighting). Au lieu d'une règle fixe, l'ordinateur peut décider : « D'accord, en ce moment je suis très mauvais en précision, donc je vais ignorer la stabilité un instant. Mais une fois que je serai bon en précision, je commencerai à me soucier de la stabilité. »

Ils ont testé plusieurs méthodes existantes qui effectuent ce genre d'équilibrage dynamique, et ils ont également inventé une nouvelle méthode appelée Pondération Aléatoire Sensible à la Tâche (TARW - Task-Aware Random Weighting).

• GradNorm : Cette méthode tente de s'assurer que l'ordinateur apprend les deux tâches à la même vitesse. S'il apprend la précision trop vite, il ralentit cela pour se concentrer sur la stabilité.
• Pondération par l'Incertitude (Uncertainty Weighting) : Cette méthode demande : « À quel point suis-je incertain concernant cette tâche ? » Si l'ordinateur est très incertain concernant la stabilité, il y prête moins d'attention.
• Pondération Aléatoire (RW - Random Weighting) : C'est un peu chaotique. Elle choisit simplement un nombre aléatoire entre 0 et 1 pour le cadran de stabilité à chaque fois que l'ordinateur apprend un nouveau lot de données. Curieusement, ce caractère aléatoire fonctionne souvent bien.
• TARW (Le nouveau venu) : Les auteurs ont pris l'idée de la « Pondération Aléatoire » et l'ont peaufinée. Au lieu de choisir un nombre entre 0 et 1, ils choisissent un nombre entre 0 et une limite spécifique (appelons-la $\kappa$). Cela garantit que l'ordinateur ne devient pas trop obsédé par la stabilité et n'oublie pas d'être précis. C'est comme dire : « Tu peux être aléatoire, mais ne deviens pas fou. »

Ce qu'ils ont trouvé : Le point d'équilibre idéal

L'équipe a mené ces expériences sur deux ensembles massifs de séries temporelles mensuelles (les ensembles de données M3 et M4), qui contiennent des milliers de séries temporelles différentes, comme des chiffres de ventes ou des données météorologiques. Ils ont comparé les nouvelles méthodes dynamiques à l'ancienne méthode statique (N-BEATS-S avec un cadran fixe).

Voici ce que les chiffres leur ont révélé :

1. Boost de Stabilité : Presque toutes les méthodes dynamiques ont rendu les prévisions beaucoup plus stables. Les « oscillations » dans les prédictions ont considérablement diminué. Par exemple, sur l'ensemble de données M4, certaines méthodes ont réduit la métrique d'instabilité (RMSSC) d'environ 0,537 (l'ancienne méthode statique) à 0,146 ou 0,224. C'est une énorme baisse de l'agitation.
2. La Précision est restée stable : La grande crainte était qu'en se concentrant sur la stabilité, l'ordinateur deviendrait moins précis. Les résultats ont montré que pour les meilleures méthodes, la précision est restée presque exactement la même. En fait, sur l'ensemble de données M3, la nouvelle méthode TARW high a produit des prévisions qui étaient en fait plus précises que l'ancien modèle N-BEATS, avec un score (RMSSE) de 1,082 contre 1,088.
3. Le Gagnant : La méthode TARW (spécifiquement la version « high ») s'est distinguée. Elle a réussi à améliorer la stabilité de manière significative sans nuire à la précision. C'était comme trouver un moyen de rendre la prévision à la fois solide comme un roc et super précise.
4. Le « Pourquoi » : Lorsqu'ils ont regardé sous le capot, ils ont vu que les méthodes dynamiques faisaient exactement ce que les auteurs espéraient. Au début de l'entraînement, l'ordinateur se concentrait fortement sur la précision. Ce n'est qu'après avoir été bon dans ce domaine qu'il commençait à prêter attention à la stabilité. La méthode statique, en revanche, essayait de faire les deux dès le premier jour, ce qui par moments confondait le modèle ou le forçait dans un « optimum local » (un endroit où il est bloqué, étant stable mais pas très précis).

Ce qu'il faut retenir

L'article suggère que nous n'avons pas besoin de forcer un ordinateur à équilibrer la précision et la stabilité avec une règle rigide et préétablie. Au contraire, laisser le modèle ajuster dynamiquement ses priorités — spécifiquement en privilégiant la précision d'abord, puis en introduisant la stabilité — conduit à de meilleurs résultats.

Les auteurs proposent TARW comme un outil simple et efficace pour cela. C'est essentiellement un « randomiseur intelligent » qui empêche l'ordinateur de devenir trop obsédé par la stabilité trop tôt. Bien que le coût de calcul pendant l'entraînement soit légèrement plus élevé (l'ordinateur doit faire un peu plus de mathématiques pour ajuster les poids), le coût lors de l'utilisation réelle (inférence) est exactement le même que celui des anciennes méthodes.

En fin de compte, cette recherche suggère que si vous voulez un système de prévision auquel les gens peuvent faire confiance, vous ne devez pas seulement lui demander d'être précis. Vous devez lui apprendre à être cohérent, mais vous devez lui permettre d'apprendre cette leçon au bon moment. En utilisant ces méthodes dynamiques, nous pouvons obtenir des prévisions qui sont non seulement justes, mais aussi fiables, épargnant aux entreprises et aux planificateurs le casse-tête des chiffres qui changent constamment.