A Leakage-Controlled Time-Series Forecasting Benchmark for GOES Soft X-ray and Proton Flux

Le Soleil n'est pas une étoile stable et immuable. C'est un moteur dynamique qui entre en éruption occasionnellement, envoyant des bouffées de rayonnement et de particules de haute énergie qui se précipitent vers la Terre à la vitesse de la lumière. Lorsque ces éruptions frappent notre planète, elles peuvent perturber la technologie sur laquelle nous comptons chaque jour, des satellites guidant notre GPS aux réseaux électriques qui éclairent nos villes. Pour protéger ces systèmes, les scientifiques doivent savoir non seulement qu'une éruption arrive, mais aussi exactement comment elle va se comporter : à quelle vitesse elle va augmenter, quelle intensité elle atteindra et combien de temps elle durera. Pendant des décennies, les chercheurs ont tenté de prédire ces événements à l'aide de modèles informatiques, mais une nouvelle étude suggère que la manière dont nous avons testé ces modèles a caché une faille critique.

Une équipe de chercheurs de l'Institut de science astronomique et spatiale de Corée a construit un nouveau test plus strict pour voir si l'intelligence artificielle peut réellement prévoir l'intensité des éruptions solaires et le flux de protons énergétiques. Au lieu de simplement demander à un ordinateur de deviner si une éruption aura lieu ou non, ils lui ont demandé de prédire l'évolution continue, minute par minute, de la montée et de la descente des niveaux de rayonnement. Ils ont rassemblé des données couvrant près de trois décennies, englobant plusieurs cycles d'activité solaire, et ont soigneusement organisé les tests pour que l'ordinateur ne puisse pas accéder à des informations futures. Cette approche rigoureuse a révélé une vérité surprenante : bien que certains modèles soient excellents pour prédire le fond général et calme de l'activité solaire, ils échouent largement à prédire les pics soudains et dangereux qui posent le plus grand risque pour notre technologie.

Le cœur de ce travail est un nouveau benchmark, un test standardisé conçu pour éliminer une erreur courante appelée « fuite de données » (data leakage). Dans de nombreuses études précédentes, les chercheurs mélangeaient leurs données de manière aléatoire avant d'entraîner leurs modèles. C'est comme étudier pour un examen d'histoire en lisant les réponses avant de voir les questions. Comme l'activité solaire suit une chronologie, le mélange des données permettait aux modèles d'apprendre des schémas provenant du futur qu'ils ne pourraient jamais avoir dans un scénario réel. Ce nouveau benchmark corrige cela en divisant les données en blocs temporels stricts et non chevauchants. Les modèles sont entraînés sur des données passées et testés uniquement sur des données futures, garantissant que toute compétence démontrée est une prédiction réelle et non de la mémoire. Les chercheurs ont testé dix modèles différents de deep learning moderne contre deux cibles spécifiques : le flux de rayons X mous, qui mesure l'intensité des éruptions solaires, et le flux de protons, qui mesure le flux de particules de haute énergie pouvant endommager les engins spatiaux.

Lorsque les chercheurs ont lancé les tests, les résultats ont été un mélange de succès et de limites de découragement. Un modèle, un réseau récurrent de segmentation (segment-recurrent network), s'est avéré être le plus précis pour prédire la forme globale des courbes de rayonnement. Il produisait systématiquement les plus faibles erreurs lors de la mesure de la différence entre ses prédictions et les données réelles. Cependant, cette précision globale ne racontait que la moitié de l'histoire. Lorsque les chercheurs ont examiné spécifiquement la capacité à prédire les pics soudains et impulsifs qui définissent une éruption solaire dangereuse, le modèle le plus performant a échoué. Il est devenu tellement concentré sur l'obtention de la moyenne du fond calme qu'il a lissé les pics aigus, manquant ainsi les moments les plus critiques. En fait, pour la prédiction de ces pics soudains, le score de compétence du meilleur modèle se situait sur le « plancher de persistance » (persistence floor), ne faisant pas mieux qu'une simple supposition selon laquelle les conditions actuelles resteraient les mêmes, avec un score proche de 0,10.

Ce décalage entre la précision globale et la capacité à repérer les événements dangereux est la découverte la plus significative de l'article. Les chercheurs ont constaté que la minimisation de l'erreur moyenne encourage en réalité les modèles à ignorer les événements rares et extrêmes, car ces événements sont très peu fréquents par rapport au fond calme. Un modèle qui tente d'être parfait en moyenne tendra naturellement à prédire les parties calmes et monotones des données, laissant les pics violents sans prévision. Curieusement, ce problème n'est apparu que pour les éruptions solaires. Lors de la prédiction du flux de protons énergétiques, qui ont tendance à persister pendant plusieurs jours une fois commencés, les modèles qui étaient bons pour les calculs globaux étaient également bons pour repérer les événements. Les deux types d'activité solaire se comportent différemment : les éruptions sont soudaines et chaotiques, tandis que les flux de protons ressemblent davantage à une vague lente et déferlante, plus facile à suivre.

L'étude a également comparé ces nouveaux modèles informatiques aux prévisions opérationnelles actuelles utilisées par la National Oceanic and Atmospheric Administration. Pour les flux de protons, les nouveaux modèles se sont montrés compétitifs par rapport aux systèmes existants dirigés par l'homme. Mais pour les éruptions solaires, aucun des modèles d'intelligence artificielle n'a pu surpasser la référence de base plus sophistiquée consistant à supposer que si un événement vient de se produire, un autre suivra. Bien que le meilleur modèle ait réalisé près du double de la compétence d'une supposition triviale de « valeur constante » (qui suppose que les conditions ne changent jamais), il est resté nettement en deçà de la référence opérationnelle et de la base de persistance plus réaliste. Même les architectures de deep learning les plus avancées, qui ont révolutionné de nombreux autres domaines, n'ont pas pu percer le code de la prédiction du moment exact et de l'intensité d'une éruption plus de quelques heures à l'avance. Les chercheurs ont noté que cette difficulté pourrait ne pas être un échec des modèles informatiques eux-mêmes, mais une limite fondamentale des données ; l'apparition soudaine d'une éruption semble être intrinsèquement imprévisible à partir de l'historique du flux de rayonnement seul.

En fin de compte, ce travail sert de rappel nécessaire à la réalité pour le domaine de la prévision de la météo spatiale. Il démontre qu'un modèle peut avoir un faible taux d'erreur et rester inutile pour sa fonction prévue s'il échoue à capturer les événements extrêmes. Les chercheurs ont rendu publiques leurs données, leur code et leur cadre de test, invitant d'autres scientifiques à tenter de résoudre ce problème selon les mêmes règles strictes. En éliminant la possibilité d'accéder à des informations futures et en se concentrant sur la compétence spécifique de repérer les pics dangereux, ils ont créé une cible claire pour la prochaine génération d'outils de prévision. La voie à suivre, suggèrent-ils, pourrait nécessiter de nouveaux types de modèles spécifiquement conçus pour valoriser les moments rares et violents plutôt que la moyenne calme, ou peut-être un passage vers l'utilisation de différents types de données solaires qui pourraient détenir les clés de la prédiction de ces éruptions soudaines. D'ici là, la capacité de prévoir les tempêtes solaires les plus dangereuses reste un défi ouvert, qui exige que nous regardions au-delà des simples scores de précision pour comprendre ce que nos modèles apprennent réellement.