Discrete Chi-Square Method can model and forecast complex time series, like El Nino data between 1870 and 2024

Cet article présente la méthode du Chi-carré discret (DCM), une approche robuste fondée sur les moindres carrés et le théorème de Gauss-Markov qui, grâce à l'effet de dimension de fenêtre, permet de modéliser et de prévoir avec succès des séries temporelles complexes comme les données d'El Niño de 1870 à 2024, surpassant ainsi les limitations des transformées de Fourier discrètes.

L'essentiel

🌊 Le "Super-Radar" qui voit à travers le temps : La méthode DCM

Imaginez que l'histoire du climat, et en particulier les phénomènes comme El Niño (ces grosses vagues de chaleur dans le Pacifique qui perturbent la météo mondiale), soit comme une symphonie chaotique.

Pendant des décennies, les scientifiques ont essayé d'écouter cette symphonie avec des écouteurs de mauvaise qualité. Ils entendaient du bruit, des mélodies qui se mélangeaient, et ils ne pouvaient pas prédire la suite de la musique. C'est là qu'intervient Lauri Jetsu, un chercheur finlandais, avec une nouvelle méthode qu'il appelle la Méthode du Chi-carré Discret (DCM).

Voici comment cela fonctionne, en utilisant quelques images simples :

1. Le problème : Les lunettes brouillées (La méthode DFT)

Jusqu'à présent, la plupart des scientifiques utilisaient une technique appelée Transformée de Fourier (DFT).

• L'analogie : Imaginez que vous essayez de reconnaître les instruments d'un orchestre en regardant seulement une seule note à la fois, ou en essayant de deviner la mélodie en regardant une photo floue d'une seule seconde.
• Le problème : Si la musique est complexe (plusieurs instruments qui jouent en même temps) ou si le temps d'écoute est trop court, cette méthode se trompe. Elle confond les instruments, rate les rythmes lents et ne peut pas prédire la suite de la chanson. C'est comme essayer de deviner la fin d'un film en regardant seulement une image fixe.

2. La solution : Le "Super-Radar" (La méthode DCM)

La méthode DCM de l'auteur est différente. Au lieu de chercher une seule note, elle teste des milliards de combinaisons possibles pour voir ce qui correspond le mieux aux données.

• L'analogie : Imaginez que vous avez un miroir magique capable de voir à travers le brouillard. Peu importe si vous avez seulement 10 secondes de données (un échantillon court) ou si le signal est très faible (bruité), ce miroir peut reconstruire l'image complète.
• Le secret : Cette méthode utilise une vieille idée mathématique (les "moindres carrés", inventée par Gauss il y a 200 ans) mais la pousse à l'extrême. Elle teste des millions de modèles mathématiques pour trouver celui qui colle parfaitement aux données, comme un puzzle qui s'assemble tout seul.

3. L'effet "WD" : La puissance de la précision

L'auteur parle d'un "Effet Dimension Fenêtre" (WD-effect).

• L'analogie : D'habitude, on pense qu'il faut un long film pour comprendre l'histoire. Mais avec ce nouveau radar, si l'image est très nette (données précises) et qu'il y a beaucoup de pixels (beaucoup de données), on peut deviner toute l'histoire même en regardant seulement une seule photo.
• Plus les données sont précises, plus la méthode voit loin dans le passé et dans le futur, même si la période du phénomène (le cycle d'El Niño) est plus longue que la période d'observation.

4. Le test ultime : La prédiction d'El Niño

Pour prouver que son outil fonctionne, l'auteur l'a appliqué aux données d'El Niño depuis 1870.

• Le résultat : Il a réussi à identifier des cycles cachés (des "vagues géantes" ou "Big Waves") qui se répètent tous les 5, 12 et 21 ans environ.
• La prédiction : En utilisant seulement la première moitié des données (jusqu'en 2024), la méthode a prédit avec succès ce qui allait se passer en 2025.
  • Le détail amusant : L'auteur a ajouté une note à la fin du papier. Il dit : "Attendez, j'ai vérifié les données de 2025 qui viennent d'arriver, et ma prédiction était juste !" C'est comme si un devin avait prédit la météo de demain, et qu'il avait raison.

5. Pourquoi c'est important ?

El Niño coûte des milliers de milliards de dollars à l'économie mondiale chaque fois qu'il frappe.

• L'enjeu : Si nous pouvons prédire ces événements avec précision un an à l'avance, nous pouvons sauver des récoltes, éviter des inondations et économiser une fortune.
• La conclusion de l'auteur : Les modèles physiques actuels (qui essaient de simuler la physique de l'océan et de l'atmosphère) échouent souvent après 18 mois. La méthode mathématique DCM, elle, semble voir plus loin, comme si elle avait trouvé le "code source" caché de la nature.

En résumé

Ce papier dit essentiellement : "Arrêtez d'essayer de deviner la météo avec des lunettes de soleil. Utilisez ce nouveau radar mathématique qui, grâce à la puissance de calcul et à la précision des données, peut voir les cycles cachés du climat et prédire l'avenir avec une précision surprenante."

C'est une révolution qui suggère que parfois, les mathématiques pures peuvent voir plus loin que les modèles physiques complexes, un peu comme un détective qui résout un crime en trouvant le motif parfait dans le chaos, là où d'autres ne voient que du désordre.

Résumé technique

Voici un résumé technique détaillé de l'article de Lauri Jetsu, intitulé « Discrete Chi-Square Method can model and forecast complex time series, like El Nino data between 1870 and 2024 ».

1. Problématique

La prévision de l'évolution de systèmes complexes, tels que le phénomène El Niño, représente l'un des plus grands défis de la science moderne. Les méthodes d'analyse de séries temporelles existantes, notamment la Transformée de Fourier Discrète (DFT) et d'autres méthodes paramétriques dans le domaine fréquentiel, présentent des limitations majeures lorsqu'elles sont appliquées à des données non stationnaires, non linéaires ou lorsque la fenêtre d'échantillonnage ($\Delta T$) est plus courte que la période du signal. Ces limitations incluent :

• L'incapacité à traiter correctement les tendances inconnues.
• La sensibilité au « fuites spectrales » (spectral leakage) qui réduit la résolution fréquentielle.
• La nécessité de données équidistantes.
• L'échec à détecter des signaux non sinusoïdaux purs ou multiples superposés.
• La nature « mal posée » (ill-posed) des solutions analytiques pour les modèles non linéaires.

L'auteur postule que ces échecs empêchent une prévision fiable à long terme de phénomènes climatiques comme El Niño.

2. Méthodologie : La Méthode du Chi-Carré Discrète (DCM)

L'article propose une nouvelle approche basée sur la Méthode du Chi-Carré Discrète (DCM), qui repose sur le théorème de Gauss-Markov (les moindres carrés sont les meilleurs estimateurs sans biais pour les modèles linéaires).

Fonctionnement du modèle :
Le modèle DCM ($g(t)$) est la somme d'une fonction périodique $h(t)$ (représentant les signaux) et d'une fonction apériodique $p(t)$ (représentant la tendance) :
$$g(t) = h(t) + p(t)$$

• Signaux ($h(t)$) : Modélisés comme une somme de $K_1$ signaux, chacun pouvant être une onde pure ($K_2=1$) ou une onde double/plus complexe ($K_2 > 1$). Les paramètres libres incluent les fréquences ($f_i$), les amplitudes et les phases.
• Tendance ($p(t)$) : Modélisée par un polynôme d'ordre $K_3$ (constante, linéaire, parabolique, etc.).

Algorithme et résolution :

1. Recherche de fréquences : Le DCM effectue un nombre massif d'ajustements par moindres carrés (LS) sur une grille de fréquences testées. Contrairement à la DFT qui cherche une seule fréquence, le DCM teste toutes les combinaisons possibles de fréquences.
2. Linéarisation : Bien que le modèle global soit non linéaire (à cause des fréquences dans les arguments trigonométriques), pour des fréquences fixées, le modèle devient linéaire par rapport aux autres paramètres (amplitudes, coefficients de tendance). Cela permet d'obtenir une solution unique et stable pour les paramètres linéaires.
3. Optimisation : L'algorithme identifie la combinaison de fréquences qui minimise le Chi-carré ($\chi^2$) ou la somme des résidus carrés ($R$).
4. Estimation des erreurs : Pour contourner la difficulté analytique de l'estimation des erreurs sur les paramètres non linéaires, l'auteur utilise une technique de bootstrap computationnel. Cela génère des distributions de probabilité pour les paramètres et les erreurs de prévision.
5. Sélection de modèle : Le test de Fisher est utilisé pour comparer des modèles imbriqués (par exemple, 1 signal vs 2 signaux) et déterminer le nombre optimal de signaux et l'ordre de la tendance, évitant ainsi le surajustement (overfitting).
6. Test de prévision (Forecast-test) : Une partie des données est utilisée pour l'ajustement, et l'autre pour valider la capacité du modèle à prédire l'avenir. Un modèle est considéré comme correct s'il passe ce test.

L'Effet Dimension de Fenêtre (WD-effect) :
C'est la contribution théorique centrale. L'auteur démontre que pour n'importe quelle fenêtre d'échantillonnage $\Delta T$ (même très courte), le DCM détecte inévitablement les signaux et tendances corrects si la taille de l'échantillon ($n$) et/ou la précision des données ($\sigma$) augmentent. Cela rend la longueur de la fenêtre d'échantillonnage secondaire par rapport à la qualité et à la quantité des données.

3. Résultats Principaux

A. Validation sur des séries temporelles simulées :
L'auteur a testé le DCM contre la DFT sur sept modèles simulés de complexité croissante (signaux multiples, tendances polynomiales, signaux non sinusoïdaux, fenêtres plus courtes que les périodes).

• Résultat : Le DCM a réussi à détecter les signaux et tendances exacts dans tous les cas, même lorsque la fenêtre était plus courte que la période du signal.
• Échec de la DFT : La DFT a échoué systématiquement sur tous les modèles complexes, produisant des périodes erronées, des tendances incorrectes et des résidus non stationnaires, en raison des limitations listées (fuites spectrales, non-stationnarité, etc.).

B. Application aux données El Niño (1870-2024) :
L'analyse a été appliquée aux anomalies de température de surface de la mer (SST) du secteur Nino 4 (données NOAA).

• Détection de signaux : Le DCM a identifié trois signaux périodiques majeurs (« Big Wave ») superposés à une tendance linéaire de réchauffement :
  • $P_1 \approx 5.66$ ans
  • $P_2 \approx 12.78$ ans (proche du cycle solaire de Schwabe)
  • $P_3 \approx 21.3$ ans (proche du cycle solaire de Hale)
• Prévision : Le modèle a été utilisé pour prédiser les valeurs de 2025 à 2036.
  • La prévision pour l'année 2025 a été validée rétrospectivement (les données partielles de 2025 correspondaient à la prévision).
  • Le modèle prédit un événement El Niño extrême entre 2030 et 2032.
• Interprétation physique : L'auteur suggère que ces périodicités strictes ne peuvent pas être expliquées par la dynamique interne chaotique du climat, mais pointent vers une origine externe, probablement liée à l'activité solaire modulée par les planètes (hypothèse controversée mais présentée comme la seule explication possible pour des signaux aussi réguliers).

4. Contributions Clés

1. Résolution d'un problème mal posé : Transformation d'un problème d'estimation de paramètres non linéaires (généralement mal posé) en un problème bien posé via une approche computationnelle massive (brute force) et le bootstrap.
2. Supériorité sur la DFT : Démonstration que le DCM surpasse la DFT en présence de tendances, de signaux multiples proches, de formes d'ondes non sinusoïdales et de fenêtres d'échantillonnage courtes.
3. L'Effet WD (Window Dimension) : Établissement théorique et pratique que la précision des données et le nombre d'observations peuvent compenser une fenêtre temporelle courte, permettant de « voir à travers le temps » (prévoir le futur et le passé) avec des données limitées en durée mais de haute qualité.
4. Prévision El Niño : Fourniture d'un modèle prédictif pour El Niño sur une décennie, avec une validation immédiate sur l'année 2025, suggérant une rupture avec les modèles physiques actuels qui échouent souvent au-delà de 1,5 an.

5. Signification et Implications

• Scientifique : L'article remet en question la validité des méthodes spectrales traditionnelles pour les systèmes complexes non linéaires. Il propose que la détection de signaux périodiques stricts dans le climat pourrait être la clé pour comprendre les forçages externes (solaires/planétaires) sur le climat terrestre.
• Économique : Une prévision précise d'El Niño à un an d'échéance pourrait sauver des milliers de milliards de dollars en réduisant les pertes de productivité liées aux catastrophes climatiques.
• Méthodologique : La DCM offre un cadre robuste pour l'analyse de séries temporelles dans divers domaines (astronomie, climatologie, économie) où les données sont irrégulières, bruitées et non stationnaires.

En conclusion, l'auteur présente le DCM comme une méthode révolutionnaire capable de modéliser et de prévoir l'évolution de systèmes complexes là où les méthodes classiques échouent, ouvrant la voie à une nouvelle compréhension des cycles climatiques et solaires.