Physically-Informed Fuzzy Clustering of Vertical Sounding Ionograms

Ce papier présente une méthode de clustering flou informée par la physique utilisant un algorithme de maximisation de l'espérance et un critère d'information bayésien modifié pour déterminer automatiquement le nombre optimal de traces et séparer les ionogrammes de sondage vertical, même dans des conditions ionosphériques perturbées, en incorporant un filtrage adaptatif du bruit et une suppression du mode extraordinaire.

L'essentiel

Imaginez la haute atmosphère de la Terre, l'ionosphère, comme un immense miroir invisible flottant bien au-dessus de nous. Les scientifiques utilisent un appareil appelé ionosonde pour « sonder » ce miroir avec des ondes radio. Le résultat est une image appelée ionogramme.

Pensez à un ionogramme comme à une carte sonar du fond de l'océan, mais au lieu de la profondeur de l'eau, il montre à quelle hauteur les ondes radio rebondissent. Dans un monde parfait et calme, cette carte montrerait quelques lignes nettes et lisses (des pistes) représentant différentes couches de l'atmosphère.

Cependant, le monde réel est désordonné. L'ionosphère est souvent turbulente, perturbée par des tempêtes solaires ou la météo, créant un « brouillard » chaotique de points sur la carte. Certains points sont de vrais signaux rebondissant sur différentes couches, d'autres sont des signaux rebondissant plusieurs fois sur la même couche, et beaucoup ne sont que du bruit aléatoire (statique).

Le Problème :
Traditionnellement, les ordinateurs tentaient de lire ces cartes en utilisant des règles rigides, en supposant qu'il y avait toujours un nombre fixe de couches (comme « il y a toujours trois couches »). Mais lorsque l'ionosphère devient désordonnée, ces règles s'effondrent. L'ordinateur se perd, incapable de dire où un signal se termine et où un autre commence, ou combien de couches sont réellement présentes.

La Solution : Une Approche de « Détective Intelligent »
Les auteurs de cet article ont créé une nouvelle méthode appelée Clustering Flou Informé par la Physique. Voici comment cela fonctionne, en utilisant des analogies simples :

1. Nettoyer le Désordre (Filtrage du Bruit)

Avant d'essayer de trouver les lignes, l'ordinateur agit d'abord comme un agent d'entretien. Il examine les points dispersés sur la carte.

• L'Analogie : Imaginez une pièce remplie de gens. Certains sont regroupés en petits groupes serrés (les vrais signaux), tandis que d'autres errent seuls ou en paires aléatoires et minuscules (le bruit).
• La Méthode : L'ordinateur utilise une technique appelée DBSCAN (une façon intelligente de repérer les foules) combinée à un devin statistique (Mélange Gaussien). Il décide automatiquement : « Ces points sont trop éloignés pour former un groupe ; ce n'est que du bruit. Jetons-les. » Il ne reste alors que les grappes denses et significatives.

2. Le Modèle du « Serpent Flexible » (La Forme de la Piste)

Une fois le bruit éliminé, l'ordinateur tente de tracer une ligne à travers les points restants. Mais il n'utilise pas une règle droite ni une courbe simple.

• L'Analogie : Imaginez essayer de tracer le chemin d'un serpent qui peut s'étirer, se rétracter et se plier. L'ordinateur utilise un modèle mathématique de « serpent » basé sur le comportement physique de l'atmosphère (spécifiquement, son comportement comme une couche parabolique).
• La Touche : Ce serpent possède six boutons réglables (paramètres). Trois sont standards (comme la hauteur et la largeur du serpent), et trois sont des « boutons aides » spéciaux. Ces aides permettent au serpent de se tordre et de tenir compte d'effets étranges, comme un signal rebondissant sur une couche inférieure avant de frapper une couche supérieure. Cela rend le modèle suffisamment flexible pour gérer les données désordonnées du monde réel.

3. Le Jeu de « Deviner et Vérifier » (Clustering Flou)

L'ordinateur ne sait pas combien de serpents (pistes) se trouvent sur la carte. Il doit le déterminer.

• L'Analogie : Imaginez que vous regardez un tas de pelotes de laine de couleurs mélangées. Vous ne savez pas combien de pelotes il y a dans le tas. Vous commencez par deviner qu'il y a 2 pelotes. Vous essayez de trier la laine. Ensuite, vous devinez 3, puis 4, et ainsi de suite.
• La Méthode : L'ordinateur exécute une boucle de « tâtonnement » (appelée algorithme de maximisation de l'espérance). Il essaie différents nombres de pistes. Pour chaque hypothèse, il se demande : « Ce nombre de pistes explique-t-il mieux les points que la dernière hypothèse ? »
• La Partie « Floue » : Contrairement aux anciennes méthodes qui forçaient un point à appartenir à une seule ligne, cette méthode est « floue ». Elle permet à un point d'appartenir à deux lignes à la fois avec une certaine probabilité. Ceci est crucial car dans l'ionosphère réelle, les signaux se croisent ou se chevauchent souvent. L'ordinateur dit : « Ce point a 60 % de chances d'être la Ligne A et 40 % de chances d'être la Ligne B », ce qui aide à démêler le chaos.

4. Trouver le Nombre « Juste »

Comment l'ordinateur sait-il quand arrêter de deviner ?

• L'Analogie : Imaginez que vous faites vos valises. Si vous mettez trop peu, vous oubliez des choses. Si vous mettez trop, vous avez de l'espace vide et vous perdez du temps. Vous voulez la quantité parfaite.
• La Méthode : L'ordinateur utilise une règle mathématique appelée Critère d'Information de Bayes (BIC). C'est comme une fiche de notation qui pénalise l'ordinateur pour être trop compliqué (deviner trop de pistes) ou trop simple (manquer des pistes). L'ordinateur continue d'augmenter le nombre de pistes jusqu'à trouver le nombre « Juste » — celui qui correspond parfaitement aux données sans être inutilement complexe.

5. Le Résultat

La sortie finale est une carte propre où les points désordonnés sont organisés en pistes distinctes et colorées.

• Ce qu'il réalise : Il peut séparer des signaux qui se touchent ou se croisent. Il peut distinguer un signal qui rebondit une fois d'un autre qui rebondit deux fois. Il fonctionne même lorsque le nombre de couches est inconnu.
• Vitesse : Il faut environ 3,7 minutes pour traiter une carte sur un ordinateur standard, ce qui est assez rapide pour une surveillance en temps réel.

Limites (Ce que l'article admet)

• Vue unilatérale : La méthode fonctionne actuellement mieux si vous ne regardez qu'un seul type d'onde radio (l'onde « Ordinaire »). Si vous essayez de mélanger l'autre type (l'onde « Extraordinaire ») sans matériel spécial pour les séparer, l'ordinateur se perd.
• Aléatoire : Parce que l'ordinateur utilise une méthode de « deviner et vérifier » qui implique une certaine part d'aléatoire, exécuter les mêmes données deux fois peut donner des résultats légèrement différents, bien qu'ils soient très similaires.
• Limites de forme : Il suppose que les couches atmosphériques ressemblent à des collines lisses et courbes (paraboles). Si l'atmosphère est façonnée d'une manière qui défie ce modèle, la méthode pourrait avoir des difficultés.

En Résumé :
Cet article présente un programme informatique intelligent et flexible qui agit comme un détective. Il nettoie la statique, utilise un modèle de « serpent » flexible pour tracer les chemins des ondes radio, et détermine automatiquement combien de couches de l'atmosphère sont présentes, même lorsque le ciel est chaotique et que les signaux se croisent les uns les autres.

Résumé technique

1. Énoncé du problème

Le traitement automatique des ionogrammes de sondage vertical constitue un défi critique dans le diagnostic ionosphérique au sol. Les méthodes traditionnelles reposent souvent sur des hypothèses simplifiées :

• Modèles fixes : Elles supposent que l'ionosphère est un milieu inhomogène 1,5D décrit par un nombre fixe de couches (par exemple, des modèles simples de couche F).
• Complexité limitée : Elles peinent à gérer les conditions ionosphériques perturbées où les réflexions multiples, les couches E sporadiques (Es), les inhomogénéités horizontales et les trajectoires qui se croisent créent des motifs complexes impossibles à mapper sur une simple fonction $f \to r_o, r_x$.
• Nombre de trajectoires inconnu : Les algorithmes existants exigent souvent que le nombre de trajectoires soit connu a priori, ce qui est rarement le cas dans des conditions perturbées.
• Bruit et artefacts : Les ionogrammes contiennent du bruit, des interférences et des composantes d'ondes ordinaires (O) et extraordinaires (X) qui se chevauchent, compliquant la séparation automatisée.

L'article répond au besoin d'un algorithme capable de détecter automatiquement un nombre inconnu de trajectoires physiquement interprétables, de séparer les trajectoires qui se croisent ou se touchent, et de gérer des conditions ionosphériques complexes et perturbées sans connaissance préalable du nombre de trajectoires.

2. Méthodologie

La solution proposée est un cadre de regroupement flou physiquement informé basé sur l'algorithme de Maximisation de l'Espérance (EM). La méthodologie se compose de quatre étapes principales :

A. Filtrage adaptatif du bruit

Avant le regroupement, l'algorithme élimine le bruit et les interférences :

• Prétraitement : Les interférences concentrées sont éliminées par traitement par blocs ; le bruit de faible intensité est éliminé par seuillage.
• DBSCAN + Mélange Gaussien (GM) : L'algorithme utilise DBSCAN pour identifier des clusters basés sur la densité de points. Pour optimiser l'hyperparamètre $\epsilon$ (seuil de distance) de DBSCAN, il emploie un modèle de Mélange Gaussien sur la distribution des distances aux 10 voisins les plus proches. Cela sépare statistiquement le « signal » (clusters denses) du « bruit » (points isolés).
• Suppression de la composante X : Puisque le modèle se concentre sur le mode Ordinaire (O), une heuristique préliminaire élimine les points susceptibles d'appartenir au mode Extraordinaire (X) pour prévenir les artefacts de regroupement.

B. Modèle de trajectoire physiquement informé

Le cœur de la méthode est un modèle paramétrique pour les trajectoires d'ionogramme, dérivé d'un modèle de couche ionosphérique parabolique mais étendu pour plus de flexibilité.

• Modèle de base : Un modèle standard de couche parabolique décrit la relation entre la fréquence ($f$) et la portée effective ($R$).
• Modèle étendu à 6 paramètres : Pour gérer les couches sous-jacentes et les formes complexes, le modèle est étendu à six paramètres :
  1. $h_1$ : Limite inférieure de la couche.
  2. $y_m$ : Demi-largeur de la couche.
  3. $f_0$ : Fréquence critique (fréquence plasma maximale).
  4. $A, B, C$ : Paramètres supplémentaires pour tenir compte des effets de couches sous-jacentes, des décalages de trajectoires à basse fréquence et des écarts par rapport à une parabole parfaite près du pic.
• Optimisation : Les paramètres d'une seule trajectoire sont déterminés à l'aide de l'algorithme de Programmation Quadratique par Moindres Carrés Séquentiels (SLSQP), qui minimise une fonction de perte d'Erreur Absolue Moyenne Pondérée (WMAE). SLSQP a été sélectionné pour son rapport vitesse-précision supérieur par rapport à d'autres optimiseurs (par exemple, Trust-constr, COBYQA).

C. Regroupement flou via l'algorithme EM

Le processus de regroupement traite l'ionogramme comme un mélange de distributions où chaque distribution correspond à un modèle de trajectoire.

• Étape E (Espérance) : Calcule la probabilité que chaque point appartienne à chaque trajectoire. Contrairement à l'EM standard, la probabilité est basée sur la distance euclidienne d'un point par rapport à la courbe paramétrique (normalisée par les écarts-types), en supposant une distribution demi-normale.
  • Logique floue : L'algorithme utilise un échantillonnage probabiliste Top-2. Au lieu d'assigner un point à la trajectoire la plus probable unique, il permet aux points d'appartenir à plusieurs trajectoires (jusqu'à deux), ce qui est crucial pour gérer les trajectoires qui se croisent ou se touchent.
  • Pénalité d'uniformité : Un facteur est introduit pour pénaliser les trajectoires ayant des distributions de points non uniformes, améliorant ainsi la séparation des trajectoires valides du bruit.
• Étape M (Maximisation) : Met à jour les paramètres de la trajectoire ($\theta_m$) et les écarts-types ($\sigma_m$) en utilisant l'algorithme SLSQP sur les points assignés à cette trajectoire.
• Lissage : Un lissage exponentiel est appliqué aux paramètres entre les itérations pour stabiliser la convergence.

D. Sélection du nombre optimal de trajectoires

L'algorithme ne suppose pas un nombre fixe de trajectoires ($T$). Il recherche plutôt le $T_{opt}$ optimal :

• Recherche itérative : L'algorithme exécute le processus EM pour $T$ variant de 2 à un maximum (par exemple, 28).
• BIC modifié : Il utilise un Critère d'Information Bayésien (BIC) modifié pour sélectionner le meilleur $T$. Le terme de pénalité est ajusté pour pénaliser lourdement les modèles qui résultent en des clusters vides, évitant ainsi le surajustement.
• Critère d'arrêt : La recherche s'arrête lorsque la valeur BIC augmente pendant 10 itérations consécutives (Arrêt anticipé).

3. Contributions clés

1. Regroupement flou physiquement informé : Une approche novatrice qui combine des modèles ionosphériques physiques avec un regroupement flou, permettant la séparation de trajectoires qui se croisent et se touchent sans exiger qu'elles soient disjointes.
2. Détermination automatique du nombre de trajectoires : La méthode détermine de manière autonome le nombre optimal de trajectoires en utilisant des critères statistiques (BIC), la rendant adaptée aux conditions ionosphériques fortement perturbées où le nombre de trajectoires est inconnu.
3. Gestion robuste du bruit : Une approche hybride DBSCAN-Mélange Gaussien pour le filtrage adaptatif du bruit qui distingue efficacement les signaux ionosphériques du bruit aléatoire.
4. Modèle paramétrique étendu : Un modèle de trajectoire à 6 paramètres qui tient compte des couches sous-jacentes et des formes complexes, offrant plus de flexibilité que les modèles paraboliques traditionnels à 3 paramètres.
5. Stratégie d'échantillonnage Top-2 : Un mécanisme d'assignation probabiliste qui permet à un seul point de données de contribuer à plusieurs trajectoires, résolvant efficacement les ambiguïtés dans les zones de chevauchement.

4. Résultats et performances

• Précision : La méthode sépare avec succès des ionogrammes complexes contenant des réflexions multiples, des couches E sporadiques et des inhomogénéités horizontales. Elle surpasse les méthodes de regroupement non physiques (comme les GMsDB standards) dans les cas où les trajectoires se croisent.
• Vitesse : Sur un processeur 32 cœurs, le temps de traitement moyen est de 3,7 minutes par ionogramme. L'algorithme converge généralement en 66 itérations EM.
• Évolutivité : Le temps d'exécution évolue linéairement avec le nombre de clusters et quadratiquement avec la plage de recherche maximale pour $T$. Les auteurs suggèrent de limiter la plage de recherche ($T \le 18$) et les itérations ($\approx 55$) pour les applications en temps réel.
• Limitations :
  • La méthode ne traite actuellement que la composante O ; la suppression de la composante X est heuristique et peut introduire des artefacts si la séparation n'est pas parfaite.
  • Elle repose sur l'hypothèse que les trajectoires peuvent être approximées par le modèle spécifique à 6 paramètres ; des structures extrêmement complexes ou non paraboliques peuvent nécessiter un affinage supplémentaire du modèle.
  • La nature stochastique de l'algorithme EM peut entraîner de légères variations dans les résultats pour la même entrée.

5. Importance

Cet article présente une avancée significative dans le diagnostic ionosphérique en dépassant les modèles simples à paramètres fixes.

• Analyse de l'ionosphère perturbée : Elle permet l'analyse automatisée des ionogrammes dans des conditions perturbées (par exemple, lors de tempêtes géomagnétiques) où les méthodes traditionnelles échouent en raison de la complexité et de l'imprévisibilité des structures de trajectoires.
• Informations basées sur les données : En séparant automatiquement les trajectoires, la méthode permet l'analyse statistique des caractéristiques des couches (par exemple, fréquence des couches E sporadiques, sauts de couche F) sans intervention manuelle.
• Fondement pour l'inversion : Les trajectoires séparées fournissent une entrée robuste pour les algorithmes d'inversion ultérieurs du profil de densité électronique, permettant potentiellement la reconstruction de profils dans des ionosphères complexes et multicouches qui étaient auparavant ininterprétables.

En résumé, l'algorithme proposé comble le fossé entre la modélisation physique et le regroupement basé sur les données, offrant un outil robuste et adaptatif pour la recherche ionosphérique moderne.