Physically-Informed Fuzzy Clustering of Vertical Sounding Ionograms

Dieser Beitrag stellt eine physikalisch informierte Fuzzy-Clustering-Methode vor, die einen Expectation-Maximization-Algorithmus und ein modifiziertes Bayessches Informationskriterium verwendet, um automatisch die optimale Anzahl von Spuren zu bestimmen und vertikale Ionogramme auch unter gestörten ionosphärischen Bedingungen zu trennen, indem adaptive Rauschfilterung und die Entfernung des außerordentlichen Modus integriert werden.

Das Wesentliche

Stellen Sie sich die obere Atmosphäre der Erde, die Ionosphäre, als einen riesigen, unsichtbaren Spiegel vor, der hoch über uns schwebt. Wissenschaftler nutzen ein Gerät namens Ionosonde, um diesen Spiegel mit Radiowellen zu „pingen". Das Ergebnis ist ein Bild, das als Ionogramm bezeichnet wird.

Denken Sie an ein Ionogramm wie an ein Sonarkarte des Meeresbodens, nur dass es statt der Wassertiefe anzeigt, wie hoch Radiowellen zurückgeworfen werden. In einer perfekten, ruhigen Welt würde diese Karte ein paar saubere, glatte Linien (Spuren) zeigen, die verschiedene Schichten der Atmosphäre repräsentieren.

Die reale Welt ist jedoch chaotisch. Die Ionosphäre ist oft turbulent, gestört durch Sonnenstürme oder Wetter, was auf der Karte ein chaotisches „Nebel" aus Punkten erzeugt. Manche Punkte sind echte Signale, die von verschiedenen Schichten zurückgeworfen werden, manche sind Signale, die mehrmals von derselben Schicht zurückgeworfen werden, und viele sind einfach nur zufälliges Rauschen (Störgeräusche).

Das Problem:
Traditionell versuchten Computer, diese Karten mit starren Regeln zu lesen, wobei sie davon ausgingen, dass es immer eine feste Anzahl von Schichten gibt (wie „es gibt immer drei Schichten"). Doch wenn die Ionosphäre chaotisch wird, brechen diese Regeln zusammen. Der Computer gerät in Verwirrung und kann nicht unterscheiden, wo ein Signal endet und ein anderes beginnt, oder wie viele Schichten tatsächlich vorhanden sind.

Die Lösung: Ein „schlauer Detektiv"-Ansatz
Die Autoren dieses Papiers entwickelten eine neue Methode namens Physically-Informed Fuzzy Clustering (Physikalisch informierte unscharfe Clusterbildung). So funktioniert sie, unter Verwendung einfacher Analogien:

1. Aufräumen des Chaos (Rauschfilterung)

Bevor versucht wird, die Linien zu finden, agiert der Computer zunächst wie ein Hausmeister. Er betrachtet die verstreuten Punkte auf der Karte.

• Die Analogie: Stellen Sie sich einen Raum voller Menschen vor. Manche stehen in engen Gruppen (die echten Signale), andere wandern allein oder in winzigen, zufälligen Paaren umher (Rauschen).
• Die Methode: Der Computer verwendet eine Technik namens DBSCAN (eine intelligente Methode zum Erkennen von Menschenmengen) in Kombination mit einem statistischen Schätzer (Gaussian Mixture). Er entscheidet automatisch: „Diese Punkte sind zu weit voneinander entfernt, um eine Gruppe zu bilden; sie sind nur Rauschen. Werfen wir sie weg." Übrig bleiben nur die dichten, aussagekräftigen Cluster.

2. Das „flexible Schlange"-Modell (Die Spurform)

Sobald das Rauschen entfernt ist, versucht der Computer, eine Linie durch die verbleibenden Punkte zu ziehen. Aber er verwendet weder ein gerades Lineal noch eine einfache Kurve.

• Die Analogie: Stellen Sie sich vor, Sie versuchen, den Pfad einer Schlange nachzuzeichnen, die sich strecken, zusammenziehen und biegen kann. Der Computer verwendet ein mathematisches „Schlangen"-Modell, das auf dem physikalischen Verhalten der Atmosphäre basiert (insbesondere darauf, wie sie sich wie eine parabolische Schicht verhält).
• Die Wendung: Diese Schlange verfügt über sechs einstellbare Regler (Parameter). Drei sind Standard (wie die Höhe und Breite der Schlange), und drei sind spezielle „Helfer"-Regler. Diese Helfer ermöglichen es der Schlange, zu wackeln und seltsame Effekte zu berücksichtigen, wie etwa ein Signal, das von einer unteren Schicht zurückgeworfen wird, bevor es eine höhere Schicht trifft. Dies macht das Modell flexibel genug, um die chaotischen, realen Daten zu bewältigen.

3. Das „Raten und Prüfen"-Spiel (Fuzzy Clustering)

Der Computer weiß nicht, wie viele Schlangen (Spuren) auf der Karte sind. Er muss das herausfinden.

• Die Analogie: Stellen Sie sich vor, Sie schauen auf einen Haufen durcheinandergeratener, farbiger Garnbündel. Sie wissen nicht, wie viele Garnknäuel in dem Haufen sind. Sie beginnen mit der Vermutung, es seien 2 Knäuel. Sie versuchen, das Garn zu sortieren. Dann raten Sie 3, dann 4 und so weiter.
• Die Methode: Der Computer führt eine „Versuch-und-Irrtum"-Schleife durch (genannt Expectation-Maximization-Algorithmus). Er probiert verschiedene Anzahlen von Spuren aus. Bei jedem Raten fragt er: „Erklärt diese Anzahl von Spuren die Punkte besser als die letzte Vermutung?"
• Der „unscharfe" Teil: Im Gegensatz zu alten Methoden, die einen Punkt zwangen, zu nur einer Linie zu gehören, ist diese Methode „unscharf". Sie erlaubt einem Punkt, mit einer bestimmten Wahrscheinlichkeit zu zwei Linien gleichzeitig zu gehören. Dies ist entscheidend, weil sich Signale in der realen Ionosphäre oft kreuzen oder überlappen. Der Computer sagt: „Dieser Punkt hat zu 60 % die Wahrscheinlichkeit, Linie A zu sein, und zu 40 % die Wahrscheinlichkeit, Linie B zu sein", was hilft, das Chaos zu entwirren.

4. Die „Goldlöckchen"-Anzahl finden

Wie weiß der Computer, wann er aufhören soll zu raten?

• Die Analogie: Stellen Sie sich vor, Sie packen einen Koffer. Wenn Sie zu wenig packen, verpassen Sie Dinge. Wenn Sie zu viel packen, haben Sie leeren Raum und verschwenden Aufwand. Sie wollen die perfekte Menge.
• Die Methode: Der Computer verwendet eine mathematische Regel namens Bayesian Information Criterion (BIC). Es ist wie ein Punktekatalog, der den Computer bestraft, wenn er zu kompliziert ist (zu viele Spuren rät) oder zu einfach (Spuren verpasst). Der Computer erhöht die Anzahl der Spuren weiter, bis er die „Goldlöckchen"-Zahl findet – diejenige, die perfekt zu den Daten passt, ohne unnötig komplex zu sein.

5. Das Ergebnis

Die endgültige Ausgabe ist eine saubere Karte, auf der die chaotischen Punkte in distincte, farbige Spuren organisiert sind.

• Was es erreicht: Es kann Signale trennen, die sich berühren oder kreuzen. Es kann den Unterschied zwischen einem Signal, das einmal zurückgeworfen wird, und einem, das zweimal zurückgeworfen wird, erkennen. Es funktioniert sogar dann, wenn die Anzahl der Schichten unbekannt ist.
• Geschwindigkeit: Es dauert etwa 3,7 Minuten, um eine Karte auf einem Standardcomputer zu verarbeiten, was schnell genug für die Echtzeitüberwachung ist.

Einschränkungen (Was das Papier zugibt)

• Einseitige Sicht: Die Methode funktioniert derzeit am besten, wenn Sie nur eine Art von Radiowelle betrachten (die „Ordinary"-Welle). Wenn Sie versuchen, die andere Art (die „Extraordinary"-Welle) ohne spezielle Hardware zur Trennung einzumischen, gerät der Computer in Verwirrung.
• Zufälligkeit: Da der Computer eine „Raten-und-Prüfen"-Methode verwendet, die einige Zufälligkeit beinhaltet, können zwei Durchläufe mit denselben Daten leicht unterschiedliche Ergebnisse liefern, obwohl diese sehr ähnlich sein werden.
• Formgrenzen: Es wird angenommen, dass die atmosphärischen Schichten einigermaßen wie glatte, gekrümmte Hügel (Parabeln) aussehen. Wenn die Atmosphäre so geformt ist, dass sie diesem Modell widerspricht, könnte die Methode Schwierigkeiten haben.

Zusammenfassung:
Dieses Papier stellt ein intelligentes, flexibles Computerprogramm vor, das wie ein Detektiv agiert. Es entfernt das Rauschen, verwendet ein flexibles „Schlangen"-Modell, um die Pfade der Radiowellen nachzuzeichnen, und ermittelt automatisch, wie viele Schichten der Atmosphäre vorhanden sind, selbst wenn der Himmel chaotisch ist und sich die Signale gegenseitig kreuzen.

Technische Zusammenfassung

1. Problemstellung

Die automatische Verarbeitung von vertikalen Sounding-Ionogrammen ist eine kritische Herausforderung in der bodengestützten ionosphärischen Diagnostik. Traditionelle Methoden stützen sich häufig auf vereinfachte Annahmen:

• Feste Modelle: Sie gehen davon aus, dass die Ionosphäre ein 1,5-dimensionales inhomogenes Medium ist, das durch eine feste Anzahl von Schichten beschrieben wird (z. B. einfache F-Schicht-Modelle).
• Begrenzte Komplexität: Sie haben Schwierigkeiten mit gestörten ionosphärischen Bedingungen, bei denen Mehrfachreflexionen, sporadische E-Schichten (Es), horizontale Inhomogenitäten und sich schneidende Spuren komplexe Muster erzeugen, die nicht auf eine einfache $f \to r_o, r_x$-Funktion abgebildet werden können.
• Unbekannte Spurenanzahl: Bestehende Algorithmen erfordern oft, dass die Anzahl der Spuren a priori bekannt ist, was unter gestörten Bedingungen selten der Fall ist.
• Rauschen und Artefakte: Ionogramme enthalten Rauschen, Interferenzen und überlappende gewöhnliche (O) und außerordentliche (X) Wellenkomponenten, die eine automatische Trennung erschweren.

Das Papier adressiert die Notwendigkeit eines Algorithmus, der automatisch eine unbekannte Anzahl physikalisch interpretierbarer Spuren detektieren, sich schneidende oder berührende Spuren trennen und komplexe, gestörte ionosphärische Bedingungen ohne vorherige Kenntnis der Spurenanzahl bewältigen kann.

2. Methodik

Die vorgeschlagene Lösung ist ein physikalisch informiertes Fuzzy-Clustering-Rahmenwerk, das auf dem Expectation-Maximization (EM)-Algorithmus basiert. Die Methodik besteht aus vier Hauptphasen:

A. Adaptive Rauschfilterung

Vor dem Clustering entfernt der Algorithmus Rauschen und Interferenzen:

• Vorverarbeitung: Konzentrierte Interferenzen werden durch Blockverarbeitung entfernt; schwaches Rauschen wird durch Schwellenwertbildung eliminiert.
• DBSCAN + Gaußsche Mischung (GM): Der Algorithmus verwendet DBSCAN, um Cluster basierend auf der Punktdichte zu identifizieren. Um den DBSCAN-Hyperparameter $\epsilon$ (Distanzschwellenwert) zu optimieren, wird ein Gaußsches Mischungsmodell auf die Verteilung der Distanzen zu den 10 nächsten Nachbarn angewendet. Dies trennt statistisch "Signal" (dichte Cluster) von "Rauschen" (isolierte Punkte).
• Entfernung der X-Komponente: Da sich das Modell auf den gewöhnlichen (O-)Modus konzentriert, entfernt eine vorläufige Heuristik Punkte, die wahrscheinlich zum außerordentlichen (X-)Modus gehören, um Clustering-Artefakte zu verhindern.

B. Physikalisch informiertes Spurenmodell

Der Kern der Methode ist ein parametrisches Modell für Ionogramm-Spuren, das von einem parabolischen Ionosphärenschichtenmodell abgeleitet, aber für mehr Flexibilität erweitert wurde.

• Basis-Modell: Ein Standard-Parabelschichtenmodell beschreibt die Beziehung zwischen Frequenz ($f$) und effektiver Reichweite ($R$).
• Erweitertes 6-Parameter-Modell: Um unterliegende Schichten und komplexe Formen zu handhaben, wird das Modell auf sechs Parameter erweitert:
  1. $h_1$: Untere Grenze der Schicht.
  2. $y_m$: Halbe Breite der Schicht.
  3. $f_0$: Kritische Frequenz (maximale Plasmafrequenz).
  4. $A, B, C$: Zusätzliche Parameter zur Berücksichtigung von Effekten unterliegender Schichten, Verschiebungen von Spuren bei niedrigen Frequenzen und Abweichungen von einer perfekten Parabel in der Nähe des Maximums.
• Optimierung: Die Parameter für eine einzelne Spur werden mit dem Sequential Least Squares Quadratic Programming (SLSQP)-Algorithmus ermittelt, der eine gewichtete Mean Absolute Error (WMAE)-Verlustfunktion minimiert. SLSQP wurde aufgrund seines überlegenen Geschwindigkeits-zu-Genauigkeits-Verhältnisses im Vergleich zu anderen Optimierern (z. B. Trust-constr, COBYQA) ausgewählt.

C. Fuzzy-Clustering via EM-Algorithmus

Der Clustering-Prozess behandelt das Ionogramm als Mischung von Verteilungen, wobei jede Verteilung einem Spurenmodell entspricht.

• E-Schritt (Expectation): Berechnet die Wahrscheinlichkeit, dass jeder Punkt zu jeder Spur gehört. Im Gegensatz zum Standard-EM basiert die Wahrscheinlichkeit auf dem euklidischen Abstand eines Punktes von der parametrischen Kurve (normalisiert durch Standardabweichungen), unter der Annahme einer halbgaußschen Verteilung.
  • Fuzzy-Logik: Der Algorithmus verwendet eine probabilistische Top-2-Auswahl. Anstatt einen Punkt der wahrscheinlichsten Spur zuzuweisen, erlaubt er, dass Punkte zu mehreren Spuren gehören (bis zu zwei), was für die Handhabung sich schneidender oder berührender Spuren entscheidend ist.
  • Uniformitätsstrafe: Ein Faktor wird eingeführt, um Spuren mit nicht-uniformen Punktverteilungen zu bestrafen, was die Trennung valider Spuren vom Rauschen verbessert.
• M-Schritt (Maximization): Aktualisiert die Spurenparameter ($\theta_m$) und Standardabweichungen ($\sigma_m$) unter Verwendung des SLSQP-Algorithmus auf den Punkten, die dieser Spur zugewiesen wurden.
• Glättung: Exponentielle Glättung wird zwischen den Iterationen auf die Parameter angewendet, um die Konvergenz zu stabilisieren.

D. Auswahl der optimalen Anzahl von Spuren

Der Algorithmus geht nicht von einer festen Anzahl von Spuren ($T$) aus. Stattdessen sucht er nach dem optimalen $T_{opt}$:

• Iterative Suche: Der Algorithmus führt den EM-Prozess für $T$ im Bereich von 2 bis zu einem Maximum (z. B. 28) aus.
• Modifiziertes BIC: Es wird ein modifiziertes Bayesian Information Criterion (BIC) verwendet, um das beste $T$ auszuwählen. Der Strafterm wird so angepasst, dass Modelle, die zu leeren Clustern führen, stark bestraft werden, um Overfitting zu verhindern.
• Stoppkriterium: Die Suche stoppt, wenn der BIC-Wert für 10 aufeinanderfolgende Iterationen ansteigt (Early Stopping).

3. Hauptbeiträge

1. Physikalisch informiertes Fuzzy-Clustering: Ein neuartiger Ansatz, der physikalische ionosphärische Modelle mit Fuzzy-Clustering kombiniert und die Trennung sich schneidender und berührender Spuren ermöglicht, ohne dass diese disjunkt sein müssen.
2. Automatische Bestimmung der Spurenanzahl: Die Methode bestimmt autonom die optimale Anzahl von Spuren unter Verwendung statistischer Kriterien (BIC), was sie für stark gestörte ionosphärische Bedingungen geeignet macht, in denen die Spurenanzahl unbekannt ist.
3. Robuste Rauschbehandlung: Ein hybrider DBSCAN-Gaußsche-Mischung-Ansatz für die adaptive Rauschfilterung, der effektiv zwischen ionosphärischen Signalen und zufälligem Rauschen unterscheidet.
4. Erweitertes parametrisches Modell: Ein 6-Parameter-Spurenmodell, das unterliegende Schichten und komplexe Formen berücksichtigt und mehr Flexibilität bietet als traditionelle 3-Parameter-Parabelmodelle.
5. Top-2-Auswahlstrategie: Ein probabilistischer Zuweisungsmechanismus, der es einem einzelnen Datenpunkt ermöglicht, zu mehreren Spuren beizutragen, und damit effektiv Mehrdeutigkeiten in überlappenden Bereichen auflöst.

4. Ergebnisse und Leistung

• Genauigkeit: Die Methode trennt erfolgreich komplexe Ionogramme, die Mehrfachreflexionen, sporadische E-Schichten und horizontale Inhomogenitäten enthalten. Sie übertrifft nicht-physikalische Clustering-Methoden (wie Standard-GM-DB) in Fällen, in denen sich Spuren schneiden.
• Geschwindigkeit: Auf einem 32-Kern-Prozessor beträgt die durchschnittliche Verarbeitungszeit 3,7 Minuten pro Ionogramm. Der Algorithmus konvergiert typischerweise innerhalb von 66 EM-Iterationen.
• Skalierbarkeit: Die Ausführungszeit skaliert linear mit der Anzahl der Cluster und quadratisch mit dem maximalen Suchbereich für $T$. Die Autoren empfehlen, den Suchbereich ($T \le 18$) und die Iterationen ($\approx 55$) für Echtzeitanwendungen zu begrenzen.
• Einschränkungen:
  • Die Methode verarbeitet derzeit nur die O-Komponente; die Entfernung der X-Komponente ist heuristisch und kann Artefakte einführen, wenn sie nicht perfekt getrennt wird.
  • Sie basiert auf der Annahme, dass Spuren durch das spezifische 6-Parameter-Modell angenähert werden können; extrem komplexe oder nicht-parabolische Strukturen erfordern möglicherweise eine weitere Modellverfeinerung.
  • Die stochastische Natur des EM-Algorithmus kann zu leichten Variationen der Ergebnisse für denselben Eingabewert führen.

5. Bedeutung

Dieses Papier stellt einen bedeutenden Fortschritt in der ionosphärischen Diagnostik dar, indem es über einfache Modelle mit festen Parametern hinausgeht.

• Analyse gestörter Ionosphären: Es ermöglicht die automatische Analyse von Ionogrammen unter gestörten Bedingungen (z. B. während geomagnetischer Stürme), bei denen traditionelle Methoden aufgrund der Komplexität und Unvorhersehbarkeit der Spurenstrukturen versagen.
• Datengetriebene Erkenntnisse: Durch die automatische Trennung von Spuren ermöglicht die Methode die statistische Analyse von Schichtcharakteristika (z. B. Frequenz sporadischer E-Schichten, F-Schicht-Hops) ohne manuelle Eingriffe.
• Grundlage für Inversion: Die getrennten Spuren bieten einen robusten Input für nachfolgende Algorithmen zur Inversion von Elektronendichteprofilen und ermöglichen potenziell die Rekonstruktion von Profilen in komplexen, mehrschichtigen Ionosphären, die zuvor nicht interpretierbar waren.

Zusammenfassend schließt der vorgeschlagene Algorithmus die Lücke zwischen physikalischer Modellierung und datengesteuertem Clustering und bietet ein robustes, adaptives Werkzeug für die moderne ionosphärische Forschung.