Physically-Informed Fuzzy Clustering of Vertical Sounding Ionograms

Este artículo presenta un método de agrupamiento difuso informado físicamente que utiliza un algoritmo de maximización de expectativas y un criterio de información bayesiano modificado para determinar automáticamente el número óptimo de trazas y separar ionogramas de sondeo vertical, incluso bajo condiciones ionosféricas perturbadas, mediante la incorporación de filtrado de ruido adaptativo y eliminación del modo extraordinario.

Lo esencial

Imagine la atmósfera superior de la Tierra, la ionosfera, como un espejo gigante e invisible flotando alto sobre nosotros. Los científicos utilizan un dispositivo llamado ionosonda para "pingar" este espejo con ondas de radio. El resultado es una imagen llamada ionograma.

Piensa en un ionograma como un mapa de sonar del fondo del océano, pero en lugar de la profundidad del agua, muestra qué tan alto rebotan las ondas de radio. En un mundo perfecto y tranquilo, este mapa mostraría unas pocas líneas limpias y suaves (pistas) que representan diferentes capas de la atmósfera.

Sin embargo, el mundo real es desordenado. La ionosfera a menudo es turbulenta, perturbada por tormentas solares o el clima, creando una "niebla" caótica de puntos en el mapa. Algunos puntos son señales reales rebotando en diferentes capas, algunos son señales rebotando en la misma capa múltiples veces, y muchos son simplemente estática aleatoria (ruido).

El Problema:
Tradicionalmente, los computadoras intentaban leer estos mapas usando reglas rígidas, asumiendo que siempre había un número fijo de capas (como "siempre hay tres capas"). Pero cuando la ionosfera se ensucia, esas reglas se rompen. La computadora se confunde, incapaz de decir dónde termina una señal y comienza otra, o cuántas capas hay realmente.

La Solución: Un Enfoque de "Detective Inteligente"
Los autores de este artículo crearon un nuevo método llamado Agrupamiento Difuso Informado Físicamente. Así es como funciona, usando analogías simples:

1. Limpiar el Desorden (Filtrado de Ruido)

Antes de intentar encontrar las líneas, la computadora actúa primero como un conserje. Observa los puntos dispersos en el mapa.

• La Analogía: Imagina una habitación llena de gente. Algunos están parados en grupos apretados (las señales reales), y otros deambulan solos o en parejas pequeñas y aleatorias (ruido).
• El Método: La computadora utiliza una técnica llamada DBSCAN (una forma inteligente de detectar multitudes) combinada con un adivino estadístico (Mezcla Gaussiana). Decide automáticamente: "Estos puntos están demasiado lejos para ser un grupo; son solo ruido. Tirémoslos". Esto deja solo los grupos densos y significativos.

2. El Modelo de "Serpiente Flexible" (La Forma de la Pista)

Una vez que el ruido ha desaparecido, la computadora intenta trazar una línea a través de los puntos restantes. Pero no usa una regla recta ni una curva simple.

• La Analogía: Imagina intentar trazar el camino de una serpiente que puede estirarse, encogerse y doblarse. La computadora utiliza un modelo matemático de "serpiente" basado en cómo la atmósfera se comporta físicamente (específicamente, cómo actúa como una capa parabólica).
• El Giro: Esta serpiente tiene seis perillas ajustables (parámetros). Tres son estándar (como la altura y el ancho de la serpiente), y tres son perillas especiales de "ayuda". Estos ayudantes permiten que la serpiente se retuerza y tenga en cuenta efectos extraños, como una señal rebotando en una capa inferior antes de golpear una superior. Esto hace que el modelo lo suficientemente flexible para manejar los datos desordenados del mundo real.

3. El Juego de "Adivinar y Verificar" (Agrupamiento Difuso)

La computadora no sabe cuántas serpientes (pistas) hay en el mapa. Tiene que averiguarlo.

• La Analogía: Imagina que estás mirando un montón de ovillos de lana de colores mezclados. No sabes cuántos ovillos hay en el montón. Comienzas adivinando que hay 2 ovillos. Intentas ordenar la lana. Luego adivinas 3, luego 4, y así sucesivamente.
• El Método: La computadora ejecuta un bucle de "prueba y error" (llamado algoritmo de Maximización de Expectativa). Prueba diferentes números de pistas. Para cada suposición, pregunta: "¿Este número de pistas explica los puntos mejor que la última suposición?"
• La Parte "Difusa": A diferencia de los métodos antiguos que forzaban a un punto a pertenecer a una sola línea, este método es "difuso". Permite que un punto pertenezca a dos líneas a la vez con cierta probabilidad. Esto es crucial porque en la ionosfera real, las señales a menudo se cruzan o se superponen. La computadora dice: "Este punto tiene un 60% de probabilidad de ser la Línea A y un 40% de probabilidad de ser la Línea B", lo que ayuda a desenredar el desorden.

4. Encontrar el Número "Justo"

¿Cómo sabe la computadora cuándo dejar de adivinar?

• La Analogía: Imagina que estás empacando una maleta. Si empacas muy poco, te pierdes cosas. Si empacas demasiado, tienes espacio vacío y esfuerzo desperdiciado. Quieres la cantidad perfecta.
• El Método: La computadora utiliza una regla matemática llamada Criterio de Información Bayesiano (BIC). Es como una hoja de puntuación que penaliza a la computadora por ser demasiado complicada (adivinar demasiadas pistas) o demasiado simple (perder pistas). La computadora sigue aumentando el número de pistas hasta encontrar el número "Justo": el que se ajusta perfectamente a los datos sin ser innecesariamente complejo.

5. El Resultado

La salida final es un mapa limpio donde los puntos desordenados están organizados en pistas distintas y coloreadas.

• Lo que logra: Puede separar señales que están tocándose o cruzándose. Puede distinguir la diferencia entre una señal que rebota una vez y una que rebota dos veces. Funciona incluso cuando el número de capas es desconocido.
• Velocidad: Toma aproximadamente 3.7 minutos procesar un mapa en una computadora estándar, lo cual es lo suficientemente rápido para la monitorización en tiempo real.

Limitaciones (Lo que el artículo admite)

• Vista unilateral: El método funciona mejor actualmente si solo se observa un tipo de onda de radio (la onda "Ordinaria"). Si intentas mezclar el otro tipo (la onda "Extraordinaria") sin hardware especial para separarlos, la computadora se confunde.
• Aleatoriedad: Debido a que la computadora utiliza un método de "adivinar y verificar" que implica cierta aleatoriedad, ejecutar los mismos datos dos veces podría dar resultados ligeramente diferentes, aunque serán muy similares.
• Límites de forma: Asume que las capas atmosféricas se ven algo como colinas suaves y curvas (parábolas). Si la atmósfera tiene una forma que desafía este modelo, el método podría tener dificultades.

En Resumen:
Este artículo presenta un programa informático inteligente y flexible que actúa como un detective. Limpia la estática, utiliza un modelo de "serpiente" flexible para trazar los caminos de las ondas de radio y calcula automáticamente cuántas capas de la atmósfera están presentes, incluso cuando el cielo es caótico y las señales se cruzan entre sí.

Resumen técnico

A continuación se presenta un resumen técnico detallado del artículo "Agrupamiento difuso informado físicamente de ionogramas de sondeo vertical" de Oleg I. Berngardt y Sergey N. Ponomarchuk.

1. Planteamiento del Problema

El procesamiento automático de ionogramas de sondeo vertical es un desafío crítico en el diagnóstico ionosférico basado en tierra. Los métodos tradicionales a menudo dependen de suposiciones simplificadas:

• Modelos Fijos: Asumen que la ionosfera es un medio inhomogéneo 1.5D descrito por un número fijo de capas (por ejemplo, modelos simples de capa F).
• Complejidad Limitada: Tienen dificultades con condiciones ionosféricas perturbadas donde múltiples reflexiones, capas E esporádicas (Es), inhomogeneidades horizontales y trayectorias que se intersecan crean patrones complejos que no pueden mapearse a una simple función $f \to r_o, r_x$.
• Número Desconocido de Trayectorias: Los algoritmos existentes a menudo requieren que el número de trayectorias sea conocido a priori, lo cual rara vez es el caso en condiciones perturbadas.
• Ruido y Artefactos: Los ionogramas contienen ruido, interferencias y componentes de ondas ordinarias (O) y extraordinarias (X) superpuestas que complican la separación automatizada.

El artículo aborda la necesidad de un algoritmo que pueda detectar automáticamente un número desconocido de trayectorias interpretables físicamente, separar trayectorias que se intersecan o contactan, y manejar condiciones ionosféricas complejas y perturbadas sin conocimiento previo del número de trayectorias.

2. Metodología

La solución propuesta es un marco de Agrupamiento Difuso Informado Físicamente basado en el algoritmo de Esperanza-Maximización (EM). La metodología consta de cuatro etapas principales:

A. Filtrado Adaptativo de Ruido

Antes del agrupamiento, el algoritmo elimina el ruido y las interferencias:

• Preprocesamiento: La interferencia concentrada se elimina mediante procesamiento por bloques; el ruido de baja intensidad se elimina mediante umbralización.
• DBSCAN + Mezcla Gaussiana (GM): El algoritmo utiliza DBSCAN para identificar clústeres basados en la densidad de puntos. Para optimizar el hiperparámetro $\epsilon$ (umbral de distancia) de DBSCAN, emplea un modelo de Mezcla Gaussiana sobre la distribución de distancias a los 10 vecinos más cercanos. Esto separa estadísticamente la "señal" (clústeres densos) del "ruido" (puntos aislados).
• Eliminación del Componente X: Dado que el modelo se centra en el modo Ordinario (O), una heurística preliminar elimina puntos que probablemente pertenezcan al modo Extraordinario (X) para prevenir artefactos de agrupamiento.

B. Modelo de Trayectoria Informado Físicamente

El núcleo del método es un modelo paramétrico para trayectorias de ionogramas derivado de un modelo de capa ionosférica parabólica, pero extendido para mayor flexibilidad.

• Modelo Base: Un modelo de capa parabólica estándar describe la relación entre la frecuencia ($f$) y el rango efectivo ($R$).
• Modelo Extendido de 6 Parámetros: Para manejar capas subyacentes y formas complejas, el modelo se expande a seis parámetros:
  1. $h_1$: Límite inferior de la capa.
  2. $y_m$: Semi-ancho de la capa.
  3. $f_0$: Frecuencia crítica (frecuencia de plasma máxima).
  4. $A, B, C$: Parámetros adicionales para tener en cuenta efectos de capas subyacentes, desplazamientos de trayectorias de baja frecuencia y desviaciones de una parábola perfecta cerca del pico.
• Optimización: Los parámetros para una sola trayectoria se encuentran utilizando el algoritmo de Programación Cuadrática de Mínimos Cuadrados Secuenciales (SLSQP), que minimiza una función de pérdida de Error Absoluto Medio Ponderado (WMAE). SLSQP fue seleccionado por su superior relación velocidad-precisión en comparación con otros optimizadores (por ejemplo, Trust-constr, COBYQA).

C. Agrupamiento Difuso mediante Algoritmo EM

El proceso de agrupamiento trata el ionograma como una mezcla de distribuciones donde cada distribución corresponde a un modelo de trayectoria.

• Paso E (Esperanza): Calcula la probabilidad de que cada punto pertenezca a cada trayectoria. A diferencia del EM estándar, la probabilidad se basa en la distancia euclidiana de un punto desde la curva paramétrica (normalizada por desviaciones estándar), asumiendo una distribución seminormal.
  • Lógica Difusa: El algoritmo utiliza muestreo probabilístico Top-2. En lugar de asignar un punto a la única trayectoria más probable, permite que los puntos pertenezcan a múltiples trayectorias (hasta dos), lo cual es crucial para manejar trayectorias que se intersecan o contactan.
  • Penalización de Uniformidad: Se introduce un factor para penalizar trayectorias con distribuciones de puntos no uniformes, mejorando la separación de trayectorias válidas del ruido.
• Paso M (Maximización): Actualiza los parámetros de la trayectoria ($\theta_m$) y las desviaciones estándar ($\sigma_m$) utilizando el algoritmo SLSQP sobre los puntos asignados a esa trayectoria.
• Suavizado: Se aplica suavizado exponencial a los parámetros entre iteraciones para estabilizar la convergencia.

D. Selección del Número Óptimo de Trayectorias

El algoritmo no asume un número fijo de trayectorias ($T$). En su lugar, busca el $T_{opt}$ óptimo:

• Búsqueda Iterativa: El algoritmo ejecuta el proceso EM para $T$ que varía de 2 a un máximo (por ejemplo, 28).
• BIC Modificado: Utiliza un Criterio de Información Bayesiano (BIC) modificado para seleccionar el mejor $T$. El término de penalización se ajusta para penalizar fuertemente los modelos que resultan en clústeres vacíos, evitando el sobreajuste.
• Criterio de Parada: La búsqueda se detiene cuando el valor BIC aumenta durante 10 iteraciones consecutivas (Parada Temprana).

3. Contribuciones Clave

1. Agrupamiento Difuso Informado Físicamente: Un enfoque novedoso que combina modelos ionosféricos físicos con agrupamiento difuso, permitiendo la separación de trayectorias que se intersecan y contactan sin requerir que sean disjuntas.
2. Determinación Automática del Número de Trayectorias: El método determina autónomamente el número óptimo de trayectorias utilizando criterios estadísticos (BIC), lo que lo hace adecuado para condiciones ionosféricas altamente perturbadas donde el número de trayectorias es desconocido.
3. Manejo Robusto del Ruido: Un enfoque híbrido DBSCAN-Mezcla Gaussiana para filtrado adaptativo de ruido que distingue efectivamente entre señales ionosféricas y ruido aleatorio.
4. Modelo Paramétrico Extendido: Un modelo de trayectoria de 6 parámetros que tiene en cuenta capas subyacentes y formas complejas, ofreciendo mayor flexibilidad que los modelos parabólicos tradicionales de 3 parámetros.
5. Estrategia de Muestreo Top-2: Un mecanismo de asignación probabilística que permite que un solo punto de datos contribuya a múltiples trayectorias, resolviendo efectivamente ambigüedades en regiones superpuestas.

4. Resultados y Rendimiento

• Precisión: El método separa con éxito ionogramas complejos que contienen múltiples reflexiones, capas E esporádicas e inhomogeneidades horizontales. Supera a los métodos de agrupamiento no físicos (como GMsDB estándar) en casos donde las trayectorias se intersecan.
• Velocidad: En un procesador de 32 núcleos, el tiempo de procesamiento promedio es de 3.7 minutos por ionograma. El algoritmo converge típicamente dentro de 66 iteraciones EM.
• Escalabilidad: El tiempo de ejecución escala linealmente con el número de clústeres y cuadráticamente con el rango de búsqueda máximo para $T$. Los autores sugieren limitar el rango de búsqueda ($T \le 18$) y las iteraciones ($\approx 55$) para aplicaciones en tiempo real.
• Limitaciones:
  • El método procesa actualmente solo el componente O; la eliminación del componente X es heurística y puede introducir artefactos si no se separa perfectamente.
  • Se basa en la suposición de que las trayectorias pueden aproximarse mediante el modelo específico de 6 parámetros; estructuras extremadamente complejas o no parabólicas pueden requerir un refinamiento adicional del modelo.
  • La naturaleza estocástica del algoritmo EM puede llevar a ligeras variaciones en los resultados para la misma entrada.

5. Significado

Este artículo presenta un avance significativo en el diagnóstico ionosférico al ir más allá de modelos simples de parámetros fijos.

• Análisis de Ionosfera Perturbada: Permite el análisis automatizado de ionogramas en condiciones perturbadas (por ejemplo, durante tormentas geomagnéticas) donde los métodos tradicionales fallan debido a la complejidad e imprevisibilidad de las estructuras de trayectorias.
• Perspectivas Basadas en Datos: Al separar automáticamente las trayectorias, el método permite el análisis estadístico de las características de las capas (por ejemplo, frecuencia de E esporádica, saltos de capa F) sin intervención manual.
• Fundamento para Inversión: Las trayectorias separadas proporcionan una entrada robusta para algoritmos subsiguientes de inversión de perfiles de densidad electrónica, permitiendo potencialmente la reconstrucción de perfiles en ionosferas complejas y multicapa que anteriormente eran ininterpretables.

En resumen, el algoritmo propuesto cierra la brecha entre el modelado físico y el agrupamiento basado en datos, ofreciendo una herramienta robusta y adaptable para la investigación ionosférica moderna.