Physically-Informed Fuzzy Clustering of Vertical Sounding Ionograms

想象地球的高层大气——电离层，就像一面悬浮在我们头顶上方巨大而不可见的镜子。科学家使用一种名为“电离层测高仪”的设备，用无线电波向这面镜子“发射”信号。其结果会生成一张称为电离层图的图像。

可以将电离层图想象成海底地形的声纳图，只不过它显示的并非水深，而是无线电波反弹回来的高度。在一个完美且平静的世界里，这张图会显示出几条清晰、平滑的线条（轨迹），代表大气中的不同层次。

然而，现实世界是混乱的。电离层常常处于湍流状态，受太阳风暴或天气影响，在图上形成一片混乱的“雾状”散点。有些散点是真实的信号，从不同层次反弹而来；有些是同一层次多次反弹的信号；而许多则仅仅是随机的静电干扰（噪声）。

问题所在：
传统上，计算机试图用僵硬的规则来解读这些地图，假设层次数量是固定的（例如“总是有三个层次”）。但当电离层变得混乱时，这些规则就会失效。计算机陷入困惑，无法分辨一个信号何时结束、另一个何时开始，也无法确定实际存在多少个层次。

解决方案：一种“智能侦探”方法
本文作者提出了一种新方法，称为物理信息模糊聚类。以下是其工作原理，使用简单的类比说明：

1. 清理混乱（噪声过滤）

在尝试寻找线条之前，计算机首先扮演清洁工的角色。它观察地图上散乱的点。

类比： 想象一个挤满人的房间。有些人紧密地站在一起（真实信号），而其他人则独自徘徊，或仅以随机的小对形式出现（噪声）。
方法： 计算机使用一种称为DBSCAN的技术（一种智能的“人群识别”方法），并结合一种统计推测器（高斯混合模型）。它自动判断：“这些点相距太远，无法构成一个群体；它们只是噪声。让我们把它们剔除。”这样便只留下密集且有意义的聚类。

2. “灵活蛇形”模型（轨迹形状）

一旦噪声被清除，计算机便尝试在剩余的点之间拟合一条线。但它不使用直尺或简单的曲线。

类比： 想象试图追踪一条可以拉伸、收缩和弯曲的蛇的行进路径。计算机使用一种基于大气物理行为（具体而言，即其表现为抛物线层）的数学“蛇”模型。
转折： 这条“蛇”拥有六个可调节的旋钮（参数）。其中三个是标准的（如蛇的高度和宽度），另外三个是特殊的“辅助”旋钮。这些辅助旋钮允许蛇进行扭动，以应对奇怪的现象，例如信号在击中更高层之前先从较低层反弹。这使得模型足以处理混乱的现实世界数据。

3. “猜测与检查”游戏（模糊聚类）

计算机并不知道地图上有多少条蛇（轨迹）。它必须自行推断。

类比： 想象你正在查看一堆混杂的彩色毛线球。你不知道这堆毛线里有多少个球。你首先猜测有 2 个球，尝试整理毛线。然后猜测 3 个，接着 4 个，依此类推。
方法： 计算机运行一个“试错”循环（称为期望最大化算法）。它尝试不同数量的轨迹。对于每一次猜测，它都会问：“这个数量的轨迹是否比上一次猜测更好地解释了这些点？”
“模糊”部分： 与旧方法强制一个点只能属于一条线不同，这种方法具有“模糊性”。它允许一个点以一定的概率同时属于两条线。这一点至关重要，因为在真实的电离层中，信号经常交叉或重叠。计算机会说：“这个点有 60% 的可能性属于线 A，40% 的可能性属于线 B"，这有助于理清混乱。

4. 寻找“金发姑娘”数量

计算机如何知道何时停止猜测？

类比： 想象你在收拾行李箱。如果装得太少，你会遗漏物品；如果装得太多，你会留下空余空间并浪费精力。你需要恰到好处的数量。
方法： 计算机使用一个名为**贝叶斯信息准则（BIC）**的数学规则。它就像一张记分卡，会对计算机过于复杂（猜测了太多轨迹）或过于简单（遗漏了轨迹）的情况进行惩罚。计算机不断增加轨迹数量，直到找到那个“金发姑娘”数量——即完美拟合数据且不过度复杂的数量。

5. 结果

最终输出一张清晰的地图，其中混乱的散点被整理成 distinct（distinct 意为 distinct，此处指 distinct 的）的、着色的轨迹。

成效： 它能够分离接触或交叉的信号。它能够区分一次反弹的信号和两次反弹的信号。即使层次数量未知，它也能发挥作用。
速度： 在标准计算机上处理一张地图大约需要 3.7 分钟，这足以满足实时监测的需求。

局限性（论文承认的内容）

单向视角： 该方法目前仅在只观察一种无线电波（“寻常波”）时效果最佳。如果试图在不使用特殊硬件分离的情况下混入另一种类型（“非常波”），计算机就会感到困惑。
随机性： 由于计算机使用涉及一定随机性的“猜测与检查”方法，对同一数据运行两次可能会产生略微不同的结果，尽管它们会非常相似。
形状限制： 该方法假设大气层看起来像平滑的弯曲山丘（抛物线）。如果大气层的形状违背了这一模型，该方法可能会遇到困难。

总结：
本文提出了一种智能、灵活的计算机程序，它像一名侦探。它清理静电干扰，利用灵活的“蛇形”模型追踪无线电波的路径，并自动推断出大气中存在多少个层次，即使天空混乱且信号相互交叉。

以下是 Oleg I. Berngardt 和 Sergey N. Ponomarchuk 所著论文《垂直探测电离层图的物理信息模糊聚类》的详细技术总结。

1. 问题陈述

垂直探测电离层图的自动处理是地基电离层诊断中的关键挑战。传统方法通常依赖于简化的假设：

固定模型： 它们假设电离层是由固定层数（例如，简单的 F 层模型）描述的 1.5D 非均匀介质。
复杂性受限： 它们难以应对受扰动的电离层条件，在这些条件下，多重反射、偶发 E 层（Es）、水平不均匀性以及相交轨迹会形成复杂的图案，无法映射到简单的 $f \to r_o, r_x$ 函数。
轨迹数量未知： 现有算法通常要求预先知道轨迹的数量，而在受扰动条件下，这很少是已知情况。
噪声与伪影： 电离层图包含噪声、干扰以及重叠的寻常波（O）和非寻常波（X）分量，这使自动分离变得复杂。

本文旨在解决对一种算法的需求，该算法能够自动检测未知数量的物理可解释轨迹，分离相交或接触的轨迹，并在无需预先知道轨迹数量的情况下处理复杂、受扰动的电离层条件。

2. 方法论

提出的解决方案是一个基于期望最大化（EM）算法的物理信息模糊聚类框架。该方法论包含四个主要阶段：

A. 自适应噪声滤波

在聚类之前，算法会去除噪声和干扰：

预处理： 通过块处理去除集中干扰；通过阈值处理去除低强度噪声。
DBSCAN + 高斯混合（GM）： 算法使用 DBSCAN 基于点密度识别簇。为了优化 DBSCAN 超参数 $\epsilon$ （距离阈值），它在到 10 个最近邻的距离分布上采用高斯混合模型。这在统计上分离了“信号”（密集簇）和“噪声”（孤立点）。
X 分量去除： 由于模型专注于寻常（O）模式，一个初步启发式方法会去除可能属于非寻常（X）模式的点，以防止聚类伪影。

B. 物理信息轨迹模型

该方法的核心是一个源自抛物线电离层模型但经过扩展以增加灵活性的电离层图轨迹参数模型。

基础模型： 标准抛物线层模型描述了频率（ $f$ ）与有效距离（ $R$ ）之间的关系。
扩展的 6 参数模型： 为了处理底层和复杂形状，模型扩展为六个参数：
1. $h_1$ ：层的下边界。
2. $y_m$ ：层的半宽。
3. $f_0$ ：临界频率（最大等离子体频率）。
4. $A, B, C$ ：额外参数，用于解释底层效应、低频轨迹偏移以及峰值附近对完美抛物线的偏离。
优化： 单条轨迹的参数使用**序列最小二乘二次规划（SLSQP）**算法找到，该算法最小化加权平均绝对误差（WMAE）损失函数。选择 SLSQP 是因为与其他优化器（如 Trust-constr, COBYQA）相比，它具有更优的速度与精度比。

C. 通过 EM 算法进行模糊聚类

聚类过程将电离层图视为分布的混合，其中每个分布对应一个轨迹模型。

E 步（期望）： 计算每个点属于每条轨迹的概率。与标准 EM 不同，该概率基于点与参数曲线的欧几里得距离（由标准差归一化），假设服从半正态分布。
- 模糊逻辑： 算法使用概率 Top-2 采样。与其将点分配给最可能的单条轨迹，不如允许点属于多条轨迹（最多两条），这对于处理相交或接触轨迹至关重要。
- 均匀性惩罚： 引入一个因子来惩罚点分布不均匀的轨迹，从而改善有效轨迹与噪声的分离。
M 步（最大化）： 使用 SLSQP 算法更新分配给该轨迹的点的轨迹参数（ $\theta_m$ ）和标准差（ $\sigma_m$ ）。
平滑： 在迭代之间对参数应用指数平滑以稳定收敛。

D. 最优轨迹数量选择

该算法不假设固定的轨迹数量（ $T$ ）。相反，它搜索最优的 $T_{opt}$ ：

迭代搜索： 算法对 $T$ 从 2 到最大值（例如 28）运行 EM 过程。
修正的 BIC： 它使用**修正的贝叶斯信息准则（BIC）**来选择最佳 $T$ 。惩罚项经过调整，以严重惩罚导致空簇的模型，从而防止过拟合。
停止准则： 当 BIC 值连续 10 次迭代增加时，搜索停止（早期停止）。

3. 主要贡献

物理信息模糊聚类： 一种新颖的方法，将物理电离层模型与模糊聚类相结合，允许分离相交和接触轨迹，而无需它们互不相交。
自动轨迹数量确定： 该方法利用统计标准（BIC）自主确定最佳轨迹数量，使其适用于轨迹数量未知的极高扰动电离层条件。
鲁棒的噪声处理： 一种混合 DBSCAN-高斯混合方法用于自适应噪声滤波，能有效区分电离层信号和随机噪声。
扩展参数模型： 一个 6 参数轨迹模型，考虑了底层和复杂形状，比传统的 3 参数抛物线模型提供了更大的灵活性。
Top-2 采样策略： 一种概率分配机制，允许单个数据点贡献于多条轨迹，有效解决重叠区域的歧义。

4. 结果与性能

准确性： 该方法成功分离了包含多重反射、偶发 E 层和水平不均匀性的复杂电离层图。在轨迹相交的情况下，其性能优于非物理聚类方法（如标准 GMsDB）。
速度： 在 32 核处理器上，平均处理时间为每张电离层图 3.7 分钟。该算法通常在 66 次 EM 迭代内收敛。
可扩展性： 执行时间随簇的数量线性扩展，随 $T$ 的最大搜索范围二次扩展。作者建议将搜索范围（ $T \le 18$ ）和迭代次数（约 55 次）限制在实时应用中。
局限性：
- 该方法目前仅处理O 分量；X 分量去除是启发式的，如果分离不完美，可能会引入伪影。
- 它依赖于轨迹可以用特定 6 参数模型近似这一假设；极其复杂或非抛物线结构可能需要进一步的模型细化。
- EM 算法的随机性质可能导致相同输入的结果出现轻微差异。

5. 意义

本文通过超越简单的固定参数模型，在电离层诊断方面取得了重大进展。

扰动电离层分析： 它实现了对受扰动条件下（例如地磁暴期间）电离层图的自动分析，在这些条件下，由于轨迹结构的复杂性和不可预测性，传统方法往往会失效。
数据驱动的洞察： 通过自动分离轨迹，该方法允许对层特征（例如偶发 E 频率、F 层跳数）进行统计分析，而无需人工干预。
反演的基础： 分离后的轨迹为后续的电子密度剖面反演算法提供了稳健的输入，可能允许重建以前无法解释的复杂多层电离层中的剖面。

总之，所提出的算法弥合了物理建模与数据驱动聚类之间的差距，为现代电离层研究提供了一种稳健、自适应的工具。