Onboard-Targeted Segmentation of Straylight in Space Camera Sensors

本研究提出了一种基于 DeepLabV3 与 MobileNetV3 的轻量化人工智能方法，通过利用 Flare7k++ 数据集进行预训练以解决空间数据稀缺问题，实现了对航天相机视场内太阳杂散光的高效语义分割，并设计了面向星载资源受限硬件的部署方案及系统级评估指标。

要点

这篇论文讲述了一个关于**“如何教太空相机在太空中‘戴墨镜’并自动识别干扰”**的有趣故事。

想象一下，你正在驾驶一辆自动驾驶汽车（也就是太空飞船），你的眼睛（太空相机）正盯着前方的路。突然，太阳从侧面照进来，在你的视网膜上留下了一大片刺眼的眩光（就像你开车时对面车灯太亮，或者太阳正好在视野里一样）。

这时候，你的大脑（飞船的导航系统）可能会犯糊涂：“那是路标吗？还是星星？还是障碍物？”如果它把眩光误认为是路标，飞船就会开错方向，甚至撞毁。

这篇论文就是为了解决这个问题，提出了一套基于人工智能（AI）的“智能防眩光”方案。

以下是用通俗语言和比喻对论文核心内容的解读：

1. 核心任务：给相机装个“智能墨镜”

在太空中，相机最怕的就是杂散光（Straylight），也就是太阳光直接照进镜头产生的光斑或光晕。

• 传统做法：就像给相机装个物理遮光罩（挡板），但这并不完美，有时候光还是会漏进来。
• 新做法：论文提出用 AI 给相机装一个“数字墨镜”。当相机拍到的照片里出现太阳眩光时，AI 能立刻在屏幕上把那些被光污染的区域圈出来（这叫“语义分割”），告诉导航系统：“嘿，这部分画面是脏的，别信它！”

2. 最大的难题：数据太少了，怎么训练 AI？

训练 AI 就像教小孩认字。通常你需要成千上万张“有眩光”和“没眩光”的照片给它看。

• 困境：在太空中，这种真实的故障照片非常少（毕竟飞船很少真的坏，或者坏了也没人发照片回来）。这就好比你想教小孩认“恐龙”，但世界上只有 10 张恐龙照片，这很难教好。
• 聪明的办法（迁移学习）：作者想了一个绝妙的点子。虽然太空照片少，但地球上的照片多啊！
  • 他们先让 AI 在地球上大量的“阳光眩光”照片（比如手机拍到的太阳光斑、汽车挡风玻璃的反光）上学习，这叫预训练。这就好比先让小孩在地球上认遍了所有的“光斑”。
  • 然后，再把学成的大模型带到太空中，用那仅有的几十张太空照片进行微调。
  • 结果：AI 不仅学会了地球上的光斑，还能举一反三，认出太空中那些从未见过的奇怪光斑。

3. 硬件限制：要在“计算器”上跑“超级电脑”的程序

太空飞船上的电脑（硬件）非常特殊，它们不能太重、不能太耗电，而且计算能力远不如你手里的智能手机。

• 挑战：普通的 AI 模型太笨重，飞船带不动。
• 解决方案：作者选择了一种叫 DeepLabV3 + MobileNetV3 的模型架构。
  • 你可以把它想象成**“轻量级特种兵”**。它保留了识别光斑的核心能力，但把身体（模型大小）和大脑（计算量）都精简到了极致，确保能在飞船有限的资源下快速运行。

4. 新的考核标准：别只盯着“像素”，要看“整体”

这是论文最精彩的部分之一。通常我们评价 AI 好不好，是看它把图片里的每一个像素点都标对了吗？（比如：这个点是光斑，那个点不是）。

• 作者的观点：在太空中，“像素级完美”不如“整体识别准确”重要。
  • 比喻：假设有一团光斑，AI 把它圈得稍微大了一点点，或者小了一点点（像素没对齐），但只要它把整团光斑都圈出来了，导航系统就知道要避开它，这就成功了。
  • 反之：如果 AI 把光斑切得支离破碎，或者漏掉了一小块，导致飞船以为那里是安全的，那后果就是灾难性的。
• 创新指标：因此，作者发明了一套**“以物体为中心”的新评分标准**。不再纠结于“这个像素点标对没”，而是问“这团光斑被完整发现了吗？”
  • 他们甚至用了一种**“高斯平滑”**技术（就像用橡皮擦把照片里光斑边缘的毛刺抹平），把因为数据模拟产生的细碎断裂连成一片，这样 AI 的评分就更公平、更符合实际任务需求了。

5. 最终目标：让飞船“带病飞行”

这套系统的终极目标不是让飞船永远不坏，而是实现**“故障运行”（Fail-Operational）**。

• 比喻：就像一个人眼睛进了沙子，虽然看不清，但他知道“这里看不清”，于是他会用手遮住沙子，用另一只眼睛继续看路，或者告诉大脑“忽略这块区域”。
• 通过这套 AI，飞船即使相机被太阳晃花了眼，也能自动屏蔽掉那些坏掉的数据，继续利用剩下的好数据来导航，保证任务不中断。

总结

这篇论文就像是在教一个太空飞行员：

1. 怎么认路：用 AI 自动识别太阳光造成的“视觉干扰”。
2. 怎么学习：先拿地球上的照片练手，再适应太空环境。
3. 怎么省钱：用精简的算法，在性能有限的飞船电脑上跑起来。
4. 怎么考核：不看细节抠得有多细，只看能不能把“麻烦”整体识别出来并排除掉。

这是一项非常实用的技术，旨在让未来的太空探索（比如去彗星、去火星）更加安全、自主，不再需要地面人员时刻盯着，飞船自己能处理突发状况。

技术摘要

这是一份关于论文《Onboard-Targeted Segmentation of Straylight in Space Camera Sensors》（面向星载相机传感器的杂散光目标分割）的详细技术总结。

1. 研究背景与问题定义 (Problem)

• 背景：随着现代太空任务（如行星探测、着陆）对自主性的要求日益提高，传统的故障检测、隔离与恢复（FDIR）系统正面临挑战。特别是在深空探测中，由于通信延迟和接触窗口稀疏，必须依赖机载（Onboard）实时处理来应对传感器故障。
• 核心问题：太空相机在太阳位于视场（FoV）附近时，极易受到杂散光（Straylight）（如太阳耀斑、眩光）的影响。
  • 这种效应具有高度动态性（在连续帧中快速出现和消失），需要实时分析。
  • 现有的软件级解决方案因计算负担过重而无法实时运行。
  • 杂散光会遮挡视野，导致传感器读数错误，进而破坏导航算法（如卡尔曼滤波）的状态估计，甚至导致任务失败。
• 挑战：
  • 数据稀缺：真实太空环境下的杂散光故障数据极少。
  • 资源受限：星载硬件（如经过筛选的商业现货 COTS 组件或 FPGA）计算能力和内存有限，无法运行庞大的深度学习模型。
  • 泛化能力：模型需要识别未见过的耀斑纹理和背景。

2. 方法论 (Methodology)

本研究提出了一种基于人工智能的语义分割方案，旨在在资源受限的星载硬件上实时检测并分割杂散光。

2.1 模型架构选择

• 核心模型：采用 DeepLabV3 架构，结合 MobileNetV3 Large 作为骨干网络（Backbone）。
• 设计理由：
  • MobileNetV3 专为移动和嵌入式设备设计，具有极低的参数量和计算量（FLOPs），适合星载部署。
  • DeepLabV3 利用空洞空间金字塔池化（ASPP）模块，能够在不增加计算负担的情况下扩大感受野，有效分割不同尺度的目标（如大小不一的耀斑）。
  • 输出步长（Output Stride）设为 16，空洞率设为 (6, 12, 18)，以平衡精度与速度。

2.2 数据策略与迁移学习

针对太空特定数据稀缺的问题，研究采用了预训练 + 微调的策略：

1. 预训练（Pre-training）：使用包含大量非太空场景（如日常地面场景）中耀斑的公开数据集 Flare7k++ 进行预训练（100 个 Epoch）。这使模型能够学习通用的耀斑纹理特征，解决数据稀缺问题并提升泛化能力。
2. 微调（Fine-tuning）：使用作者团队之前构建的专有太空相机故障数据集（包含 1000 张图像，主要关注杂散光类）进行微调（500 个 Epoch）。
   • 数据集包含 Nominal（正常）和 Straylight（杂散光）两类。
   • 输入图像尺寸为 1024x1024。

2.3 评估指标创新

为了更准确地反映模型在导航系统中的实际作用，研究提出了基于“伪影（Artifact）”的自定义指标，而非传统的像素级指标：

• 传统指标：Precision（精确率）、Recall（召回率）、mIoU（平均交并比）。
• 自定义指标：
  • Per-artifact Recall (PaR)：检测到的故障伪影数量 / 真实伪影总数。
  • Per-artifact Precision (PaP)：检测到的伪影数量 / 预测的伪影总数。
  • Per-artifact mIoU (PamIoU)：基于连通区域的交并比。
• 数据预处理：由于原始数据集的标注机制（基于渲染顺序）可能导致单个耀斑被标记为多个不连续的碎片，研究引入了**高斯平滑（Gaussian Smoothing）**算法来填充间隙，将碎片化的 Ground Truth 连接成完整的区域，从而消除评估偏差。

2.4 系统集成

模型输出二值分割掩码，标记每个像素的有效性。该掩码被集成到机载导航管线中：

• 如果图像被标记为“可用”，则剔除无效像素（杂散光区域）后，将剩余有效像素输入卡尔曼滤波进行状态估计。
• 如果图像完全不可用，则触发 FDIR 程序恢复传感器功能。

3. 关键贡献 (Key Contributions)

1. 星载兼容的深度学习模型：设计并验证了基于 DeepLabV3+MobileNetV3 的轻量化模型，专为资源受限的太空硬件优化，实现了实时杂散光分割。
2. 解决数据稀缺的迁移学习方案：成功利用 Flare7k++ 公开数据集进行预训练，显著提升了模型在真实太空场景（数据极少）下的泛化能力和对未见纹理的识别能力。
3. 系统级评估指标体系：提出了一套基于“伪影检测”而非“像素精度”的自定义指标（PaR, PaP, PamIoU），并结合高斯平滑预处理，更准确地评估了模型对导航系统安全性的实际影响。
4. FDIR 集成框架：定义了 AI 模型与机载导航算法之间的接口，展示了如何利用分割结果实现“故障运行（Fail-operational）”状态，即在部分传感器数据受损时仍能维持任务。

4. 实验结果 (Results)

• 模型性能对比：
  • 仅预训练模型：在自定义测试集上表现不佳（mIoU 0.188），且错误地将太阳本体识别为耀斑（Precision 低）。
  • 微调后模型：性能显著提升。
    • 传统指标：Precision 从 0.259 提升至 0.908，Recall 从 0.403 提升至 0.958，mIoU 从 0.188 提升至 0.873。
    • 自定义指标：Per-artifact Recall (PaR) 达到 0.991，表明模型几乎能检测出所有的耀斑伪影；PaP 为 0.832。
• 高斯平滑的影响：
  • 平滑处理显著减少了假阴性（False Negatives），将 PaR 从 0.308 提升至 0.991。
  • 虽然平滑导致 mIoU 略有下降（因为增加了标注像素），但这更符合系统对“检测完整故障区域”的需求。
• 系统意义：
  • 高 PaR 意味着极少漏检故障，防止错误数据污染导航滤波器。
  • 虽然存在少量假阳性（PaP < 1），但这仅导致部分有效像素被丢弃，导航滤波器仍可通过传播阶段（Propagation）在短期内维持状态估计，系统具有容错性。

5. 意义与未来展望 (Significance & Future Work)

• 科学意义：本研究证明了 AI 可以在资源受限的星载硬件上实时处理复杂的传感器故障，填补了太空相机 FDIR 领域的空白。
• 工程价值：提出的“故障运行”策略提高了任务在传感器受损情况下的生存率和数据可用性，对于长期深空探测任务至关重要。
• 未来工作：
  • 域适应：从合成数据向真实任务图像过渡，验证模型在真实域偏移下的鲁棒性。
  • 硬件在环（HIL）部署：在星载 FPGA（如 Zynq UltraScale+ 或 Versal）上进行实际部署测试，验证严格的实时性约束。
  • 系统集成验证：进一步量化 AI 预测与导航算法接口在系统级层面的可用性（Availability）和弹性（Resilience）。

总结：该论文不仅提供了一个高效的星载杂散光分割模型，更重要的是建立了一套从数据增强、模型设计到系统级评估的完整方法论，为未来高自主性太空任务的传感器健康管理（PHM）提供了重要的技术参考。