FPGA-Enabled Machine Learning Applications in Earth Observation: A Systematic Review

本文遵循 PRISMA 2020 指南，系统综述了 68 项将机器学习模型部署于 FPGA 以应对地球观测任务中实时处理与带宽挑战的研究，并提出了涵盖高效模型架构与 FPGA 实现策略的双重分类体系。

要点

这篇论文就像是一份**“太空与无人机智能大脑的体检报告”**。

想象一下，地球就像一块巨大的画布，上面有森林、城市、海洋和云层。过去，我们想看清画布上的细节，必须把画布（数据）从太空中运回地面，让地面的超级计算机慢慢分析。但这就像把一吨重的快递从月球运回地球再拆包，既慢又贵，而且很多快递（数据）在运输途中就过期了（比如云层遮住了关键信息）。

现在，随着“新太空时代”的到来，我们发射了成千上万个小卫星和无人机。它们就像成千上万个带着相机的“小蜜蜂”，每天拍海量照片。但是，这些小蜜蜂的“背包”（带宽）很小，装不下那么多照片运回来。

这篇论文的核心问题就是：如何给这些小蜜蜂装上“聪明的大脑”，让它们在空中就能自己看懂照片，只把最有用的信息传回来？

作者发现，FPGA（现场可编程门阵列） 是解决这个问题的“超级英雄”。

1. 主角登场：FPGA 是什么？

如果把 CPU（普通电脑芯片）比作**“全能但慢吞吞的管家”，它什么都能干，但干具体活时效率不高；把 GPU（显卡）比作“力大无穷的举重运动员”**，干活快但特别费电，而且一旦定型就很难改；那么 FPGA 就像是一盒“乐高积木”。

• 灵活性：你可以随时把积木拆了重搭，专门拼出一个适合“数云”或“找船”的机器。
• 省电：因为它只搭建需要的部分，不浪费能量。
• 抗造：在太空中，辐射很强，FPGA 这种积木结构比精密的芯片更不容易坏。

2. 他们做了什么？（系统综述）

作者们像**“图书管理员”**一样，翻遍了 2014 年到 2024 年间的 68 个实验案例。他们把那些在 FPGA 上运行机器学习（AI）模型的研究都找了出来，整理成了一张巨大的“地图”。

这张地图主要回答了三个问题：

• 我们在算什么？（比如：是在数天上的云？还是在找海里的船？或者是在看哪里发生了火灾？）
• 我们用什么模型？（是用简单的“老式算法”，还是复杂的“深度学习神经网络”？）
• 我们怎么在 FPGA 上跑？（是把积木拼得特别紧凑，还是用了自动化的工具？）

3. 主要发现（用比喻解释）

A. 任务类型：我们在找什么？

• 盯着目标（目标监视）：这是最多的任务。就像**“在人群中找穿红衣服的人”**。比如找飞机、找船、找坦克。
• 看风景（环境监测）：比如**“给地球做体检”**。看哪里森林被砍了，哪里发生了洪水，或者云层盖住了多少地方。
• 导航（无人机）：让无人机**“自己看路”**，避开障碍物，或者自动降落。

B. 模型选择：大脑有多复杂？

• 主流是 CNN（卷积神经网络）：这就像**“专门看图的专家”**。在 FPGA 上，大家最喜欢用这种模型，因为它们很擅长识别图像特征。
• 轻量化是王道：因为 FPGA 的“背包”（内存和算力）有限，大家不能直接搬来一个“巨无霸”模型。他们必须把模型**“瘦身”**。
  • 剪枝（Pruning）：就像**“修剪树枝”**，把神经网络里不重要的连接剪掉，只留主干。
  • 量化（Quantization）：就像**“把高清照片压缩成黑白草图”**。原本用 32 位数字表示的精度，改成 8 位甚至 1 位（0 和 1）。虽然精度稍微降了一点，但速度飞快，而且特别省空间。

C. 硬件选择：用什么积木？

• AMD (Xilinx) 是老大：96% 的研究都用了他们的 FPGA 芯片，特别是 Zynq 系列。这就像**“乐高里最通用的那一套”**，既有处理逻辑的积木，又有处理数据的积木，还能当个小电脑用。
• 空间 vs. 地面：
  • 卫星（太空）：环境恶劣，辐射强，必须用特制的“防辐射积木”，而且必须极其省电。
  • 无人机（空中）：环境相对好点，但要求反应快，要能实时避障。

4. 现在的挑战与未来（缺了哪块拼图？）

虽然大家已经做得很棒了，但作者发现还有几个**“未解之谜”**：

1. 太新的模型还没跟上：现在的 AI 界流行一种叫 Transformer 的模型（就像现在的“大语言模型”那种架构），但在 FPGA 上还没人把它玩明白。就像**“有了新式引擎，但还没人造出能装它的车”**。
2. 信任问题：如果 AI 说“这里着火了”，我们怎么知道它是不是**“瞎蒙”的？现在的研究很少教 AI 怎么“说出自己的不确定感”**（不确定性量化）。我们需要 AI 不仅给出答案，还要说“我有 90% 的把握”。
3. 压缩技术不够用：大家还在用传统的“剪枝”和“量化”。其实还有更高级的**“知识蒸馏”**（让大模型教小模型），这个在 FPGA 上还没被充分挖掘。
4. 数据太乱：很多研究只说“我成功了”，但没说清楚用了什么数据、怎么对比的。这就像**“厨师说菜好吃，但不给食谱”**，别人很难复制。

总结

这篇论文告诉我们：给卫星和无人机装上 FPGA 做的“智能大脑”已经不再是科幻，而是正在发生的现实。

通过把复杂的 AI 模型“瘦身”并塞进灵活的 FPGA 积木里，我们能让这些小卫星和无人机**“在太空中直接思考”，只把最有价值的信息传回地球。这不仅节省了带宽，还能在灾难发生时（比如火灾、洪水）提供“实时救命情报”**。

未来的方向，就是让这颗“大脑”更聪明（支持新模型）、更诚实（能评估置信度），并且更容易被大家复制和使用。

技术摘要

这是一篇关于FPGA 赋能地球观测（EO）中机器学习（ML）应用的系统性综述论文。文章由德国慕尼黑工业大学（TUM）和德国航空航天中心（DLR）的研究人员撰写，旨在全面分析将机器学习模型部署在 FPGA 上以处理遥感数据的现状、策略及未来方向。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 数据爆炸与带宽瓶颈： 随着“新太空”（NewSpace）时代的到来，小型卫星（SmallSats）和无人机（UAVs）数量激增，产生了海量遥感数据。然而，星地/空地传输带宽（下行链路）并未同步增长，导致数据积压。
• 资源受限环境： 小型卫星和无人机受到严格的尺寸、重量、功耗和成本（SWaP-C）限制，且面临太空辐射等恶劣环境。传统的 CPU/GPU 往往功耗过高或无法满足实时性要求。
• 边缘计算需求： 为了缓解下行链路压力并实现实时决策，需要在传感器端（On-board）直接进行数据处理和筛选（如丢弃云层覆盖的图像、仅传输目标信息）。
• FPGA 的优势与挑战： FPGA 具有可重构性、高能效和抗辐射潜力，是边缘 AI 的理想平台。然而，将复杂的 ML 模型（特别是深度学习）高效部署在 FPGA 上涉及复杂的硬件设计、模型压缩和架构优化，目前缺乏系统的综述来指导这一交叉领域。

2. 方法论 (Methodology)

• 遵循 PRISMA 2020 指南： 作者采用了严格的系统性文献综述方法，确保过程的透明度和可重复性。
• 数据检索与筛选：
  • 数据库： Web of Science。
  • 时间跨度： 2014-2024 年。
  • 关键词组合： 机器学习/深度学习 + 地球观测/遥感 + FPGA。
  • 筛选标准： 排除纯综述、无实验、非遥感数据或非 FPGA 实现的论文。
  • 最终样本： 从 119 篇初始结果中筛选出 48 篇 核心文献，包含 68 个 具体实验。
• 分类体系构建： 提出了两个专门的分类法（Taxonomy）：
  1. 遥感/ML 任务分类： 基于 ML 问题形式（分类、分割、检测等）和遥感应用（目标监视、环境监测等）。
  2. FPGA 实现策略分类： 基于设计框架（手动 HDL/HLS vs. 自动化工具）、设计模式（特定 Specific vs. 灵活 Flexible）和优化技术。
• 研究问题 (RQs)： 文章围绕 8 个核心研究问题展开分析，涵盖应用现状、模型架构、硬件选择、优化策略、设计框架、性能权衡、适用性评估及未来趋势。

3. 主要贡献 (Key Contributions)

1. 系统性综述： 首次将遥感、机器学习和 FPGA 部署三个领域交叉结合，提供了详尽的文献分析。
2. 双重分类法：
   • 应用层： 将遥感任务映射为 ML 任务（如目标检测、云覆盖分类、土地利用分类），并分析了不同数据模态（RGB, 高光谱 HSI, 合成孔径雷达 SAR）的应用分布。
   • 实现层： 详细分类了 FPGA 实现框架（如 Vitis AI, FINN, 手动 HDL）和设计模式。
3. 性能与资源分析： 收集并整理了大量实验的性能指标（吞吐量、功耗、延迟、资源利用率），对比了不同 FPGA 家族（Zynq, Virtex, Kintex 等）的表现。
4. 研究缺口识别： 指出了当前领域的不足，如缺乏 Transformer 架构、不确定性量化（UQ）和可解释性（xAI）研究，以及数据压缩等应用的缺失。
5. 开源资源： 作者公开了所有数据、代码和分析工具（GitHub 链接），以促进社区的可重复性研究。

4. 关键结果与发现 (Key Results & Findings)

A. 应用与模型现状 (RQ1-RQ3)

• 主导任务： 目标监视（Target Surveillance）（如舰船、飞机检测）占 44%，其次是土地与环境监测（40%）。
• 数据模态： RGB（光学） 数据占主导（65%），高光谱（HSI）较少，SAR 主要用于特定环境（如海洋监测）。
• 模型架构： 卷积神经网络（CNN） 是绝对主流（74%）。
  • 检测任务： 几乎全部采用单阶段检测器（YOLO, SSD），因为二阶段检测器（R-CNN）计算量过大。
  • 分割任务： 由于资源限制，许多研究采用逐像素（Pixel-wise）处理而非全图 Patch 处理，常使用浅层网络或传统 ML。
  • 硬件选择： AMD (Xilinx) FPGA 占据绝对主导（96%），其中 Zynq SoC 系列（57%）最常用，因其集成了 ARM 处理器和 FPGA 逻辑，适合边缘任务。

B. 优化策略 (RQ4-RQ6)

• 模型压缩：
  • 量化（Quantization）： 89% 的深度学习实验使用了量化，主要采用 INT8 格式，部分使用二值化（BNN）或混合精度。
  • 剪枝（Pruning）： 26% 的研究使用了剪枝技术。
  • 轻量化骨干： 24% 的研究使用了轻量级骨干网络（如 MobileNet, GhostNet, SqueezeNet）或自定义浅层 CNN。
• 设计框架：
  • 手动实现（HDL/HLS）： 约 45% 使用 HDL，45% 使用 HLS。手动设计能更精细地控制资源，但开发周期长。
  • 自动化工具： Vitis AI 和 FINN 是主要工具。Vitis AI 支持灵活设计（Flexible），可加载不同模型；FINN 专注于生成特定加速器的二值/低比特网络。
• 并行化： 广泛使用指令级并行（ILP）、数据级并行（DLP）和任务级并行（TLP）。脉动阵列（Systolic Arrays） 是减少片外内存访问、提高能效的关键架构。

C. 性能与适用性 (RQ7-RQ8)

• 资源与性能权衡： 小型 FPGA（<150 DSP）仅能运行极小模型；中型 FPGA（700+ DSP）可运行中等模型但需重度优化；高端 FPGA（如 Alveo）性能接近 SOTA 但功耗过高（75W+），不适合星载边缘。
• 实际案例：
  • PhiSat-1 卫星： 部署了 CloudScout 模型进行云检测，成功丢弃了大量无效图像。
  • UAV 应用： 广泛用于实时避障、铁路缺陷检测和空气质量监测。
• 优势： FPGA 在能效（GOP/s/W）和抗辐射方面优于 CPU 和 GPU，且具备可重构性，适合任务变更。

5. 研究缺口与未来方向 (Gaps & Opportunities)

1. 应用范围狭窄： 缺乏数据压缩、灾害响应（如洪水、火灾）等关键应用的 FPGA 部署研究。
2. 模型架构滞后： Transformer (ViT) 和 RNN 在 FPGA 上的部署研究极少，尽管它们在遥感中表现优异。现有工具链（如 Vitis AI）对这些架构支持不足。
3. 压缩技术不足： 知识蒸馏（Knowledge Distillation） 和 硬件感知神经架构搜索（HW-NAS） 在 FPGA 遥感领域的应用非常匮乏。
4. 可信 AI 缺失： 缺乏不确定性量化（UQ） 和 可解释性 AI（xAI） 的研究，这在关键任务（如军事侦察、灾害预警）的自动决策中至关重要。
5. 基准测试缺失： 缺乏统一的基准测试和详细的资源/功耗报告，导致不同研究间难以公平比较。

6. 意义 (Significance)

• 指导实践： 为研究人员和工程师提供了从模型选择、硬件选型到优化策略的完整指南，特别是在资源受限的星载/机载环境中。
• 推动新太空发展： 明确了 FPGA 作为下一代地球观测卫星有效载荷的核心地位，有助于解决“数据丰富但信息贫乏”的瓶颈。
• 促进标准化： 通过提出分类法和开源数据，推动了该领域向更透明、可复现的方向发展，鼓励社区关注硬件感知的设计和可信 AI。

总结： 该论文不仅全面梳理了 FPGA 在遥感 ML 领域的现状，还深刻揭示了当前技术瓶颈（如架构多样性不足、缺乏可信 AI 机制），并为未来构建高效、可靠、实时的边缘智能遥感系统指明了方向。