💻 computer science

Leveraging Large Vision Model for Multi-UAV Co-perception in Low-Altitude Wireless Networks

该论文提出了一种名为“基站辅助无人机（BHU）”的通信高效协同感知框架，通过结合 Top-K 像素选择、MU-MIMO 传输、基于 Swin-large 的 BEV 特征融合以及扩散模型驱动的深度强化学习联合优化策略，在低空无线网络中显著降低了通信开销并提升了多无人机协同感知性能。

原作者： Yunting Xu, Jiacheng Wang, Ruichen Zhang, Changyuan Zhao, Yinqiu Liu, Dusit Niyato, Liang Yu, Haibo Zhou, Dong In Kim

发布于 2026-03-19

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Yunting Xu, Jiacheng Wang, Ruichen Zhang, Changyuan Zhao, Yinqiu Liu, Dusit Niyato, Liang Yu, Haibo Zhou, Dong In Kim

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何让一群无人机（UAV）像“超级侦探”一样高效协作的故事。

想象一下，你有一支由多架无人机组成的“空中巡逻队”，它们正在低空飞行，负责监控地面的交通、寻找车辆或进行城市巡查。每架无人机都长着“眼睛”（摄像头），能看到不同的角度。

1. 遇到的难题：眼睛太多，嘴巴太慢

虽然多架无人机一起看（多视角协作）能看得更清楚、更准，但这里有个大麻烦：

数据量太大：每架无人机拍的高清视频就像“洪水”一样。如果要把所有原始画面都传回地面的指挥中心，网络会瞬间堵塞，导致延迟（画面卡顿），甚至传不过来。
资源有限：无人机的电池和计算能力有限，不能像超级计算机那样在天上疯狂处理数据；地面的网络带宽也很宝贵。

这就好比：10 个侦探同时给总部打电话汇报案情，如果每个人都把看到的所有细节（包括路边的草、天上的云）事无巨细地念出来，电话线早就打爆了，而且总部也听不过来。

2. 核心方案：BHU 框架（基站帮忙的无人机）

为了解决这个问题，作者提出了一套叫 BHU（Base-Station-Helped UAV，基站辅助无人机）的新方案。它的核心思想是：“只传精华，地面大脑来思考”。

第一步：聪明的“剪贴画”（Top-K 选择）

无人机不再传输整张完整的照片，而是先在自己的小芯片上做一个“快速筛选”。

比喻：想象无人机手里有一张画满东西的画。它不需要把整张画寄回去，而是用剪刀只剪下最重要的部分（比如正在行驶的汽车、行人），把背景里的树木、天空都剪掉扔掉。
技术实现：论文用了一种叫"Top-K"的机制，只保留画面中信息量最大的那些像素点（比如车辆边缘、关键特征）。这样，传输的数据量瞬间减少了 85%，就像把一卡车货物压缩成了一个小包裹。

第二步：地面的“超级大脑”（大视觉模型 LVM）

剪下来的“碎片”通过无线信号（MU-MIMO 技术，就像多车道高速公路同时发车）传回地面服务器。

比喻：地面服务器装有一个“超级大脑”（基于 MaskDINO 和 Swin-large 的大视觉模型）。这个大脑非常聪明，它不仅能看懂这些零碎的“剪贴画”，还能像拼图一样，把来自不同无人机的碎片拼成一个完整的鸟瞰图（BEV）。
优势：以前无人机自己算力弱，拼不好图；现在把拼图任务交给地面强大的 AI，它不仅能认出车，还能预测车的运动轨迹，看得比单架无人机准得多。

第三步：智能调度员（扩散模型 + 强化学习）

怎么决定哪几架无人机参与？剪掉多少背景？信号怎么发最稳？

比喻：这就需要一个“智能调度员”。论文设计了一个基于扩散模型（Diffusion Model） 的强化学习算法。
- 想象这个调度员在训练时，就像是在“去噪”：一开始它脑子里全是杂乱的信号（像充满雪花点的电视），通过不断“去噪”（DDIM 算法），它逐渐学会了在复杂的天气和干扰下，如何精准地选择无人机、调整传输比例和信号方向，以达到**“看得最清”且“传得最快”**的完美平衡。

3. 成果如何？

实验结果显示，这套方案非常成功：

看得更准：相比传统的方案，车辆识别的准确率提高了 5% 以上。
传得更快：通信开销（流量）减少了 85%。
结论：这就好比用 1/6 的流量，换来了更好的视野。

总结

这篇论文就像是在教无人机团队如何**“少说话，多干活”**：

无人机只负责抓重点（剪掉无用背景）。
地面负责用超级大脑把重点拼起来（大模型分析）。
智能算法负责指挥大家怎么配合最省力。

这套技术对于未来的低空经济（如无人机快递、城市空中交通管理）非常重要，因为它解决了“数据太多传不动”的瓶颈，让无人机协作变得更加高效和智能。

论文技术总结：基于大视觉模型的低空经济多无人机协同感知

1. 研究背景与问题 (Problem)

随着低空经济（如智能交通、城市监控、自主巡检）的发展，多无人机（Multi-UAV）协同感知成为提升感知精度和鲁棒性的关键技术。然而，现有的协同感知面临以下核心挑战：

通信瓶颈：多架无人机生成的海量视觉数据在无线传输中导致极高的通信延迟和资源消耗，难以满足实时性要求。
资源受限：无人机作为边缘设备，计算能力和能源有限，难以在机载端进行复杂的图像压缩或特征提取，导致压缩后的感知质量下降。
性能权衡：如何在有限的无线资源（带宽、时延）约束下，平衡通信效率与感知性能（如目标检测精度）是一个极具挑战的优化问题。
现有方案局限：传统的基于 CNN 的特征压缩或稀疏化方法在重建和特征提取能力上存在不足；而大视觉模型（LVMs）虽性能优越，但其巨大的参数量和计算开销难以直接部署在无人机端。

2. 核心方法论 (Methodology)

论文提出了一种名为**基站辅助无人机（Base-Station-Helped UAV, BHU）**的通信高效协同感知框架，将计算密集型任务卸载至地面服务器，并结合大视觉模型与强化学习进行优化。

2.1 BHU 框架架构

Top-K 稀疏化传输：
- 无人机端部署轻量级网络生成重要性图（Importance Map）。
- 采用滑动窗口 Top-K 机制，仅选择图像中信息量最大的像素点进行传输，大幅减少数据量。
- 地面服务器通过可学习的 Gaussian 插值模块将稀疏图像重建为完整图像。
基于大视觉模型（LVM）的特征提取与融合：
- 地面服务器利用Swin-large 骨干网络和MaskDINO编码器，从重建的图像中提取多尺度特征。
- 采用Lift-Splat-Shoot (LSS) 范式将图像特征投影到鸟瞰图（BEV）空间。
- 在 BEV 空间进行多无人机特征融合，执行车辆实例分割和运动流预测任务。
通信系统模型：
- 采用多用户多输入多输出（MU-MIMO）上行链路模型。
- 考虑 3D 几何宽带信道模型（包含视距 LoS 和非视距 NLoS 分量），使用 Rician 衰落模型。

2.2 联合优化算法：基于 DDIM 的深度强化学习 (DRL)

为了解决联合优化无人机选择、Top-K 稀疏率、预编码矩阵的 NP-hard 问题，论文提出了一种基于去噪扩散隐式模型（DDIM）的 DRL 算法：

状态空间：包含所有无人机与基站的信道状态信息（CSI）及当前捕获的图像。
动作空间：
- 无人机 - 基站关联（二元变量）。
- Top-K 稀疏率（离散化选择）。
- 预编码矩阵（连续/离散组合）。
奖励函数：定义为加权感知效用（IoU 和 PQ 指标）与最大通信延迟惩罚之间的差值。
DDIM 创新：
- 利用神经网络直接输出关联和稀疏率。
- 利用DDIM对最优预编码矩阵的分布进行建模，通过反向去噪过程生成预编码动作。
- 优势：相比传统扩散模型，DDIM 通过采样子序列时间步，显著减少了推理步数，提高了训练效率和稳定性，避免了在巨大动作空间中的直接搜索。

3. 主要贡献 (Key Contributions)

提出 BHU 框架：设计了“机载稀疏化 + 地面大模型处理”的协同感知范式，有效解决了无人机端算力不足与通信带宽受限的矛盾。
Top-K 重要性选择机制：提出基于滑动窗口的 Top-K 像素选择策略，在大幅降低传输数据量（减少 85% 开销）的同时，保留了关键视觉信息。
大视觉模型赋能：首次将 Swin-large 和 MaskDINO 引入多无人机协同感知，利用其强大的长程依赖捕捉和语义理解能力，显著提升了 BEV 特征融合后的感知性能。
DDIM 驱动的联合优化：开发了基于 DDIM 的 DRL 算法，能够高效地联合优化无人机选择、压缩率和预编码策略，在复杂信道环境下实现感知与通信的帕累托最优。

4. 实验结果 (Results)

基于 Air-Co-Pred 数据集（CARLA 仿真生成，4 架无人机，32,000 张图像）的仿真结果表明：

感知性能提升：与传统的基于 CNN（EfficientNet）的 BEV 融合基线相比，BHU 框架（基于 Swin-large MaskDINO）将感知性能（IoU）提升了超过 5%。
通信效率显著：在保持高感知性能的同时，通信开销降低了85%（相比传输完整特征或密集数据的方案）。
多无人机增益：随着协同无人机数量增加（从 1 到 4），感知精度持续提升，证明了多视角互补信息的有效性。
算法收敛性：DDIM-based DRL 算法在训练奖励收敛速度和稳定性上均优于无预编码标签的基准方案，且能根据延迟权重（ $\lambda$ ）灵活调整策略，在感知效用和通信延迟之间取得平衡。
LoRA 微调效果：引入 LoRA 微调 Swin-large 模型，仅需极少量可训练参数（约 37.4M），即可在保持接近全量微调性能（IoU 下降<2%）的同时，大幅降低训练成本。

5. 意义与价值 (Significance)

理论创新：将大视觉模型（LVM）与低空经济中的无线通信资源管理相结合，探索了“端侧轻量处理 + 云端大模型推理”的新范式。
技术突破：解决了多无人机协同中“数据量大”与“带宽有限”的矛盾，证明了通过智能稀疏化和地面大模型协同，可以在资源受限环境下实现高性能感知。
应用前景：该方案为低空经济中的智能交通管理、城市安防和应急救援提供了高效的通信与感知解决方案，具有极高的实际应用价值。
算法通用性：提出的 DDIM-based DRL 优化框架可推广至其他涉及连续动作空间与离散决策耦合的无线资源管理问题。

总结：该论文通过引入大视觉模型和先进的扩散模型强化学习算法，成功构建了一个高效、低延迟的多无人机协同感知系统，为未来低空经济网络中的智能感知应用奠定了重要基础。