FloodReasonBench: Benchmarking VLM Reasoning Segmentation for Embodied Flood Response at the Edge
本文介绍了 FloodReasonBench，这是一个专门设计的基准测试和数据集，旨在评估在资源受限的边缘侧运行的具身防洪响应系统中，视觉语言模型推理分割在准确性、延迟、能效以及通信权衡方面的表现。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
当洪水袭来时，救援队脚下的地面可能已经消失，上方的空气也可能充斥着碎片。在这些时刻，人类的眼睛和无线电通讯往往是不够的。救援队越来越多地转向使用机器——无人机和机器人——它们可以飞入或驶入危险区域，去观察人类无法看到的景象。但为了让这些机器真正发挥作用，它们不能仅仅是拍摄照片。它们必须能够理解简单的口头请求，例如“寻找被困在屋顶的人”或“定位那辆半淹没在水中的汽车”，然后用数字化的手指精准地指向图像中的那个位置。这种将人类语言与视觉场景中特定部分联系起来的能力，是一种新型人工智能的工作成果。然而，这些智能机器通常需要大型计算机来运行，而在一场灾难现场飞行的无人机无法携带一台超级计算机。它必须在有限的电池电量和微弱的网络连接下运行，这迫使它在机器的智能化程度与工作速度之间做出艰难的选择。
加州大学欧文分校和高丽大学的研究人员创造了一种新的方法，专门针对洪水救援来测试和改进这些机器。他们构建了一个名为 FloodReasonBench 的专门基准测试，它作为一个严苛的训练场，旨在为设计在灾区边缘工作的人工智能提供训练。为此，他们首先必须教会机器识别洪水是什么样子的。标准的 AI 模型是在城市和公园的通用照片上进行训练的，但这并不能让它们为洪水带来的泥泞、混乱的现实做好准备。该团队创建了一个名为 FloodResponseSeg 的新数据集，其中包含了真实的洪水区域图像，以及救援人员可能会提出的自然语言问题，以及 AI 需要寻找的目标物体的精确轮廓。他们发现，如果没有这种特定的训练，AI 会表现得很吃力，只能正确识别约 72% 的请求目标。但一旦他们在这种洪水特定的数据上对模型进行了微调，其准确率就跃升至 84% 以上，这证明了机器需要学习的是洪水的语言，而不只是通用视觉的语言。
下一个挑战是将这个智能系统安装到小型无人机上。最强大的 AI 模型对于无人机来说太“重”了，无法依靠自身的电池运行。研究人员测试了一个更轻量级的 AI 版本，使其可以在无人机上独立运行，但他们也探索了一种被称为“拆分计算”（split computing）的巧妙折中方案。想象一场接力赛：无人机跑完第一段赛道，然后将接力棒交给在地面上等待的一台强大计算机来完成剩下的比赛。在这个系统中，无人机处理图像分析的第一部分，将结果压缩成一个很小的数字数据包，然后发送到远程服务器。服务器完成思考过程，并将答案传回。团队测试了许多不同的交接点，检查了无人机应该承担多少工作量，以及远程服务器应该承担多少工作量。
他们的发现令人惊讶。在通用的、非洪水的情况下，即使是稍微移动交接点，也会剧烈改变结果的准确性，就像汽车换挡时突然失去动力一样。但在洪水特定的环境下，系统的稳定性要高得多。无论他们选择在无人机和远程服务器之间如何分配工作，准确率都保持在一致的高水平，波动范围很小。这种稳定性对工程师来说是一份礼物。这意味着他们不必为了节省电池或提高响应速度而牺牲救援任务的质量。相反，他们可以选择使用能量最少或传输数据量最小的拆分点，同时确信 AI 仍能找到他们需要营救的人员和车辆。
研究人员在真实的嵌入式计算机 NVIDIA Jetson AGX Xavier 上测试了这些想法，这种芯片常见于现代自主无人机中。他们测量了处理一张图像所需的时间、消耗的能量以及通过网络传输的数据包大小。他们发现，通过选择合适的拆分点，无人机可以在保持与最强配置几乎相同的准确水平的同时，将能量消耗降低一半以上，并将获取答案的时间缩短一半。这项工作为构建救援机器人的工程师们提供了一份清晰的路线图。它表明，通过针对其将面临的灾难进行专门的 AI 训练，并通过仔细平衡机器人与云端之间的工作量，我们可以创造出既足够聪明以理解危机，又足够轻盈以飞入其中的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。