Drone-Based Early Forest Fire Detection Using Vision-Language Models on NVIDIA Jetson Orin Nano
本文提出了一种部署在配备 NVIDIA Jetson Orin Nano 的无人机上的边缘 AI 框架，该框架结合了经过微调的 YOLOv8s 检测器与基于 CLIP 的视觉语言模型，旨在实现具有自然语言场景描述、高精度且实时的森林火灾检测，在保持低延迟的同时显著降低了误报率。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
野火是自然界中一种无情的势力，随着气候变暖，它们变得越来越快、破坏性越来越强。几十年来，遏制野火的竞赛一直依赖于在火势失控之前发现第一缕烟雾或第一抹火光。传统方法，如卫星或固定摄像头，往往因为云层、地形或景观的极其广阔而反应过慢，甚至完全错过火情。为了弥补这一差距，科学家们转向了无人机，将它们送入天空，充当移动的眼睛。然而，无人机的性能取决于它所携带的大脑。如果无人机的计算机速度太慢，它就无法足够快地处理图像，从而无法实时发现火灾；如果它太简单，它会将日落的反射或一片干草误认为是火灾，从而导致浪费宝贵资源的虚假警报。挑战在于构建一个既足够聪明，能够理解火灾与光影幻象之间的区别，又足够高效，能够在不发生过热的情况下在电池驱动的无人机上运行的系统。
这正是来自突尼斯的苏塞大学（University of Sousse）的一个研究小组致力于解决的问题。他们开发了一种新的无人机早期森林火灾检测方法，将两种不同类型的人工智能结合成一个单一且高效的系统。该系统的第一部分充当快速扫描仪，使用专门的图像检测器来快速寻找任何看起来像火或烟的东西。第二部分充当批判性思考者，使用一种视觉语言模型——一种可以“阅读”图像并用文字描述图像的 AI 类型——来复核扫描仪的发现。通过在名为 NVIDIA Jetson Orin Nano 的紧凑型强大计算机上运行这个两步过程，研究人员创建了一个无人机系统，该系统可以巡逻森林、发现火灾并确认其真实性，同时实现自主飞行并在数秒内发出警报。
研究人员制造了一架配备高清摄像头和这台车载计算机的定制无人机。他们使用数千张森林、火灾和烟雾的图像训练了他们的系统，教会它识别火灾特有的形状和颜色。当无人机飞行时，第一个 AI 模型会扫描它看到的每一帧视频。如果它发现了可能疑似火灾的东西，它会将该特定图像传递给第二个模型。第二个模型不仅仅是回答“是”或“否”；它会观察图像并生成一段简短的句子来描述它所看到的内容，例如“浓烟从树木中升起”或“湖面上日落的眩光”。这一额外的步骤使得系统能够排除令人困惑的情况，比如阳光照射在反射表面上的亮光，或是看起来像火焰一样的橙色秋叶。该系统设计为具有选择性，仅在第一个模型不确定时才调用第二个更复杂的模型，从而防止无人机的计算机过载。
在测试中，该系统证明了其卓越的有效性。该无人机成功识别火灾和烟雾的准确率接近 95%，这比依赖单一检测器的系统有了显著提升。更重要的是，第二个“思考型”模型的加入使虚假警报减少了约 21%。这意味着无人机不太可能因为并非火灾的情况而发出恐慌警报，这对于维持管理响应的人类操作员的信任至关重要。该系统在每秒 26 帧的速度下运行，足以跟上无人机的移动并提供实时的森林地面视图。从看到图像到发送警报的整个过程耗时不到十分之一秒，确保了在火灾失控前将其扑灭的窗口期保持开启。
研究人员还测试了该系统在困难条件下的表现，例如日落时分或风向导致烟雾向不可预测的方向飘散时。虽然系统在大多数场景下仍保持高度准确，但在烟雾非常稀薄且被风吹散，或者光线昏暗时，它表现得略显吃力。在这些时刻，区分真实的火灾与阴影是最困难的。为了解决这个问题，团队指出，增加一个能感知热量而非光线的热成像摄像头，可以帮助无人机在最黑暗或最混乱的天气条件下发现火灾。不过目前来看，该系统代表了自主监测领域的一次重大飞跃。它证明了无人机可以在小型电池驱动的平台上携带复杂的双层智能，将一个简单的飞行摄像头转变为我们森林可靠的早期预警守护者。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。