Real-Time Joint Classification and Heat-Source Localization on Native 8×8 Thermal Frames with a Lightweight Dual-Head CNN for Microcontroller Deployment
本文提出了 JFilterLocalizationCNN，这是一种轻量级的双头卷积神经网络，能够在原生 8×8 红外帧上实现热场景分类与热源定位的实时联合处理，在保持用户隐私的同时，在资源受限的微控制器上实现了高精度和高效部署。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个我们可以监视我们的家、医院和办公室，却永远不会捕捉到任何面孔或可辨识身体的世界。这是某种特定传感技术所带来的承诺，它依赖于热量而非光线。标准的摄像头记录的是可以识别出房间内是谁的详细图像，而热传感器看到的仅仅是温度差异。这种技术最基础的版本使用了一个由六十四个传感器组成的微型网格，排列成八乘八的正方形。在人眼看来，来自这样一个网格的数据就像是一个模糊、低分辨率的热量斑点。它过于粗糙，无法显示人的特征，但它包含的信息足以告知房间是否为空置、是否有人坐在那里，或者是否发生了火灾等危险热源。科学家们面临的挑战在于，如何让这种微小、模糊的数据在实时状态下变得有用，尤其是在那些可以隐藏在天花板或墙壁里的小型、廉价计算机上。
一组研究人员现在解决了这个问题，他们通过教一个小型计算机程序直接读取这些热量斑点来进行学习。他们创建了一个系统，能够观察这个八乘八网格的单帧图像，并能瞬间同时完成两件事：判断房间内正在发生什么，并指出热源的具体位置。这是一个重大的进步，因为以往利用这种低分辨率数据的方法依赖于复杂的、人工编写的规则，而这些规则往往无法准确发现火灾或定位人员。这种新方法使用了一种轻量级的神经网络，这是一种受大脑启发的计算机模型，专门为处理这种极少量的数据而设计。该系统并不是试图去猜测如果图像更清晰时会是什么样子，而是学习如何在这些原始的、模糊的数字本身中寻找模式。
研究人员构建了一个定制的模型，它扮演着双用途工具的角色。在对数据进行单次扫视时，它能将场景分类为三类之一：空房间、有人的房间，或有人且有火灾的房间。与此同时，它还能计算出该网格中热点点的精确位置。为了确保运行可靠，他们首先使用一个简单的滤波器对数据进行了清洗，去除了房间的背景温度，从而确保系统只关注物体的相对热度。这使得模型即使在房间随时间稍微变暖或变冷的情况下也能正常工作。在利用一万两千张平衡图像的数据集进行测试时，该系统的表现非常出色，几乎在每种情况下都能正确识别场景，并将热源定位的误差控制在不到半个像素以内。
这项发现之所以特别强大，是因为它可以在微控制器（即日常智能设备中常见的芯片）这样小的硬件上运行。研究人员对他们的模型进行了高度压缩，使其能够容纳在极小的内存中，从接近半兆字节的大小缩减到了仅一百二十六千字节。这种压缩并未损害其性能。当他们将这个微型版本安装在一个连接到真实热传感器的微型开发板上时，它能够持续进行实时工作。在涉及真实环境数千帧图像的实测中，该系统保持了极高的准确度，正确识别场景的频率约为百分之八十二，且定位热源的平均误差仅为不到一个半像素。
该研究还探讨了该系统在不同环境下的适应能力。当研究人员在另一种更高分辨率类型的传感器数据上测试该模型时，它起初表现挣扎，这表明该系统是针对八乘八网格的特定几何结构进行了调优。然而，在针对新数据进行了短暂的重新训练后，系统迅速适应并恢复了高准确度。这表明，虽然其具体设计是针对小型传感器优化的，但其学习热模式的核心能力足够强大，只需稍加帮助即可迁移到其他设备。研究人员证实，当系统被训练为同时处理分类和定位任务时效果最好，因为尝试只做其中一项任务会导致另一项任务的性能显著下降。
这项工作证明，即使是在大多数视觉系统都会舍弃的分辨率下，有效的感知也是可能的。通过证明这种微小的、保护隐私的传感器可以与轻量级计算机结合，实现实时检测人员和火灾，研究人员为更安全、更具隐私性的室内监控开辟了一条路径。该系统不需要看到面孔来知道有人在那里，也不需要强大的服务器来处理数据。它只需读取热量，理解场景，并在几毫秒内做出反应。这种能力可以使养老院实现早期火灾预警，或在不侵犯室内人员隐私的情况下进行私人空间的占用情况追踪。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。