B-REAL: A keypoint-less behavior platform for offline classification and real-time detection
B-REAL 是一个无需姿态估计、实时的行为分类平台，它通过将原始视频映射到行为的速度快于帧率，能够以极少的标注和标准硬件实现闭环神经行为学实验，且在处理稀有行为时表现优于既有方法。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。 阅读完整免责声明
为了理解大脑是如何工作的，科学家必须首先了解它所控制的动物究竟在做什么。几十年来，衡量动物行为的金标准是人类观察者观看视频录像，通过暂停和回放来记录每一个动作，从老鼠嗅闻角落到苍蝇攻击另一只苍蝇。这种方法具有灵活性且易于解释，但速度极慢，且容易产生人为错误。近年来，计算机开始接管这项任务，但它们大多依赖于一个会产生自身瓶颈的两步过程。首先，必须训练计算机程序去寻找动物身体上的特定点，比如鼻尖或腿部的关节，这一过程需要数千小时的人工标注。其次，计算机利用这些点来推测正在发生的行为。这种方法设置缓慢，当动物互相遮挡视线时经常失效，并且通常反应过于迟钝。如果研究人员希望在老鼠进行理毛行为的瞬间给予奖励，或者在特定动作发生时立即停止实验，那么计算机必须足够快，能够在视频录制结束之前识别出动作并做出决策。
卡内基梅隆大学的一个研究小组开发了一种名为 B-REAL 的新系统，它完全省去了中间环节。该系统不再试图绘制动物的骨架图，而是直接观察原始视频像素并学习即时识别行为。结果是一个能够比摄像机拍摄下一帧图像还要快地对行为进行分类的工具，即使是在标准计算机硬件上也能实现。这种速度实现了一种新型实验：动物的行为可以触发环境的即时变化，例如提供一滴水或一束光，而这些变化发生在行为发生的过程中。研究人员展示了这种方法比以往的系统需要更少的训练数据，能够捕捉仅持续不到一秒钟的瞬时动作，并且可以用于实时塑造动物的自然行为。
这种新方法的核心在于改变了计算机处理视频的方式。传统方法将视频视为一系列静态图像，首先寻找身体部位，然后计算这些部位如何移动。B-REAL 跳过了寻找身体部位的步骤。它获取一段短的视频帧序列，并将其直接输入到一个被称为神经网络的程序中（这是一种旨在识别模式的计算机程序）。为了在不追踪特定点的情况下理解运动，该系统使用了一种在相邻帧之间交换微小信息的技巧。想象一下，有一叠照片，其中上一张照片中的一些像素与下一张照片进行了交换；这使得计算机无需确切知道爪子或翅膀的位置，就能看到事物随时间的变化。由于这种方法不需要计算机学习复杂的动物身体地图，因此避免了旧系统常见的失败，例如在动物被部分遮挡或光照变化时丢失追踪。
研究人员在两个截然不同的挑战上测试了这个系统：小鼠之间复杂的社交互动，以及果蝇之间极快且罕见的攻击行为。在小鼠实验中，系统在仅看到一分钟标注视频后，就能高精度地区分攻击、调查和爬跨行为。这比现有工具有了显著进步，因为现有工具通常需要数小时的标注数据才能达到类似的性能。当团队在果蝇身上测试该系统时，挑战变得更大。某些攻击性行为（如果蝇冲向另一只果蝇）仅持续一帧视频，大约为 33 毫秒。大多数计算机系统会因为在较长时间内平均化运动而完全错过这些行为。然而，B-REAL 能够高精度地检测到这些转瞬即逝的冲刺，即使在给定的训练数据很少的情况下，其表现也优于其他方法。该系统之所以能识别这些罕见事件，是因为它直接从视频的视觉模式中学习，而不是依赖于可能无法捕捉如此快速、细微变化的预定义身体特征点。
该系统最引人注目的演示或许是一个计算机充当“老师”的闭环实验。研究人员设置了一个场景：只有当计算机检测到小鼠正在理睬头部时，小鼠才会获得甜水奖励。系统必须在极短的时间内识别出理毛行为并触发注水器。由于检测速度极快且准确，小鼠很快就学会了这种联系。在实验过程中，小鼠理毛的频率增加了 129%。动物不仅理毛得更频繁，还调整了理毛的时长以符合计算机的要求，转向稍长的理毛过程以确保触发奖励。这证明了该系统不仅仅是一个被动的观察者，而是一个能够塑造自然行为的得力伙伴，能够在特定动作发生时对其进行强化。
为了使系统更加高效，研究人员探索了一种无需更多标注数据即可让计算机“抢跑”的方法。他们使用了一个大型的、经过预训练的视频模型，该模型已经从数千小时的无标注视频中学习了通用的运动概念。他们将这个大模型所掌握的知识转移到了这个更小、更快的系统中。这个过程被称为“蒸馏”，它使得系统仅通过 30 秒的标注视频，就能学会通常需要五到十分钟才能学会的知识。值得注意的是，这种预训练提高了系统识别全新相机角度（例如从动物下方观察的角度）下行为的能力，尽管预训练数据仅包含俯视或侧视图。这表明该系统学习到了关于动物运动的深度理解，这种理解可以应用于不同的设置，使其具有高度的适应性。
这项工作的意义超越了速度和准确性。通过取消对身体部位追踪的需求，该系统可以观察那些仅凭姿态难以定义的行为，例如动物与特定物体互动或在复杂环境中导航。它为实验开启了大门，使计算机可以实时响应动物的状态，从而在主体与环境之间创造一个动态循环。虽然目前的研究重点是小鼠和果蝇，但其原理广泛适用于任何需要实时理解行为的情况。该系统可以在标准硬件上运行，这意味着它不需要昂贵的超级计算机即可操作，使先进的行为分析对更广泛的实验室开放。最终，B-REAL 将行为从过去的静态记录转变为一种可以用于在当下引导和理解大脑的实时信号。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。