💻 computer science

MSGL-Transformer: A Multi-Scale Global-Local Transformer for Rodent Social Behavior Recognition

本文提出了一种名为 MSGL-Transformer 的多尺度全局 - 局部 Transformer 模型，通过结合多尺度注意力机制与行为感知调制模块，有效捕捉啮齿类动物姿态序列中的多尺度运动动态，在 RatSI 和 CalMS21 数据集上显著优于现有方法，实现了高精度的社会行为识别。

原作者： Muhammad Imran Sharif, Doina Caragea

发布于 2026-04-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Muhammad Imran Sharif, Doina Caragea

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 MSGL-Transformer 的人工智能模型，它的任务是看懂老鼠（和小鼠）在社交时到底在干什么。

想象一下，你正在观察两个老鼠在笼子里玩耍。它们一会儿互相追逐，一会儿互相闻鼻子，一会儿又各自走开。以前，科学家只能盯着录像带，拿着秒表手动记录：“哦，这只老鼠在追那只，持续了 3 秒。”这不仅累人，还容易看走眼，因为老鼠动作太快，而且有些动作非常细微。

现在的深度学习（AI）可以帮忙，但现有的 AI 有个大毛病：它们要么太“近视”，要么太“远视”。

近视眼：只能看清老鼠瞬间的抖动（比如头点了一下），却看不懂它们持续了很久的追逐过程。
远视眼：能看懂整个追逐的大局，却忽略了中间那个关键的“闻鼻子”动作。

MSGL-Transformer 就像是一个拥有“超级视力”的侦探，它同时具备“显微镜”和“望远镜”的功能。

1. 核心黑科技：它是如何工作的？

这个模型有三个绝招，我们可以用生活中的比喻来理解：

🕵️‍♂️ 绝招一：多尺度“变焦”镜头 (Multi-Scale Attention)

想象你在看一场足球赛。

短焦镜头：你盯着一个球员，看他瞬间的假动作（比如老鼠突然转头）。
中焦镜头：你看两个球员之间的配合（比如老鼠互相跟随）。
广角镜头：你看整场比赛的战术走向（比如老鼠从独处到互动的全过程）。

以前的 AI 通常只盯着一种镜头看。但 MSGL-Transformer 同时开了三个镜头，并行工作。它既能捕捉到老鼠那一瞬间的“微妙点头”，又能理解它们长达几十秒的“追逐游戏”。这让它能同时处理“快动作”和“慢动作”。

🎛️ 绝招二：行为感知“调音台” (Behavior-Aware Modulation, BAM)

想象老鼠的动作是一首复杂的交响乐，里面有各种乐器（鼻子、尾巴、身体）。

有时候，鼻子的动作为主（比如闻对方）；
有时候，尾巴的摆动才是关键（比如表示攻击）。

BAM 模块就像一个智能调音台。在 AI 开始分析之前，它会根据当前的场景，自动把“重要乐器”的声音调大，把“无关噪音”的声音调小。

如果老鼠在打架，调音台会放大“攻击”相关的动作信号。
如果老鼠在独处，它会忽略那些无关紧要的抖动。
这确保了 AI 把注意力集中在真正决定行为是什么的关键特征上。

🧩 绝招三：不依赖“骨架图”的灵活大脑

以前的很多 AI 模型，必须预先画好老鼠的“骨架图”（比如规定鼻子连着头，头连着身体），然后在这个固定的图上跑数据。这就像给 AI 戴上了固定的眼镜，如果老鼠姿势太怪，眼镜就歪了。

MSGL-Transformer 不需要这种死板的“骨架图”。它直接看老鼠身体关键点的坐标变化，像看一串流动的舞蹈动作一样。这让它非常灵活，不仅能看懂大鼠（Rat），也能直接看懂小鼠（Mouse），甚至以后看其他动物也不用重新设计架构。

2. 它表现如何？（实战成绩）

作者把这个模型放在两个著名的数据集上进行了测试：

大鼠社交数据集 (RatSI)：有 5 种行为（如独处、靠近、跟随、走开、闻鼻子）。
小鼠社交数据集 (CalMS21)：有 4 种行为（如攻击、调查、骑跨、其他）。

结果非常惊人：

在大鼠数据集上：它的准确率达到了 75.4%，比以前的老方法（像 TCN、LSTM 等）都要好。
在小鼠数据集上：它的准确率高达 87.1%，比目前最强的同类模型（HSTWFormer）还要高出 10.7%！

最酷的一点是：它不需要为老鼠和小鼠分别设计两套系统。只要把输入的数据维度稍微改一下（因为老鼠和小鼠的关键点数量不同），同一个模型架构就能完美工作。这证明了它的通用性极强。

3. 还有什么小缺点？

虽然它很厉害，但也不是完美的。

稀有行为难识别：就像在人群中找那个“穿红衣服的人”一样，如果某种行为（比如“攻击”或“走开”）在视频里出现得很少，AI 就学不好。这主要是因为训练数据里这类例子太少（数据不平衡）。
边界模糊：当一种行为刚刚结束，另一种行为刚刚开始的那一瞬间（比如从“跟随”变成“走开”），AI 容易看走眼。这就像电影转场时，画面还没完全切换清楚。

4. 总结：这有什么用？

这项研究不仅仅是为了“数老鼠”。

神经科学：帮助科学家更准确地理解大脑是如何控制社交行为的。
药物研发：在测试新药时，能自动、客观地观察药物是否改变了老鼠的社交能力（比如自闭症药物研究）。
自动化：把科学家从枯燥的数数工作中解放出来，让实验更客观、可重复。

一句话总结：
MSGL-Transformer 就像是一个拥有“变焦镜头”和“智能调音台”的超级观察员，它能同时看清老鼠社交中的“瞬间微操”和“长篇剧情”，而且不管是大鼠还是小鼠，它都能一眼识破，是动物行为研究领域的一大进步。

以下是基于论文《MSGL-Transformer: A Multi-Scale Global-Local Transformer for Rodent Social Behavior Recognition》的详细技术总结：

1. 研究背景与问题 (Problem)

背景：
啮齿类动物（如大鼠和小鼠）的社会行为分析对于理解神经机制、药物干预效果及疾病模型至关重要。传统的行为分析依赖人工观察和评分，不仅耗时费力，且容易受主观因素影响，难以捕捉快速、细微的动作或重叠的身体运动。

核心挑战：
尽管深度学习（如 CNN 和 RNN）已应用于自动化行为分析，但现有的基于骨架（Pose-based）的方法仍面临以下主要困难：

多尺度时间动态捕捉不足： 啮齿动物的行为发生在不同的时间尺度上。例如，“接近”和“跟随”是持续较长时间的全身运动，而“走开”或“社交鼻触”可能仅持续几帧，表现为细微的头部动作。现有的 Transformer 模型往往侧重于全局上下文，容易忽略短时的细微运动；而专注于局部信息的模型则难以捕捉长程依赖。
现有架构的局限性： 许多基于骨架的 Transformer 依赖预定义的空间图（Spatial Graphs）或固定的时间窗口，缺乏灵活性，且难以同时处理不同时间跨度的行为依赖。
数据不平衡： 行为数据集中通常存在严重的类别不平衡问题（如“独处”类样本极多，而“攻击”或“压制”等稀有行为样本极少），导致模型难以学习稀有但重要的行为特征。

2. 方法论 (Methodology)

作者提出了 MSGL-Transformer（多尺度全局 - 局部 Transformer），这是一种基于姿态序列的轻量级模型，旨在同时捕捉细粒度的局部运动线索和长程的行为动态。

核心架构组件：

输入表示与全局 Token：
- 输入为啮齿动物交互的姿态坐标序列（例如大鼠为 12 维，小鼠为 28 维）。
- 引入一个可学习的全局 Token（类似 ViT 中的 [CLS] 标记），作为整个序列的摘要表示，用于捕捉全局上下文。
行为感知调制模块 (Behavior-Aware Modulation, BAM)：
- 灵感来源： 受 SE-Net（Squeeze-and-Excitation Networks）通道重加权机制的启发。
- 功能： 不同于 SE-Net 对通道特征的操作，BAM 模块对**时间嵌入（Temporal Embeddings）**进行动态重加权。它通过全连接网络学习一个调制向量，根据行为上下文强调对行为分析更有信息量的运动模式，抑制不相关的特征。
多尺度注意力模块 (Multi-Scale Attention Module)：
- 这是模型的核心创新，旨在解决多尺度时间依赖问题。该模块包含三个并行分支：
  - 短程分支 (Short-range)： 仅处理前 $\lfloor T/2 \rfloor$ 帧，使用因果掩码（Causal Masking），专注于快速、细微的运动线索。
  - 中程分支 (Medium-range)： 处理所有 $T$ 帧，同样使用因果掩码，捕捉中等时间跨度的动态。
  - 全局分支 (Global)： 处理所有 $T+1$ 个 Token（包括全局 Token），使用全双向注意力（无掩码），捕捉长程交互依赖。
- 融合机制： 短程和中程分支在重叠区域取平均生成局部注意力表示 ( $A_{local}$ )，然后与全局表示 ( $A_{global}$ ) 通过残差连接和层归一化进行融合。
轻量级 Transformer 编码器与分类头：
- 融合后的特征输入到包含 2 层编码器的轻量级 Transformer 中。
- 最终提取全局 Token 的特征，经过 Dropout 和全连接层输出行为类别的概率分布。

数据预处理：

使用滑动窗口（长度 $T=35$ ，步长 1）构建重叠的时间序列样本。
对缺失的坐标值进行均值填充，并进行标准化处理。
该流程在 RatSI（大鼠）和 CalMS21（小鼠）两个数据集上通用，仅调整输入维度和类别数。

3. 关键贡献 (Key Contributions)

提出了 MSGL-Transformer 架构： 首次将多尺度全局 - 局部注意力机制引入啮齿动物行为识别，能够同时有效捕捉快速动作（短程）和持续交互（长程）。
设计了 BAM 模块： 创新性地提出了针对时间嵌入的行为感知调制机制，增强了模型对行为相关动态特征的敏感度。
摆脱了对预定义图的依赖： 与传统的骨架图卷积网络（GCN）不同，该模型直接处理姿态坐标序列，架构更轻量且灵活，无需预定义空间拓扑结构。
卓越的跨数据集泛化能力： 证明了同一套架构（仅调整输入维度和类别数）即可在物种（大鼠 vs 小鼠）、姿态配置（12 维 vs 28 维）和行为词汇完全不同的数据集上取得 SOTA 性能。

4. 实验结果 (Results)

模型在两个公开数据集上进行了评估：

RatSI 数据集： 包含大鼠的 5 种社会行为（如独处、接近、跟随等）。
- 性能： 在 9 折交叉验证中，平均准确率达到 75.4%，F1 分数为 0.745。
- 对比： 显著优于 TCN、LSTM 和 Bi-LSTM 等基线模型。
- 消融实验： 移除 BAM 或多尺度注意力模块均导致性能下降，证实了各组件的有效性。
CalMS21 数据集： 包含小鼠的 4 种行为（攻击、探索、骑跨等），数据量更大且类别不平衡更严重。
- 性能： 准确率达到 87.1%，F1 分数为 0.8745。
- 对比： 相比当前最佳方法 HSTWFormer，平均单类准确率提升了 +10.7%；同时也大幅超越了 ST-GCN、MS-G3D、CTR-GCN 等基于骨架的方法。
- 泛化性： 模型未进行任何结构修改，仅调整输入维度即实现了跨物种的优异表现。

局限性分析：

模型在稀有类别（如 RatSI 中的"Moving Away"和 CalMS21 中的"Attack"）上表现仍较弱，主要受限于样本稀缺和类别不平衡。
在行为转换边界（Transition boundaries）附近的预测准确率显著下降（从稳定期的 91.7% 降至边界附近的 57.9%），表明模型对行为边界的模糊性处理仍有提升空间。

5. 意义与展望 (Significance)

科学价值： 为神经科学和行为学研究提供了一种高效、自动化的工具，能够更准确地量化复杂的啮齿动物社会互动，有助于揭示神经机制和药物效应。
技术突破： 证明了多尺度注意力机制在处理非刚性、多时间尺度生物运动序列方面的优越性。BAM 模块的引入为时间序列特征增强提供了新思路。
通用性： 该模型展示了强大的跨域泛化能力，无需针对新物种或新数据集重新设计网络架构，降低了应用门槛。
未来方向： 作者计划通过引入类别感知损失函数（Class-aware loss）和数据增强策略来解决稀有行为识别难题，并探索边界感知训练策略以提高行为转换点的识别精度。

综上所述，MSGL-Transformer 通过创新的多尺度注意力机制和特征调制模块，有效解决了啮齿动物行为识别中“长程依赖”与“短时细微动作”难以兼顾的难题，并在跨物种泛化上取得了显著突破。