🤖 AI

Neurosymbolic Framework for Concept-Driven Logical Reasoning in Skeleton-Based Human Action Recognition

本文提出了一种基于骨架的人体动作识别的神经符号框架，通过将运动基元映射到可解释的逻辑概念，弥合了深度学习与符号推理之间的鸿沟，从而在实现具有竞争力的性能的同时提供透明且人类可读的解释。

原作者： Talha Ilyas, Deval Mehta, Zongyuan Ge

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Talha Ilyas, Deval Mehta, Zongyuan Ge

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教计算机理解人类的动作，比如一个人跳跃、挥手或戴上眼镜。目前，大多数计算机程序是通过查看一个“黑盒”来做到这一点的。它们观察骨架的移动并猜测动作，但无法告诉你为什么会做出这样的猜测。这就像一个在数学考试中答对了题，却无法展示解题过程的学生。

本文介绍了一种名为REASON的新系统，它更像一位人类教师。它不只是猜测，而是将动作分解为小的、可理解的“概念”，并利用逻辑规则来推断正在发生什么。

以下是其工作原理，使用简单的类比说明：

1. “概念库”（词汇表）

想象你要描述一段舞蹈。你可以只说“他们动了”，但这很模糊。相反，你可以将其分解为具体的动作：“手臂上举”、“膝盖弯曲”、“向前移动”、“快速”。

研究人员利用智能人工智能（大语言模型）构建了一个概念库，生成了这些具体动作概念的字典。

空间概念：这些关乎身体部位在哪里（例如，“手臂举起”、“膝盖弯曲”）。
时间概念：这些关乎动作如何以及何时发生（例如，“向上移动”、“手先动”、“快速”）。

这至关重要，因为两个动作在定格画面时可能看起来一样（例如戴上眼镜与摘下眼镜），但动作的方向和顺序是不同的。该系统学习这些“基于时间”的线索来区分它们。

2. 翻译器（解码器）

计算机首先查看原始骨架数据（关节的点和线）。这就像看一团乱涂乱画的笔迹。
系统使用一种特殊的翻译器（STC-解码器）将那些杂乱的笔迹转化为来自概念库的清晰“概念”列表。

类比：这就像翻译器将外语转换为英语单词。计算机看到“关节在移动”，翻译器则说：“啊，这意味着‘手臂上举’和‘向上运动’。”

3. 逻辑引擎（推理）

一旦计算机拥有了概念列表，它就不会只是猜测动作。它使用逻辑规则，类似于流程图或食谱。

类比：想象一名保安在检查规则清单。
- 规则 1：如果（腿部弯曲）且（身体向上移动）且（手臂摆动）→ 那么这就是跳跃。
- 规则 2：如果（手靠近脸部）且（运动方向是向上）→ 那么这就是戴上眼镜。
- 规则 3：如果（手靠近脸部）且（运动方向是向下）→ 那么这就是摘下眼镜。

系统会自动学习这些规则。它会找出哪些概念的组合会导致哪种动作。

4. 为何这很特别（“玻璃盒”）

大多数 AI 模型都是“黑盒”——你输入数据，得到一个答案，但你不知道中间的步骤。
这个系统是一个“玻璃盒”。因为它使用逻辑规则，你可以查看内部，确切地看到发生了什么：

“计算机认为这是跳跃，因为它看到了‘腿部弯曲’和‘向上运动’。”
如果计算机犯了错误，你可以确切地看到它搞错了哪个“概念”（例如，它认为运动方向是“向下”，而实际上是“向上”）。

结果

研究人员在标准数据集上测试了该系统，这些数据集用于让计算机识别人类动作。

性能：它的表现与最先进的“黑盒”模型一样好，甚至更好。
可解释性：与其他模型不同，它能够用清晰的英语逻辑解释其推理过程（例如，“我选择‘跳跃’是因为腿部弯曲且身体向上移动”）。

总结

本文提出了一种系统，它不仅仅记忆“跳跃”看起来是什么样。相反，它学习跳跃的成分（弯曲腿部、向上移动）以及将它们组合起来的食谱（逻辑规则）。这使得计算机能够以一种既高度准确又易于人类理解和信任的方式来理解人类动作。

技术摘要：REASON——一种基于骨架的人体动作识别中概念驱动的神经符号逻辑推理框架

问题陈述

基于骨架的人体活动识别（HAR）利用深度学习模型（特别是图卷积网络 GCN）已取得强大的实证性能。然而，这些模型作为“黑盒”运行，缺乏可解释性。这种不透明性在医疗和康复等高风险领域尤为 problematic，因为这些领域需要透明的决策过程。此外，现有的神经符号方法面临根本性的整合挑战：

符号接地：将连续的关节轨迹与离散的符号谓词联系起来十分困难。传统的启发式方法（例如“膝盖角度 < 90°"）脆弱不堪，在姿态变化或视角改变时会失效。
时间动态：动作本质上是时间性的。纯粹的空间逻辑无法区分具有相似静态姿态但执行顺序或运动方向不同的动作（例如“戴眼镜”与“摘眼镜”）。
端到端学习：离散布尔算子通常会阻断梯度传播，阻碍感知（特征提取）与推理（规则应用）的联合优化。

方法论：REASON 框架

作者提出了REASON（基于符号概念的可解释规则动作），这是一个神经符号框架，将动作识别重构为基于可学习运动原语的概念驱动的一阶逻辑推理。该框架通过四个关键阶段运行：

1. 概念库生成

作者不依赖人工启发式方法，而是利用三阶段大型语言模型（LLM）流水线构建了一个包含空间、时间和交互运动原语的概念库 $\mathcal{C}$ ：

描述生成：一个 LLM（GPT-3）将动作分解为细粒度的身体部位描述（例如，“腿部：在膝盖处弯曲然后爆发式推起”）。
抽象与聚类：原始描述通过提取“动词 - 方向 - 修饰语”模式转换为规范概念，对其进行嵌入并通过 k-means 进行聚类。这产生了空间概念（例如“手臂上举”、“腿部跳跃”）。
时间与交互定义：定义了明确的时间概念以捕捉运动方向（向上运动）、序列（手先动）和动态（速度快）。交互概念处理相互动作。
关联：第二个 LLM（LLaMA-3.2）将动作与概念库匹配，创建一个二元关联矩阵 $M$ ，其中如果概念 $c$ 对动作 $a$ 处于激活状态，则 $M_{a,c}=1$ 。最终的概念库包含 74 个概念（52 个空间概念，21 个时间概念，1 个交互概念）。

2. 骨架表示学习

一个标准的时空骨架编码器（例如 Hyper-GCN）处理输入序列 $X \in \mathbb{R}^{T \times V \times 3}$ ，不进行全局池化以保留细粒度的运动信息。编码器输入到三个分支：

STC 解码器：预测概念激活。
文本对齐：使用对比损失（ $L_{align}$ ）将池化后的骨架特征与概念接地的文本嵌入（由带有 LoRA 微调的 CLIP 编码器生成）进行对齐。这确保了骨架特征与其语义描述聚类在一起。
部分发散：一个损失函数（ $L_{div}$ ）惩罚不同身体部位特征之间的高余弦相似度，确保每个解剖区域具有判别性表示。

3. 时空概念解码器（STC-Decoder）

该模块连接连续特征与符号谓词。它将编码器特征解耦为空间（ $F_s$ ）和时间（ $F_t$ ）流。

分组解码：为了处理异构概念关系的复杂性，概念被划分为组。可学习的查询矩阵执行交叉注意力，以选择性地聚合与特定概念子集相关的骨架信息。
预测：一个分组全连接层将这些查询投影为软概念概率 $\hat{c} \in [0, 1]^{|\mathcal{C}|}$ 。

4. 可微分一阶逻辑推理

为了在保持离散可解释性的同时实现端到端训练：

二值化：使用直通估计器（STE）将软预测二值化（ $\bar{c} = \mathbb{I}[\hat{c} > 0.5]$ ），以允许梯度流动。
逻辑层：堆叠的合取（AND）和析取（OR）层将概念组合成规则。
梯度嫁接：在前向传播过程中，使用离散操作和权重进行推理。在反向传播过程中，梯度通过连续松弛（软 AND/OR）计算，并“嫁接”到离散路径上，从而能够学习稀疏、可解释的逻辑规则。
分类：线性分类器将规则激活映射为最终的动作预测。

主要贡献

REASON 框架：一种新颖的神经符号公式，用于基于骨架的 HAR，它将概念接地表示与可微分一阶逻辑相结合，以实现端到端训练。
STC-Decoder：一种专用解码器，独立提取空间身体构型和时间运动动态概念，提供针对执行变化的鲁棒抽象。
概念库：为 NTU RGB+D 和 NW-UCLA 数据集精心策划的包含 74 个空间和动态运动概念的库，通过 LLM 生成，以确保语义丰富性而无需人工枚举。
可解释性：该系统提供局部可解释性（实例特定的概念激活）和全局可解释性（支配动作语义的人类可读逻辑规则）。

实验结果

该框架在NTU RGB+D 60/120和NW-UCLA基准上进行了评估。

性能：REASON 取得了具有竞争力的性能，超越了几个黑盒基线。
- 在**NTU RGB+D 60 (X-Sub)上，它达到了94.3%**的准确率（4 流），优于 Hyper-GCN（93.7%）和 BlockGCN（93.1%）等强大的 GCN 基线。
- 在NTU RGB+D 120 (X-Set)上，它达到了91.9%。
- 在NW-UCLA上，它达到了97.9%。
LLM 重排序：一个可选的、基于概念激活的 LLaMA-3.2 7B 重排序阶段进一步将性能提升至95.6%（NTU-60 X-Sub）和93.2%（NTU-120 X-Set），优于其他依赖不透明特征的 LLM 增强方法。
消融研究：
- 时间概念：在空间概念基础上添加时间概念使准确率提高了**+7.8%**，证实了它们在区分相似姿态方面的必要性。
- 逻辑层容量：128 节点配置为最优；禁用否定导致准确率灾难性下降至 49.87%，突显了 $\neg$ 概念（例如通过 $\neg$ 腿部行走来区分站立与行走）的必要性。
- 概念干预：纠正逻辑链中预测错误的概念单调地提高了准确率（3 次纠正最高提升 +5.67%），证明错误主要源于概念预测错误而非逻辑规则缺陷。

意义与主张

本文主张神经符号推理是用于可解释时空动作理解的有效范式。通过将骨架表示接地于可学习的运动概念，并通过可微分逻辑将它们组合，REASON 在保持完全透明的概念 - 规则推理链的同时，实现了最先进的性能。

与依赖事后解释或脆弱的手工规则的先前的工作不同，REASON 直接从数据中学习定义动作的规则。作者强调，这种方法能够系统地分析正确分类和失败案例，为安全关键应用中的可信 AI 提供了一条途径，在这些应用中，预测背后的“为什么”与预测本身同样重要。该框架证明了在不牺牲准确性或可扩展性的情况下，弥合神经感知与符号推理之间的鸿沟是可能的。