💻 computer science

A Neurosymbolic Framework for Interpretable Skeleton-Based Seizure Detection via Concept-Driven Logical Reasoning

本文引入了一种新颖的神经符号框架，该框架通过提取以患者为中心的骨架序列、预测具有临床依据的时空概念，并利用可微逻辑将这些概念组合成可审计的布尔规则，从而实现了具有可解释性且高准确率的基于视频的癫痫发作检测，同时通过对非癫痫活动进行细粒度的子类划分来减少误报。

原作者： Talha Ilyas, Deval Mehta, Zongyuan Ge

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Talha Ilyas, Deval Mehta, Zongyuan Ge

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一台计算机从患者的视频中识别癫痫发作。通常情况下，深度学习计算机就像是天才但沉默的魔术师：它们可以非常准确地告诉你“癫痫发作！”或“非癫痫发作！”，但却无法解释其中的原因。如果你问：“是什么让你这么说的？”它们只会耸耸肩。在医院里，医生无法信任一个“黑箱”，他们需要知道究竟是哪些特定的动作触发了警报。

这篇论文介绍了一个全新的系统，它不再像沉默的魔术师，而更像是一个带着清单的侦探。以下是该系统的运作方式，分为简单的几个步骤：

1. “骨架”翻译器

首先，系统会观察一段混乱的医院视频。患者可能盖着毯子，或者护士可能会走过镜头。

类比： 想象你试图透过一层雾气弥漫的窗户去观察一段舞蹈动作。
解决方法： 系统使用一个智能“追踪器”（类似于数字荧光笔）来忽略毯子和护士。它剥离了除患者骨架（关节的火柴人轮廓）以外的所有信息。这把混乱的视频转化成了一组干净的移动点。

2. “概念”词汇表（清单）

系统并非仅仅靠直觉猜测，而是基于真实的医学规则（称为 ILAE 指南）学习了一套特定的词汇。

类比： 这就像是一本运动语法书。
过程： 系统学习特定的“概念”或运动“单词”，例如：
- 空间词汇： “手臂僵硬”、“头部转动”、“腿部抽动”。
- 时间词汇： “节奏性抖动”、“突然停止”。
创新之处： 大多数系统只会说“癫痫”或“非癫痫”。而这个系统将“非癫痫”细化为更具体的类别，比如“患者在调整枕头”或“患者在抓痒”。这防止了系统将患者伸展身体误认为癫痫发作。

3. “逻辑”引擎（侦探的推理）

这是核心的“神经符号”（Neurosymbolic）部分。一旦系统识别出这些“单词”（概念），它就不会盲目猜测，而是使用逻辑规则将它们组合起来。

类比： 想象一个食谱或一个流程图。
运作方式： 系统构建如下规则：
- 如果（手臂僵硬）并且（腿部节奏性抽动）并且（头部转动）那么 = 癫痫发作。
打破“黑箱”： 因为这些规则是用清晰的逻辑（类似于数学方程）编写的，所以系统可以展示其推导过程。它可以说：“我判定这是癫痫，是因为 80% 的决策来自于‘手臂僵硬’规则，20% 来自于‘节奏性抽动’规则。”

4. 结果：更聪明、更清晰

作者在来自医院的两个公开视频数据集上对该系统进行了测试。

准确率： 它捕捉癫痫的能力比测试过的几乎所有其他方法都要好（准确率约为 90%）。
更少的误报： 通过教会系统区分“调整枕头”和“癫痫发作”，它产生的错误极少。与那些只看到“运动”的旧方法相比，它将误报率降低了近 3.5 倍。
透明度： 该系统首次提供了完整的“审计追踪”。医生可以看到究竟是哪些身体部位在运动，这些运动是如何在逻辑上组合在一起的，以及每个部分对最终决策的贡献程度。

总结

简而言之，这篇论文展示了一种用于识别癫痫的透明、基于逻辑的 AI。它不像一个只会猜测的神秘黑箱，而更像是一名医学生，它会：

画出患者的火柴人轮廓。
根据特定的医学清单检查运动“单词”。
遵循严格的逻辑食谱来判断是否为癫痫发作。
向医生展示它得出结论所走的每一个具体步骤。

作者已将所有的代码、数据和“火柴人”数据集开放给他人使用。

技术摘要：一种基于概念驱动逻辑推理的可解释骨架癫痫发作检测神经符号框架

问题陈述

基于视频的癫痫发作检测对于癫痫管理至关重要，它为脑电图（EEG）提供了一种非侵入性的替代方案。然而，现有的深度学习方法在执行此任务时面临两个主要局限性：

缺乏可解释性： 当前的最先进（SOTA）模型本质上是“黑盒”。在临床癫痫学中，决策依赖于对特定运动半影（如强直性姿势或阵挛性抽搐等可观察到的体征）的理解，这些体征由国际抗癫痫联盟（ILAE）所定义。仅能检测出癫痫发作而无法阐明其底层运动体征的模型，其临床价值有限，且阻碍了技术的应用落地。
高误报率： 大多数方法采用二分类形式（癫痫发作 vs 非癫痫发作）。这会将异质性的正常活动（例如患者调整姿势）压缩进单一的负类中，导致模型将运动剧烈的非癫痫活动误认为癫痫发作，从而导致高误报率。

方法论

作者提出了一种神经符号框架，通过整合神经感知与符号推理来解决上述问题。该框架分为三个阶段运行：

1. 数据预处理与细粒度标注

以患者为中心的姿态提取： 为了应对癫痫监测单元（EMU）视频中的独特挑战（例如，仰卧位的患者、被褥造成的遮挡），作者采用了两阶段基础模型流水线。使用 SAM 3 进行分割并追踪患者，同时利用 Sapiens-2B 提取 133 个 COCO-WholeBody 关键点。随后将这些关键点映射到标准的 25 关节 NTU RGB+D 格式，以利用预训练的图卷积网络（GCN）骨干。
细粒度活动子分类： 作者并未使用二进制的“非癫痫”标签，而是利用视觉语言模型（Qwen3-VL）结合临床提示词，将非癫痫片段细分为 8 种不同的正常活动类别。这些类别经过人工标注验证。这提供了细粒度的判别性监督，以减少误报。

2. 概念库构建

构建了一个统一的概念库 ( $C$ )，该库植根于 ILAE 运动半影和正常活动原语：

正常活动概念： 源自 NTU RGB+D 120 数据集，通过将动作分解为身体部位组，并使用大语言模型（LLM）创建“动词-方向-修饰词”模式，生成了 74 个概念（53 个空间概念，21 个时间概念）。
癫痫特异性概念： 直接从 ILAE 术语表中提取了 19 个空间概念（例如，arm_tonic_posture [手臂强直姿势]、head_versive_deviation [头部转向偏斜]），涵盖了各种癫痫类型（强直、阵挛、肌阵挛等）。
共享时间概念： 正常活动中的 21 个时间概念被共享至两种机制中，用以捕捉运动动力学。
关联矩阵： 一个 LLM 生成了一个将动作与这些概念相连的二元关联矩阵，并经过精炼以确保判别性。

3. 神经符号推理框架

核心架构通过四个阶段处理骨架序列：

时空编码器： GCN 骨干（Hyper-GCN）从骨架序列中提取运动特征。
概念瓶颈层： 特征被投影为二元概念激活值 ( $\hat{c}$ )。模型在做出最终决策前，会被监督去预测特定运动原语（如“手臂僵硬”）的存在情况。
可微逻辑层： 通过堆叠的合取（AND）和析取（OR）层，将二元概念激活值组合成布尔规则。为了实现训练，离散的布尔运算被替换为连续松弛形式（使用直通估计器/Straight-Through Estimator），从而在保持推理时离散权重的同时允许梯度流。
规则聚合： 线性层将触发的规则聚合为类别逻辑值（logits）。这产生了一个三级审计追踪：
- 概念解释： 检测到了哪些运动原语。
- 规则解释： 这些概念是如何进行逻辑组合的。
- 规则贡献度： 每个规则对最终决策的权重。

核心贡献

首个用于癫痫检测的神经符号框架： 本文提出了第一个通过学习基于 ILAE 运动概念的可微布尔规则来进行视频癫痫检测的方法，直接弥合了深度学习与临床推理之间的鸿沟。
细粒度骨架数据集： 作者通过一个以患者为中心的姿态提取流水线和 VLM 辅助标注，增强了两个公共基准数据集（SAHZU 和 IEEE），并公开了所有标注和代码。
经验验证细粒度监督的有效性： 研究表明，将细粒度正常活动监督与神经符号推理相结合，可以在保留可解释性的同时，显著降低运动密集型片段的误报率。

实验结果

该框架在 SAHZU 和 IEEE 癫痫视频 数据集上进行了评估，并与 18 种 SOTA 基准模型（包括 I3D、R3D 以及各种基于 GCN 的骨架方法）进行了对比。

性能表现：
- SAHZU： 实现了 89.78% 的敏感度，且 每小时误报数（FDR）为 0.06。与最强的骨架基准模型 HyperGCN 相比，敏感度提升了 +7.37%，FDR 降低了 68%。
- IEEE： 实现了 85.27% 的敏感度，FDR 为 0.09，在敏感度上超过最佳基准模型 +5.74%，FDR 降低了 63%。
消融实验：
- 预训练： 在 NTU-RGB+D 120 上进行预训练至关重要；移除预训练会导致敏感度下降 11.16%。
- 多标签形式： 将二分类切换为多标签（细粒度）分类使敏感度提高了 6.47%，并将 FDR 降低了 3.5 倍。
- 时间概念： 与仅包含空间概念相比，引入时间概念使敏感度提升了 9.17 个百分点。
可解释性： 与对比中的所有其他方法不同，该框架提供了完全的可解释性，能够将每次预测分解为检测到的运动原语、逻辑规则以及规则贡献度。

重要性与主张

作者声称这项工作是实现 AI 在癫痫管理领域临床转化的重要一步。通过将模型的内部推理与既定的临床指南（ILAE 半影）相对齐，该框架提供了可审计的决策过程，而非不透明的预测。将癫痫发作分解为特定逻辑规则（例如，“双侧肢体僵硬” AND “节律性抽搐”）的能力，使临床医生能够根据自身的专业知识来验证模型的推理过程。此外，通过细粒度活动建模来降低误报率，解决了在现实医院环境中部署自动化癫痫检测的主要实际障碍。作者将此定位为该特定领域中神经符号 AI 的首次探索，为未来在癫痫亚型分类及更广泛临床验证方面的工作奠定了基础。