💻 computer science

Shared Representation for 3D Pose Estimation, Action Classification, and Progress Prediction from Tactile Signals

该论文提出了名为 SCOTTI 的共享卷积 Transformer 模型，利用多任务学习机制从足部触觉信号中同时实现 3D 人体姿态估计、动作分类及进度预测，并发布了包含 15 名参与者、7 小时时长的新型数据集，在各项任务上均优于现有独立学习方法。

原作者： Isaac Han, Seoyoung Lee, Sangyeon Park, Ecehan Akan, Yiyue Luo, Joseph DelPreto, Kyung-Joong Kim

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Isaac Han, Seoyoung Lee, Sangyeon Park, Ecehan Akan, Yiyue Luo, Joseph DelPreto, Kyung-Joong Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一项非常酷的技术，我们可以把它想象成给机器人装上了一双“会思考的脚”。

1. 核心问题：机器人怎么“看”懂人？

想象一下，你想教一个机器人怎么帮你做运动，或者怎么在你跌倒前扶住你。

传统方法（用眼睛看）： 就像让人类用摄像头盯着你。但这有个大问题：如果你被家具挡住了（遮挡），或者你在卧室这种私密空间（隐私问题），摄像头就失效了。
新方法（用脚底感觉）： 这篇论文提出，不如让机器人通过你脚底的压力来“感觉”你在做什么。就像盲人用手杖探路一样，脚底的压力传感器能告诉你你的姿势、动作类型，甚至动作进行到了哪一步。

2. 以前的痛点：三个“单科生”

以前，科学家研究脚底传感器时，通常是把任务拆开的：

一个模型专门猜你的姿势（比如你是站着还是蹲着）。
一个模型专门猜你在做什么动作（比如是在跑步还是跳绳）。
一个模型专门猜动作进行到一半了还是快结束了。

这就好比让三个不同的学生分别去考试，他们互不交流，各自为战。结果往往是：虽然都能做，但都不够完美，而且效率低。

3. 主角登场：SCOTTI（一个“全能学霸”）

这篇论文提出了一个叫 SCOTTI 的新模型。你可以把它想象成一个超级全能的天才学生。

它的秘密武器： “共享大脑”。它不再把任务分开，而是让这三个任务（猜姿势、猜动作、猜进度）共用同一个“大脑”（共享特征表示）。
怎么工作？ 就像你走路时，脚底的压力变化不仅告诉你“我在走”（动作），还告诉你“我抬起了左脚”（姿势），同时也暗示“这一步快迈完了”（进度）。SCOTTI 发现，这三个信息其实是互相帮忙的。
- 知道了动作类型，猜姿势就更准了。
- 知道了姿势，猜进度就更准了。
- 这种“三人行，必有我师”的多任务学习，让它在所有任务上都比以前的“单科生”强得多。

4. 它的“超能力”来源：一双特制的“智能鞋垫”

为了训练这个天才，研究团队做了一双很特别的无线智能鞋垫：

像蜘蛛网一样密： 每只鞋垫里有 500 多个微小的压力传感器，像蜘蛛网一样铺满脚底，能捕捉到非常细微的压力变化。
便宜又好用： 成本只要 50 美元左右，而且无线传输，不用拖着线，穿上去就能走。
海量数据： 他们找了 15 个人，穿着这双鞋垫做了 7 个小时的各种动作（深蹲、弓步、跳跃、各种走法），收集了 20 多万组数据。这就像给天才学生喂了海量的“练习题”。

5. 实验结果：它有多强？

猜姿势： 以前猜脚的位置可能差 10 厘米，现在能精确到几厘米。
猜动作： 准确率高达 90%，比以前的方法高出了 5 个百分点。
猜进度（这是首创！）： 这是以前没人用脚底传感器做过的事。比如你做深蹲，它能精准告诉你：“你现在下到了 30%，快到底了，准备起立”。这就像给机器人装了一个“动作进度条”。

6. 有趣的发现：脚底哪里最重要？

研究人员还发现了一个有趣的现象：

脚心是“主力军”： 脚底中间的区域（脚心）对判断动作最重要，因为这里接触地面最稳。
脚后跟反而没那么重要： 这有点反直觉，因为脚后跟通常受力很大，但研究发现脚心的压力变化模式更能反映复杂的动作细节。

总结

简单来说，这篇论文就是发明了一个**“脚底读心术”。
它不再需要摄像头盯着你，而是通过你脚底的压力，同时告诉你“你是谁（姿势）”、“你在干嘛（动作）”以及“你做到哪一步了（进度）”**。

未来应用：

机器人助手： 在你做运动时，机器人能实时纠正你的姿势，或者在你快摔倒时精准扶你一把。
老年人护理： 监测老人的步态，判断他们是否走路不稳，预防跌倒。
体育训练： 分析运动员的动作细节，帮助提升成绩。

这就好比给机器人装上了一双“有感觉的脚”，让它们能更自然、更隐私地理解和帮助人类。

1. 研究背景与问题 (Problem)

核心挑战：
在人机交互（HRI）中，准确估计人体姿态、分类动作类型以及预测动作进度至关重要。然而，现有的基于视觉的方法存在明显局限性：

遮挡问题： 在复杂环境中，人体容易被遮挡。
隐私担忧： 摄像头采集涉及隐私问题。
环境依赖： 需要特定的安装空间和基础设施。

现有触觉方法的不足：
虽然触觉传感（如足底压力）具有抗遮挡、保护隐私且能提供力/压力信息的优势，但以往的研究通常将以下三个任务独立处理：

3D 人体姿态估计 (3D Pose Estimation)
动作分类 (Action Classification)
动作进度预测 (Action Progress Prediction)

这种独立学习的方式导致了次优的性能，因为人体的姿态、动作类型和运动进度在本质上是紧密相关的。此外，目前尚无利用足部触觉信号进行动作进度预测的相关研究。

研究目标：
提出一种统一的多任务学习框架，通过共享表示（Shared Representation）同时解决上述三个任务，利用任务间的相互促进作用提升整体性能，并首次探索基于足部触觉信号的动作进度预测。

2. 方法论 (Methodology)

A. 硬件与数据集 (Hardware & Dataset)

传感器硬件： 研究团队开发了一种定制的无线可穿戴鞋垫传感器（Insole Sensor）。
- 基于压阻式压力传感技术，每只脚包含超过 500 个传感器点。
- 成本低（约 50 美元/个），支持无线传输（16Hz），无需额外基础设施。
数据集构建：
- 规模： 15 名参与者，总时长超过 7 小时，包含 20 万 + 帧同步的触觉与视觉数据。
- 动作类别： 8 种活动，包括深蹲、弓步、跳跃、上台阶、侧向行走、原地行走、向后行走和普通行走。
- 真值标注： 使用多视角动作捕捉系统（XRmocap）获取 3D 姿态真值。
- 进度标签创新： 首次定义了基于触觉信号的动作进度标签 $p \in [0, 1]$ 。通过监测特定关节（如髋部）的垂直位置或脚后跟距离等指标 $h$ 的周期性变化，将动作划分为起始（ $p=0$ ）、中点（ $p=0.5$ ）和结束（ $p=1$ ），并线性插值计算连续进度。

B. 模型架构：SCOTTI

提出的模型名为 SCOTTI (Shared COnvolutional Transformer for Tactile Inference)。

输入： 左右脚在时间窗口 $T$ 内的触觉信号序列（2D 压力帧）。
空间特征提取 (CNN)： 使用卷积神经网络（CNN）独立处理每一帧触觉图像，提取空间特征，并通过全连接层投影到嵌入空间。
时序建模 (Transformer)：
- 将时间步的嵌入向量拼接，并添加可学习的 Class Token 和 位置编码。
- 输入 Transformer 编码器，捕捉长距离的时间依赖关系和全局上下文。
共享表示与多任务头：
- Transformer 输出经过加权平均池化，生成共享的触觉表示。
- 该共享表示被送入三个独立的多层感知机（MLP）解码器，分别预测：
  1. 3D 人体姿态 (Pose)
  2. 动作类别 (Action Class)
  3. 动作进度 (Progress)
损失函数： 总损失为三个任务损失的加权和：
$L_{total} = w_{pose} L_{pose} + w_{action} L_{action} + w_{progress} L_{progress}$
其中姿态损失包含 MPJPE（关节位置误差）和 MPJAE（关节角度误差），分类使用交叉熵，进度预测使用均方误差 (MSE)。

3. 关键贡献 (Key Contributions)

统一的多任务模型 (SCOTTI)： 首次提出利用共享表示同时解决 3D 姿态估计、动作分类和动作进度预测，证明了多任务学习在触觉数据上的有效性。
首创触觉进度预测： 首次将触觉信号应用于动作进度预测任务，扩展了触觉感知研究的边界。
大规模数据集发布： 收集并计划开源一个包含 15 名参与者、7 小时时长、8 种多样化动作的大规模同步触觉 - 视觉数据集，填补了该领域数据匮乏的空白。
性能突破： 实验表明，SCOTTI 在所有三个任务上均优于现有的单任务基线模型及多任务版本的基线模型。

4. 实验结果 (Results)

实验在“未见过的参与者”（Unseen Subjects）上进行，确保模型的泛化能力。

3D 姿态估计：
- SCOTTI 的 MPJPE 为 96.63 mm，优于所有基线（如 Voxel-CNN: 104.91 mm, Res-CNN: 98.51 mm）。
- 相比单任务模型，多任务学习使姿态估计误差降低了约 5mm。
动作分类：
- 准确率达到 90.06%，比最先进的单任务基线 STAT (84.56%) 高出约 5.5 个百分点。
- 混淆矩阵显示，模型能很好地区分不同动作，但在触觉模式相似的动作（如“上台阶”与“侧向行走”）之间存在少量混淆。
动作进度预测：
- MSE 为 0.0223，远低于随机猜测基准 (0.1448)。
- 平均进度精度 (APP) 达到 0.8952，显著优于其他方法。
消融实验分析：
- 共享表示的重要性： 将 SCOTTI 拆分为单任务模型后，所有任务性能均下降（例如姿态估计 MPJPE 从 96.63 升至 101.61），证明了任务间存在显著的互补性。
- 特征可视化 (t-SNE)： 共享特征空间显示出清晰的结构。例如，交替行走类动作（如原地走、弓步）在特征空间中形成环形结构，进度值沿环从 0 到 1 变化；跳跃动作则形成独立线段。这证明模型学到了具有物理意义的共享特征。
- 区域重要性： 分析显示，足部中心区域对任务贡献最大，而足跟和边缘区域的重要性较低，这与人体运动力学一致。

5. 意义与影响 (Significance)

技术层面： 证明了触觉信号不仅适用于姿态估计，还能有效捕捉动作的语义（分类）和时间动态（进度）。SCOTTI 架构展示了 CNN 与 Transformer 结合在处理时空触觉数据上的潜力。
应用层面：
- 人机交互与机器人： 使机器人能在不依赖视觉的情况下，实时理解人类的意图、当前动作状态及完成度，从而在更合适的时机提供辅助（如康复机器人、外骨骼）。
- 隐私保护： 为家庭、工作场所等隐私敏感环境提供了可靠的感知方案。
- 健康与体育： 该数据集和模型可应用于老年人跌倒检测、日常活动监测、运动训练分析（如深蹲深度和节奏分析）等领域。
社区贡献： 开源的数据集和传感器设计将推动触觉感知领域的进一步发展，降低研究门槛。

总结： 该论文通过 SCOTTI 模型和大规模数据集，成功解决了多任务触觉感知的难题，不仅提升了各项任务的精度，还开创了基于触觉的动作进度预测新方向，为未来更智能、更隐私友好的人机交互系统奠定了基础。