技术摘要：SocioGesture

问题陈述

人机交互（HRI）要求机器人不仅要理解显式的语言指令，还要能够解读隐式的社会线索，例如邀请、拒绝以及无法沟通的信号。误解这些线索可能导致社交失礼或不安全的行为（例如，在收到“停止”信号时仍进行靠近）。然而，在现实世界部署中识别这些手势面临着一组独特的挑战，这些挑战与离线视频分类截然不同：

1. 感知噪声： 机器人运行在存在局部遮挡、视角变化、光照变化以及关键点间歇性失效的环境中，这尤其会影响手部和手臂等细小但关键的身体部位。
2. 延迟约束： 交互流会被延迟的响应所中断；系统必须在车载边缘设备上实现实时运行。
3. 部署的开放性： 实际系统必须能够在不损害安全性的前提下，适应实地遇到的不确定或此前未见的各种手势风格。
4. 冲突的需求： 能够进行丰富视频推理的模型通常过于缓慢或依赖云端，无法用于安全的闭环控制；而轻量级的车载模型在姿态估计器失效时往往表现脆弱。

现有的基于骨骼的动作识别方法通常在脱离机器人控制的精选离线基准测试集上进行评估，未能解决可部署的感知-控制环路对鲁棒性和适应性的需求。

方法论

SocioGesture 是一个实时、自适应的社会手势感知系统，旨在解决低延迟车载推理与鲁棒、自适应学习之间的矛盾。该系统通过两条不同的路径运行：用于即时行为选择的在线路径和用于模型适配的离线路径。

1. 置信度感知的骨骼编码

SocioGesture 并没有丢弃缺失关节的帧，而是为每一帧 $t$ 和每个关节 $j$ 保留了一个紧凑的 9 通道关节特征：
$$x_{t,j} = [p_{t,j}, c_{t,j}, p_{t,j} - p_{t-1,j}, b_{t,j}, \Delta b_{t,j}]$$
其中 $p$ 代表坐标，$c$ 是来自姿态估计器的置信度分数，$b$ 是相对于父关节的骨骼向量，$\Delta b$ 是骨骼运动。这种表示法使模型能够区分静止可见的手部与不可靠/缺失的手部，从而使部分观测到的窗口仍可使用。

2. 轻量级双流身体-手部模型

该架构采用双流设计，将粗略的身体姿态 ($X_B$) 与精细的手部关节运动 ($X_H$) 分离开来。

• 编码： 两个轻量级的图时间骨干网络 ($f_B, f_H$) 对两条流进行编码。
• 融合： 两条流通过时间交叉注意力机制交换信息。
• 效率： 不同于需要多次推理过程的多流集成模型，SocioGesture 通过单次前向传播完成特征融合与分类，从而降低了边缘部署的推理成本。
• 不确定性估计： 使用熵、身体与手部辅助头之间的分歧度以及平均骨骼置信度来计算不确定性得分 $u$。该得分并不直接驱动行为，而是标记用于离线标注的片段。

3. 遮挡感知训练

为了在不增加推理时开销的情况下提高鲁棒性，模型采用了**结构化骨骼损坏（structured skeleton corruption）**进行训练。这包括：

• 弱增强： 翻转、缩放、时间偏移和与置信度成比例的噪声。
• 结构化损坏： 手部掩码、手臂-手部掩码、手部时间性消失以及随机关节掩码。
• 损失函数： 训练目标结合了针对干净视图和损坏视图的有监督交叉熵，以及一个（在早期轮次中逐渐增加权重的）一致性项，以对齐干净输入与损坏输入之间的预测。

4. 不确定性驱动的离线适配

系统实现了闭环适配策略：

• 筛选： 具有高不确定性得分的交互片段会被连同配对的 RGB 数据和骨骼数据一起保存。
• 标注： 这些片段由更强大的云端视频理解模型（例如 Gemini 2.5 Flash）进行离线标注。
• 扩展： 通过复制原始权重并初始化新权重，来扩展分类器以包含新的手势类别。
• 微调： 模型在包含人类标注数据（重演/rehearsal）和伪标签部署数据的混合数据集上进行微调，并在验证后重新部署。

核心贡献

1. 可部署系统： 一个连接了车载身体-手部姿态估计与保守机器人行为的闭环系统，实现了即时行动与缓慢适配的分离。
2. 紧凑表示与模型： 一种置信度感知的骨骼表示法和一个轻量级的双流身体-手部融合模型，通过单次前向传播进行评估，以实现低延迟的边缘推理。
3. 通过训练提升鲁棒性： 遮挡感知训练显著提高了模型对缺失手部和手臂的鲁棒性，且无需增加推理时的计算量。
4. 自适应词汇表： 一个不确定性驱动的离线适配环路，可以在扩展手势词汇表的同时保持对原始类别的性能。

实验结果

该系统在一个收集自混合室内外 HRI 场景的 7 类社会手势数据集上进行了评估，涉及 10 名受试者和 7,055 个骨骼窗口。

• 识别准确率： 系统实现了 96.6% 的干净数据准确率（LOSO 交叉验证）。在结构化遮挡下，它展示了极强的鲁棒性：手部遮挡下的准确率从 31.8%（标准模型）提升至 84.9%，手臂遮挡下的准确率从 28.3% 提升至 79.5%。
• 延迟： 在搭载 NVIDIA Jetson Thor 的机器人上，全栈流水线（检测、跟踪、姿态、手势）针对单人运行速度为 25 ms/帧（实现 30 FPS 实时运行），针对三人运行速度为 42 ms。
• 离线适配： 当使用伪标签部署片段将类别从 7 类扩展到 10 类时，模型在新的 10 类测试集上达到了 87.9% 的整体准确率。至关重要的是，对原始 7 类别的准确率保持在 98.5% 不变，证明了重演机制保留了原始词汇表。
• 实机部署： 在包含 5 名未见受试者的实机闭环测试（150 次试验）中，系统正确识别手势的比例为 97.3%。行为成功率（正确执行动作）为 79.3%，大多数失败案例属于“保守非行动”（机器人等待）而非错误行动，这对于欢迎型机器人来说是一种安全的权衡。

意义与主张

论文声称 SocioGesture 为交互式机器人的鲁棒、高效且自适应的社会感知提供了一条切实可行的路径。其意义在于：

• 解耦安全性与学习： 通过将即时的、保守的行为选择与缓慢的、数据驱动的适配分离，系统在确保安全性的同时，允许机器人从现实世界的交互中学习。
• 对现实世界噪声的鲁棒性： 遮挡感知训练证明了模型可以在不牺牲速度或需要复杂的推理时集成的情况下，针对机器人搭载的姿态估计器的特定失效模式（如手部/手臂缺失）实现鲁棒性。
• 可扩展性： 不确定性驱动的适配环路表明，机器人可以在部署后扩展其交互词汇表，而无需从头开始重新训练或需要大量的全新人工标注数据集。

作者将 SocioGesture 定位为不仅仅是一个追求 SOTA（最先进水平）的离线动作识别基准测试，而是针对可部署 HRI 特定工程约束的解决方案：低延迟、对传感器失效的鲁棒性，以及在开放式社会环境中进行适配的能力。