💻 computer science

HT-Bench: Benchmarking and Learning Dexterous Full-Hand Tactile Representations with Egocentric Vision

本文介绍了 HT-Bench，一个用于灵巧全手触觉感知的规模化多任务基准测试，并提出了 HandTouch，一种矢量量化视触觉编码器，该编码器通过自我中心视觉和全手触觉数据学习触觉表示，其性能显著优于现有的基准模型。

原作者： Yuzhe Huang, Jiaping Wu, Jiaming Jiang, Hezhe Lin, Aikebaier Aierken, Yunlong Wang, Kun Cheng, Ziyuan Jiao, Yuanxin Zhong

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuzhe Huang, Jiaping Wu, Jiaming Jiang, Hezhe Lin, Aikebaier Aierken, Yunlong Wang, Kun Cheng, Ziyuan Jiao, Yuanxin Zhong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，试图教会一个机器人手去“感受”这个世界。长期以来，科学家们一直难以创建一个标准化的测试方法，这就像是试图比较来自 200 个不同果园的苹果的味道，而每个果园使用的比例尺、水果类型以及测量甜度的方式都各不相同。

这篇名为 HT-Bench 的论文通过改变游戏规则解决了这个问题。作者并没有试图强迫每只机器人手都变得一模一样，而是为那些使用腕部视觉（自我中心视觉）和全手部敏感皮肤（全手部触觉感知）的机器人创建了一个庞大的标准化“健身房”。

以下是利用简单类比对他们工作的详细拆解：

1. 问题所在：传感器混乱的厨房

目前的机器人触觉传感器就像是一个每个人都在使用不同量杯的厨房。有些传感器测量压力，有些测量滑动，而且它们的形状各异。由于这种混乱，很难判断一个机器人是真的在“学习”如何感知，还是仅仅在为一个特定的传感器记忆某种特定的技巧。

2. 解决方案：HT-Bench（“健身房”）

作者构建了 HT-Bench，这是一个包含 1000 万帧视频帧和 780 万帧触觉帧的巨型数据集。你可以把它想象成一个巨大的“电影库”，里面记录着机器人手正在进行的 226 种不同任务（比如拿起杯子或转动旋钮），我们可以看到机器人看到了什么，以及它的皮肤在每一时刻究竟是如何感受到的。

为了测试机器人的“大脑”是否擅长感知，他们不仅仅要求它完成一项工作，而是给它四种不同类型的考试：

“记忆匹配”游戏（检索）： 机器人看到一张手触摸物体的图片，并被问到：“这 20 个其他的“手部触摸”中，哪一个的感觉与这一个完全一样？”这就像是一个记忆游戏，你必须匹配的是纹理的“感觉”，而不只是外观。
“填空题”谜题（图像修复）： 想象一只手正在触摸一个球，但手上的部分传感器突然“失明”了（就像屏幕上出现了一块坏点）。机器人必须根据手的其余部分以及它看到的视觉信息，来猜测缺失的传感器应该感受到什么。
“读心术”测试（视觉到触觉）： 机器人看到了一个物体（如海绵或石头）的图片，但还没有触摸它。它必须仅凭观察物体，就能预测出皮肤上会感受到怎样的压力。这就像是看到柠檬的照片，在还没碰到它之前，本能地知道它摸起来会是酸涩且凹凸不平的。
“预言家”测试（预测）： 机器人观察一只手随时间移动并触摸物体的过程。它必须根据刚才看到的视觉和触觉信息，预测下一秒手会感受到什么。

3. 新的大脑：HandTouch

为了通过这些考试，作者构建了一个新的 AI 模型，名为 HandTouch。他们通过三个递进阶段对其进行了训练，就像学生学习一门新语言一样：

第一阶段（学习字母表）： 机器人学习观察其手部完整的触觉图谱，并完美地重建它。它学习压力如何在整个手部范围内扩散的“形状”。
第二阶段（学习阅读语境）： 机器人得到一张残缺的图谱（有部分缺失）和一张场景图片。它学习利用图片来填补触觉图谱中缺失的部分。它明白了：“如果我看到一个柔软的枕头，即使我的传感器坏了，我的手也应该感觉到柔软。”
第三阶段（学习讲故事）： 机器人学习观看一系列事件，并预测下一次的感觉。它理解了“如果一只手沿着斜坡下滑，那种感觉会以特定的方式发生变化”。

4. 结果：新的冠军

当他们把 HandTouch 送入 HT-Bench 健身房时，它碾压了竞争对手。

记忆匹配： 它在匹配相似感觉方面比之前的模型表现更好（准确率从约 75% 提升到了 85%）。
填空题： 在猜测缺失的触觉数据时，它犯错的次数大幅减少（错误率降低了一半以上）。
读心术： 它在仅凭视觉预测物体触感方面表现得更加出色。

核心结论

论文得出结论，虽然我们目前还无法为世界上所有的机器人手建立单一的测试标准，但我们可以为使用眼睛和全手部传感器的机器人建立一个庞大、高质量的标准。HT-Bench 提供了游乐场，而 HandTouch 则证明了通过正确的训练，机器人可以学会以一种聪明、适应性强且能泛化到从未见过的任务中的方式去“感受”世界。

他们并未声称：

他们没有说这个机器人现在可以进行手术或处理精密的临床任务。
他们没有声称这适用于所有类型的机器人传感器（例如仅指尖传感器或腿部的力传感器）。
他们没有说这已经可以立即在家庭中进行商业化应用；这是一个研究基准，旨在帮助未来的机器人实现这一目标。

技术摘要：HT-Bench 与 HandTouch

问题陈述

由于触觉感知的内在异质性，建立一个通用的机器人操作触觉表示学习基准目前面临困难。这种异质性源于多样化的传感器设计（硬件原理、空间布局、信号模态）、变化的机器人形态以及不一致的数据格式。与受益于标准化数据集和成熟评估协议的视觉感知不同，触觉学习仍受限于特定任务的流水线和依赖传感器的处理方式。因此，很难判断学习到的特征是具有可迁移性的触觉表示，还是仅仅是对特定任务的适应。作者认为，寻求一个能够解决所有传感器差异的单一通用基准是不切实际的。相反，他们提议探索一个可扩展且具有前景的方向：以第一视角视觉（egocentric vision）配对全手触觉数据。这一设定捕捉了以交互为中心的视觉上下文以及灵巧操作过程中的分布式接触信息，为评估触觉编码器是否能编码接触几何结构、与视觉信息对齐并泛化至未见任务提供了基础。

方法论

1. HT-Bench：大规模多任务基准

作者引入了 HT-Bench，这是一个包含约 1000 万帧 RGB 图像和 780 万帧触觉帧的基准，涵盖了各种环境（如家庭、电子工作台、化学实验室）中的 226 个多样化任务。该数据集实现了第一视角视觉与全手触觉传感器之间的同步。

为了评估泛化能力，HT-Bench 采用了**任务级分布外（OOD）**划分策略：保留一个交互任务用于 OOD 评估，而将其余任务按 9:1 的比例划分为训练集和分布内测试集。

HT-Bench 通过四个互补的任务来评估触觉表示：

细粒度触觉相似性检索： 一个 1 对 20 的检索任务，要求编码器根据结构相似性指数（SSIM）对候选触觉图进行排序，以测试其对细粒度接触几何结构的保持能力。
掩码触觉修复（Masked Tactile Inpainting）： 模型利用剩余的触觉观测和同步的视觉线索来重建缺失的触觉图区域。这测试了空间推理能力以及处理部分信息丢失（模拟传感器故障）的能力。
视觉到触觉合成（RGB-to-Tactile）： 给定单帧 RGB 图像，模型预测相应的触觉压力分布。这评估了跨模态对齐能力以及从视觉物体几何结构中推断触觉响应的能力。
多模态触觉帧预测： 模型利用近期的视觉观测（ $v_{T-2}$ ）和过去的触觉轨迹（ $t_{T-2}$ ）来预测时间 $T$ 处的触觉分布（ $t_T$ ）。这评估了时间接触建模和动态交互理解能力。

2. HandTouch：矢量量化视觉-触觉编码器

为了满足 HT-Bench 的评估需求，作者提出了 HandTouch，这是一个通过渐进式三阶段流水线训练的矢量量化视觉-触觉编码器：

阶段 1：矢量量化触觉重建（空间拓扑）：
- 一个卷积层将归一化的触觉图标记化为补丁（patches），随后由 8 层 Vision Transformer (ViT) 编码器进行处理。
- 一个带有共享码本（ $K=2048$ ）的**分解矢量量化器（factorized vector quantizer）**将连续的潜在特征投影到离散的标记空间。
- 为了防止码本崩溃，采用了码本重启机制，利用当前批次中的活跃特征重新初始化利用率低的条目。
- 其目标是从量化后的标记中重建输入的触觉图，从而学习具有结构判别性的空间拓扑。
阶段 2：跨模态掩码触觉修复（视觉-触觉对齐）：
- 模型学习使用剩余的触觉数据和同步的视觉线索来重建受损的触觉图。
- 采用基于课程的学习双重掩码策略：
  - 区域随机掩码： 掩盖特定的手部部位（拇指、手指、手掌）以模拟局部丢失。
  - 完全掩码： 掩盖整个触觉图，迫使模型主要从视觉上下文中推断触觉响应。完全掩码的概率随训练过程增加。
- 视觉特征（来自预训练的冻结 ViT）通过**交叉注意力（cross-attention）**注入触觉解码器。此外，还添加了一个可学习的手部特定标记（ $t_{hand}$ ）以解决左右手的几何歧义。
阶段 3：多模态触觉帧预测（时间动态）：
- 模型整合近期的视觉观测和过去的触觉历史，以预测未来的触觉分布。
- 此阶段微调预测模块、共享码本和解码器，以捕捉接触状态的时间演变。

核心贡献

HT-Bench： 引入了一个专门针对灵巧全手触觉感知的规模化多任务基准，其特点是同步的第一视角视觉和触觉数据，并采用任务级 OOD 划分来严格评估泛化能力。
HandTouch： 一种新型矢量量化视觉-触觉编码器，通过渐进式的空间、跨模态和时间训练目标来学习可迁移的表示。
全面评估： 一个多维度的评估框架，通过评估接触几何编码、视觉对齐以及对未见任务的泛化能力，超越了单一的下游目标。

实验结果

在 HT-Bench 上的实验表明，HandTouch 一致优于代表性的基准模型（包括基于 CNN、ResNet-18、VQ-VAE 和 ViT 的编码器）：

细粒度检索： 与最强的基准模型（基于 ViT）相比，HandTouch 将 Recall@5 从 74.65% 提升至 85.23%，并将 Hit@1 从 94.27% 提升至 99.27%。
掩码触觉修复： 在标准测试集上，HandTouch 将全图 RMSE 从 0.022 降低至 0.010，并将 cIoU 从 0.762 提高至 0.911。它在 OOD 切分上也保持了卓越的性能。
视觉到触觉合成： HandTouch 将 OOD cIoU 从 0.628 提高到 0.705，表明其具有更强的跨模态生成和泛化能力。虽然 VQ-VAE 在 OOD 设置下的 RMSE 略低，但 HandTouch 实现了显著更高的 cIoU，这表明其能更好地捕捉尖锐且局部的接触模式。
时间预测： HandTouch 在分布内和 OOD 设置下均展示了准确的触觉分布预测能力，验证了其建模时间接触动态的能力。

意义与主张

本文声称 HT-Bench 为评估和推进灵巧操作中的触觉表示学习提供了一个规模化且实用的基础，特别是在第一视角视觉配对全手感知的范畴内。通过将重点从一个（目前尚不切实际的）通用基准转向一个可扩展的、数据驱动的方法，作者旨在回答一个前提问题：什么才是有效的全手触觉感知表示骨干网络。

作者断言，HandTouch 证明了渐进式训练（空间、跨模态、时间）和矢量量化在学习具有结构判别性、视觉对齐且具备时间感知能力的表示方面的有效性。结果表明，大规模的第一视角全手触觉数据可以作为通用触觉表示学习的基础。

本文对研究范围保持了适度的审慎，承认 HT-Bench 尚未涵盖所有的触觉感知范式（例如，仅指尖传感器、力/力矩传感或非手部形态），并且目前的评估侧重于表示层面的能力而非直接的下游机器人性能。作者指出，未来的工作有必要将该基准扩展到更广泛的硬件，进行更深入的消融研究，并在真实的闭环操作任务中验证其性能。