💻 computer science

HOPE: Hand-Object Pressure Estimation from Monocular Videos

该论文提出了HOPE，这是一个通过将多样化的触觉与接触数据统一到共享顶点空间中，并采用顶点锚定的视频 Transformer，从而从单目视频中估计手部网格上随时间演变的逐顶点压力与接触的创新框架，进而实现了超越以往平面或单幅图像方法局限性的、针对动态手物交互的鲁棒压力估计。

原作者： Subin Jeon, Byungjun Kim, Hanbyul Joo

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Subin Jeon, Byungjun Kim, Hanbyul Joo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在看一场魔术表演。魔术师从帽子里变出了一只兔子，你能看到兔子的动作、毛发的颜色以及帽子的倾斜方式。但你无法“感觉”到这只兔子。你不知道魔术师是在温柔地抚摸它，还是在用力挤压它。在机器人和计算机的世界里，这是一个巨大的难题。我们的摄像头可以“看到”手抓取物体的动作，但对挤压这种无形的力却是盲目的。这个被称为计算机视觉的领域，正试图教会机器理解物理世界，而不仅仅是它的外观。长期以来，科学家们只能通过观察手是否接触像桌面这样平坦、单调的表面来猜测手的压力大小，即便如此，这依然非常困难。但现实生活是复杂的。我们会抓取圆润的苹果，挤压柔软的枕头，或者使用各种工具。为了制造出能够烹饪、清洁或在虚拟现实中帮助我们的机器人，它们不仅需要知道手在哪里接触了物体，还需要知道在皮肤上的每一个点上是如何用力挤压的。

由此诞生了 HOPE（手部-物体压力估计），这是一种全新的方法，它就像是一个能够看透握手时无形力量的超级 X 光机。HOPE 不需要特殊的传感器手套或平面压力垫，它只需观察一段普通的真人手部视频，就能推测出皮肤上的压力分布图。你可以这样理解：如果你的手是由 778 个微小的、隐形的点组成的 3D 网格，HOPE 会准确地告诉你每个点是如何向物体施压的。研究人员发现，通过将佩戴传感器手套的手部视频（提供精确的压力数值）与赤手触摸物体的视频（提供接触线索）相结合，他们可以教会计算机在没有任何接触感应的情况下也能“感知”压力。他们证明了该系统不仅适用于手套，还适用于平坦的桌面，甚至能应用于人们抓取随机物体的各种日常视频中，能够同时预测接触发生的位置以及挤压的强度。

问题所在：看见并不等于感觉到

想象一下，仅仅通过观看别人手的视频来学习弹钢琴。你能看到他们的手指在移动，但你无法感受到琴键的重量或发出声音所需的压力。这就是当今计算机面临的挑战。它们擅长识别手是否靠近杯子，但很难知道手是在轻轻握住杯子，还是即将把它捏碎。以往解决这一问题的尝试就像是通过观察墙上的平面影子来测量鱼的重量。如果鱼躺在平坦的桌子上，这些方法效果尚可；但一旦鱼进入了一个拥有曲线和角度的 3D 世界，测量就会失效。此外，大多数这类方法都需要手部佩戴一种特殊的、笨重的传感器手套，这改变了手的外观和触感，导致很难将其应用于真实的、赤手的真人。

解决方案：触觉的“通用翻译器”

HOPE 背后的团队提出了一个聪明的想法：不要试图测量物体或桌面的压力，而是直接测量手本身的压力。他们将手视为一张带有 778 个特定“检查点”（称为顶点）的数字地图。

为了教会计算机，他们采用了“通用翻译器”的方法。他们从三种不同的来源获取数据，并迫使它们说同一种语言：

手套数据： 佩戴着能测量精确压力（以千帕 Pa 为单位）的传感器手套的手部视频。这就像是一位掌握精确数学逻辑的老师。
平面数据： 手部按压在覆盖了传感器的平坦桌面上的视频。这就像是一位只知道如何按下按钮的老师。
赤手数据： 人们在没有手套的情况下抓取物品的视频，我们只知道他们在哪里接触了，但不知道有多大力度。这就像是一个知道手指该放哪里的学生，却不知道该用多大的劲。

这个神奇的技巧是将所有这些不同类型的数据“提升”到同一个由 778 个点组成的手部地图上。尽管手套数据仅覆盖掌心和指尖，而赤手数据覆盖了整个手部，但他们可以将它们结合起来。赤手数据起到了“安全网”或结构引导的作用，教会了计算机压力只能发生在有接触的地方。如果计算机看到手正在触摸一个球，它就知道那里一定存在压力，即使它没有具体的压力数值。

工作原理：时空侦探

HOPE 的核心是一个名为“基于顶点的视频 Transformer”（Vertex-anchored Video Transformer）的特殊 AI 模型。你可以把这个模型想象成一个侦探，他不仅看一张照片，还会观察整部电影。

持久性 Token（Persistent Tokens）： 该模型将手部的 778 个点视为在整个视频中保持不变的角色。即使手在移动，“大拇指尖”这个角色始终是大拇指尖。
电影观察者： 它逐帧观察视频。它知道压力不是瞬间产生的，而是逐渐积累的。当手接近杯子时，没有压力；当它接触时，压力开始产生；当它挤压时，压力上升。通过观察事件的序列，模型比仅看一张冻结的照片能更好地推测压力。
“无接触，无压力”原则： 模型内置了一条规则：如果手没有接触物体，压力必须为零。这有助于它忽略虚假信号，专注于真实的交互。

研究发现

研究人员在多个数据集上测试了 HOPE，包括“OpenTouch”数据集（手套手）、“PressureVisionDB”（平面表面）以及“MOW”（野外环境下的赤手）。

优于旧方法： 在手套数据集上，HOPE 预测压力的准确度远高于以往尝试从平面图像中推测压力的方法。它在精准定位手部哪个部分在发力方面表现尤为出色。
赤手的惊喜： 尽管模型主要是在手套数据上进行训练，但它能成功预测日常视频中赤手的压力。这是一个重大突破，因为这意味着模型学习的是触摸的物理规律，而不只是手套的外观。
混合数据的力量： 当他们在测试模型时加入或去掉“赤手接触”数据时发现，添加赤手视频能显著提高模型对未知情况的泛化能力。接触数据起到了引导作用，帮助模型在没有精确压力数值的情况下，理解交互的形状。

局限性与未来

论文谨慎地指出，HOPE 并非完美。它依赖于一个先确定手部形状的独立工具；如果该工具出错（例如手被物体遮挡时），HOPE 也可能会出错。此外，该模型目前仅预测向物体方向垂直挤压的力（法向压力），而不是滑动或扭转的力。虽然效果良好，但它仍需要更多样化的数据来应对世界上所有可能的物体。

然而，研究结果展示了一条充满希望的前行之路。通过将压力视为手本身的属性而非物体的属性，并结合不同类型的学习数据，HOPE 让机器人离真正“感受”世界，而不仅仅是“看见”世界又近了一步。这是迈向让机器通过观察简单的视频，就能学会如何拿起一颗成熟的番茄而不将其捏碎，或者协助人类完成精细任务的一大步。

技术摘要：HOPE —— 基于单目视频的手部-物体压力估计

问题陈述

从视觉观测中估计物理压力对于理解富含接触的手部-物体交互至关重要，其应用领域涵盖了自我中心感知、虚拟现实/增强现实（VR/AR）以及机器人学习。然而，现有的基于视觉的压力估计方法面临显著局限性：

几何约束： 先前的研究（如 PressureVision、EgoPressure）主要依赖于经过校准的、带有仪器化平面表面的设置，将压力表示为与特定传感器布局绑定的二维图谱。
缺乏泛化能力： 这些方法难以泛化到涉及任意 3D 物体、自遮挡以及多样化接触模式（如抓握、使用工具）的动态、多样化手部-物体交互中。
数据模态不匹配： 近期的触觉数据集（如 OpenTouch）虽然提供了手部的度量压力，但需要佩戴触觉手套，这掩盖了视觉线索（皮肤变形、皱纹），并在手套训练数据与自然裸手交互之间造成了领域鸿沟。

核心挑战在于如何从单目 RGB 视频中直接估计手部表面的度量压力和接触，并实现跨越多样化物体和交互类型的泛化。

方法论：HOPE 框架

作者提出了 HOPE 框架，将压力估计公式化为一个以手部为中心的视频预测问题。该系统直接在 MANO 手部网格上预测随时间演变的逐顶点法向压力和接触。

1. 统一标注流水线

为了解决可用数据的异质性问题，HOPE 将三种不同的监督源提升到一个共享的 MANO 顶点空间（ $V=778$ ）：

触觉手套压力 (OpenTouch)： 将手套上 16×16 税元（taxel）网格的压力映射到 MANO 顶点。由于税元覆盖多个顶点，压力通过平均化处理并使用测地高斯滤波进行平滑。
平面传感器压力 (PressureVisionDB)： 将来自平面传感垫的压力，利用校准后的相机-垫片外参，投影到重建的 MANO 网格的掌心顶点上。
基于距离的接触 (HOI 数据集)： 为了监督未被传感器覆盖的区域（如手背）并弥合与裸手交互之间的差距，作者引入了来自 DexYCB 和 ARCTIC 等数据集的二值接触标签。如果顶点的距离到物体表面的距离低于阈值（ $\delta_c = 10$ mm），则该顶点被标记为“处于接触状态”。

这种统一使得度量压力标签和广泛的裸手接触数据可以共同使用，将接触视为压力的结构化先验。

2. VertexFormer 架构

核心模型是一个顶点锚定的视频 Transformer，旨在对手部表面和时间进行推理：

标记化 (Tokenization)：
- 补丁标记 (Patch Tokens)： 输入视频帧使用冻结的 DINOv3 主干网络进行编码。
- 顶点标记 (Vertex Tokens)： 每个 MANO 顶点都被表示为一个持久的标记。这些标记通过视觉特征、手部姿态（来自 HaWoR）、全局朝向和位移进行增强。至关重要的是，每个标记都包含一个学习到的身份嵌入（ $e_v$ ），以将其锚定到特定的顶点索引，从而确保输出空间的固定。
注意力机制：
- 空间注意力： 交替使用顶点自注意力（在手部拓扑结构中传播接触信号）和顶点-补丁交叉注意力（从图像网格中精炼视觉证据）。
- 时间注意力： 一个在 $T$ 帧内为每个顶点聚合信息的层，有助于消除加载状态的歧义并处理短时遮挡。
接触门控压力头： 网络输出两个头：接触概率（ $\hat{c}_t$ ）和原始压力值（ $\tilde{p}_t$ ）。最终的压力预测由接触概率进行门控： $\hat{p}_t = \hat{c}_t \odot \tilde{p}_t$ 。这强制执行了物理先验，即在缺乏接触的情况下压力必须消失，从而允许仅靠接触监督来正则化压力预测。

3. 训练目标

模型使用结合了二值交叉熵（用于接触）和 L1 损失（用于压力）的统一损失函数进行训练。对于仅有接触标签的样本（来自 HOI 数据集），压力损失会被屏蔽，从而实现对异质数据的联合训练。

核心贡献

以手为中心的公式化： 一种将压力和接触表示为 MANO 网格上逐顶点场的新方法，实现了估计与特定物体形状或传感器布局的解耦。
统一监督： 一种将触觉手套压力、平面传感器压力和基于距离的接触标注提升到单一顶点空间的方法，并将裸手接触数据用作压力学习的结构化先验。
顶点锚定 Transformer： 一种将顶点视为持久标记的 temporal 模型，能够聚合视觉和姿态证据，并采用接触门控头来保证物理一致性。

实验结果

该框架在三个基准测试上进行了评估：OpenTouch（手-物体压力）、PressureVisionDB（手-表面压力）和 MOW/ARCTIC（密集接触）。

手-物体压力 (OpenTouch)： HOPE 在接触和力指标上均优于基准模型（PressureVision, HACO）。值得注意的是，它实现了 0.660 的顶点级 F1 分数，而平面法方法的得分接近于零，且在接触精度方面达到了 0.673 的精确率，展示了卓越的空间定位能力。
手-表面压力 (PressureVisionDB)： 尽管是在手部中心空间而非传感器的原生 2D 空间中进行预测，HOPE 仍实现了最低的顶点级力误差（MAE: 0.449 kPa, RMSE: 2.314 kPa），同时保持了具有竞争力的帧级接触准确度。
向裸手的泛化： 该模型成功泛化到了裸手自我中心及自然场景下的视频，尽管其主要是在手套手部数据上进行训练，仍能生成密集的接触和压力预测。
消融实验：
- 数据组成： 结合 OpenTouch（手套力）、PVDB（平面力）和 HOI（裸手接触）产生了最佳的跨领域泛化效果。
- 输入模态： 利用视觉特征、手部姿态和时间上下文的全模型表现最佳，证实了这些信号的互补性质。
- 鲁棒性： 系统对 MANO 重建噪声的敏感度较低，即使在显著的姿态扰动下也能保持稳定的性能。

重要性与主张

论文声称 HOPE 代表了从受限的、特定传感器的压力估计向统一的、以手为中心的估计方法的转变。通过统一异质的监督源，该框架能够在以往方法无法应用的场景中（例如任意 3D 物体、非平面表面）实现度量压力估计。

作者强调，其方法产生了联合接触与压力预测，超越了仅限接触或平面压力基准模型的范围。虽然压力监督主要由单一的触觉手套数据集驱动，但通过集成裸手接触数据，该模型能够泛化到自然的交互中。这项工作为基于视觉的手部-物体操作物理推理奠定了基础，尽管作者也指出了局限性，包括严重的遮挡问题、对更广泛度量压力源的需求，以及目前侧重于法向压力而非完整接触力矩（contact wrenches）的研究现状。