🤖 AI

TACTFUL: Tactile-Driven Exploration For Object Localization and Identification in Confined Environments

本文提出了 TACTFUL，这是一个无需视觉、基于真实硬件训练的框架，使多指机器人能够通过触觉感知自主探索受限空间并识别物体，在不依赖仿真的情况下实现了 77% 的成功率和高重建精度。

原作者： Shivani Kamtikar, Chung Hee Kim, Camilla Tabasso, Tye Brady, Joshua Migdal, Taskin Padir

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Shivani Kamtikar, Chung Hee Kim, Camilla Tabasso, Tye Brady, Joshua Migdal, Taskin Padir

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你置身于一个漆黑的房间里，四周堆满了杂乱无章的随机物体。你看不见任何东西，但你需要找到一个特定的物品，比如一个咖啡杯，并准确说出它是什么。你会怎么做？你会用手。你会伸手去摸索，触摸边缘，在脑海中构建出一幅关于你所触碰之物的图像，直到你确定：“啊，这就是那个杯子。”

这篇名为 TACTFUL 的论文，教导机器人如何做到这一点。

问题所在：无法通过“触觉”感知世界的机器人

如今大多数机器人就像是眼睛盯着屏幕看的人。它们完全依赖摄像头来观察世界。如果你把一个机器人放在一个黑盒子里，或者放在一个摄像头无法看到的杂乱抽屉里，机器人通常会束手无策。它可能会撞到东西，但它不知道自己撞到了什么，也不知道如何绘制周围空间的地图。

以往赋予机器人“触觉”的尝试，往往就像是试图用一根僵硬的手指去学习盲文。它们反应迟钝、功能简单，且大多是在计算机模拟中进行测试，而非在混乱的现实世界中进行测试。

解决方案：拥有“超级手指”的机器人

研究人员构建了一个名为 TACTFUL（用于受限环境中物体定位与识别的触觉驱动探索系统）的系统。以下是其工作原理的分解步骤：

1. 硬件：高科技手部
他们使用了一个带有特殊五指手的机械臂。这些手指不仅仅能感觉到“硬”或“软”，其指尖覆盖着数百个微型传感器（称为 taxels）。你可以把它们想象成数千个微小的神经末梢，能够精确感知触摸的位置和力度，从而创建一个详细的表面地图。

2. 策略：“蒙面侦探”
机器人被放置在一个装有三种不同物体（立方体、形状奇特的圆柱体和一个杯子）的箱子中。它被告知：“寻找杯子。”它没有摄像头。它必须：

探索 (Explore)： 在空白空间内移动手部，直到撞到物体。
调查 (Investigate)： 一旦碰到物体，它不会仅仅停在那里。它开始“感受”物体，手指沿着曲线和边缘滑动，在脑海中构建出一个 3D 图像。
识别 (Identify)： 它将通过触觉构建出的 3D 图像与大脑中存储的物体“应有模样”进行对比。

3. 学习：从“笨拙的初学者”到“专家”
从零开始教机器人做这件事既危险又低效。如果你只是让机器人的手臂随机挥舞，它可能会损坏物品或陷入困境。

老师（行为克隆 - Behavior Cloning）： 首先，研究人员通过远程操作（teleoperation）控制机器人，向它展示如何安全地进行探索。机器人观察并模仿这些动作，学习如何在不伤害自身的情况下触摸物体。
教练（强化学习 - Reinforcement Learning）： 一旦机器人掌握了基础知识，他们就让它进行自主练习。但他们不仅仅是说“做得好”，而是给它一个随时间变化的动态评分系统（奖励机制）：
- 游戏早期： 机器人通过移动并发现任何新的空间来获得积分（探索）。
- 游戏后期： 机器人通过触摸已发现物体的不同部分，以及提高其脑中 3D 图像的准确性来获得积分（精细化）。
- 惩罚： 如果机器人的脑中图像模糊或错误，它就会失去积分。

这种结合教会了机器人在完美的时机从“在房间里闲逛”切换到“专注研究物体”。

4. 魔法技巧：填补空白
由于机器人无法触摸物体的每一个毫米，它拥有的只是一个“稀疏”的地图（就像纸上的几个点）。该系统使用一种智能 AI 模型来“连点成线”。它利用这些少量的触点并填补其中的空白，从而创建一个完整、平滑的 3D 形状，就像你的大脑在只能看到黑暗中部分面孔时，会自动补全其余部分一样。

结果

研究人员在真实的硬件上，针对箱子里的真实物体进行了测试（非模拟环境）。

成功率： 机器人成功找到并识别正确物体的概率为 77%。
准确度： 它构建的 3D 形状与真实物体非常接近，平均误差仅为 1.5 厘米（大约一个大拇指的宽度）。
对比： 它的表现远优于那些仅仅遵循预设路径（如扫地机器人）或试图在没有老师指导的情况下进行学习的机器人。

为什么这很重要

论文得出结论，触觉不仅仅是摄像头失效时的备份方案；它可以成为机器人理解世界的主要方式。这对于视觉无法到达的地方意义重大，例如黑暗的仓库箱子、杂乱的医疗包，或是零件被遮挡的生产线。

简而言之： TACTFUL 教会了机器人成为一名蒙面侦探，利用它的“超级手指”去探索黑暗的房间，构建它所触碰之物的心理地图，并在从未需要看见的情况下，自信地说出：“我找到了那个杯子。”

技术摘要：TACTFUL

问题陈述

传统的机器人操作主要依赖视觉进行物体定位与识别，通常将触觉感知视为一种次要或纠偏性的模态。然而，在视觉受阻或受限的环境中（例如：仓库料箱、杂乱的袋子），视觉是不可靠或无法获取的。虽然人类可以毫不费力地利用触觉和几何先验来定位并识别物体，但机器人系统在自主触觉探索方面仍面临困难。现有的触觉方法通常依赖于简化的接触信号、基于模拟的训练或人工设计的启发式规则，在结合“在未知工作空间中发现物体”与“重建其几何形状以进行识别”这一综合任务上，缺乏高保真度真实硬件性能的展示。

方法论

本文提出了 TACTFUL，这是一个无需视觉的框架，使多指机器人能够自主探索受限的工作空间，通过接触发现物体，并通过触觉重建进行识别。该系统完全在真实硬件上运行，无需模拟预训练。

1. 硬件与设置

系统使用安装在 UR10e 机器人臂上的五指 Inspire RH56DFTP 系列灵巧手。该手部配备了 1,062 个电阻式税元（taxels），用于测量法向接触力。工作空间是一个具有已知边界的料箱，其中放置了位于任意位置的 3D 打印物体。不使用任何摄像头。

2. 学习框架 (POMDP)

该任务被建模为一个部分可观测马尔可夫决策过程 (POMDP)。智能体必须仅通过累积的触觉反馈和本体感受来推断物体的位置和形状。

观测空间 ( $O$ )： 包括本体感知数据（末端执行器位姿、关节角度、手部构型）和高分辨率触觉读数。至关重要的是，它整合了由 Sonata 生成的触觉点云嵌入 ( $c_t$ )，Sonata 是一个基于自监督 Transformer 的编码器，负责将触觉接触的历史信息压缩为空间覆盖范围和几何结构的表示。
动作空间 ( $A$ )： 定义为末端执行器位姿的增量变化 ( $\Delta p_t$ ) 和手指关节角度的增量变化 ( $\Delta h_t$ )。
状态表示： 为了处理时间依赖性，状态由最近 $k=10$ 个观测序列组成，并通过带有自注意力机制的 Transformer 架构进行处理。

3. 训练策略：BC 初始化 + PPO

直接通过强化学习 (RL) 在真实世界中学习触觉策略既低效又具有风险。TACTFUL 采用了两阶段训练流水线：

行为克隆 (BC) 初始化： 策略首先在 5,311 个仅含触觉的遥操作演示上进行离线预训练。BC 模型学习从观测状态回归专家动作（增量位姿和构型），从而捕捉基础的接触策略和局部探索模式。
在线 PPO 训练： 将 BC 策略作为 近端策略优化 (PPO) 框架中的 Actor 进行初始化。该策略在真实硬件上进行在线精炼。
- Critic 网络： 接收“特权信息”（目标物体的近似 6-DoF 位姿）以稳定价值估计，而该信息在部署期间对 Actor 是不可见的。
- Actor 网络： 使用与 Critic 相同的 Transformer 架构，但仅依赖于可观测的触觉和本体感知数据。

4. 动态奖励调度

一个复合奖励函数引导智能体经历不同的探索与精炼阶段，其权重随回合时界 ( $T$ ) 内的时间 ( $t$ ) 演变：

接触奖励 ( $r_{contact}$ )： 激励产生新颖的、具有空间差异的接触点（即新税元激活距离前一次接触 > 5mm），以鼓励高分辨率的表面覆盖。
探索奖励 ( $r_{explore}$ )： 鼓励智能体访问工作空间中的新区域（通过 1cm $^3$ 体素网格进行追踪），以防止陷入局部最优并确保全局发现。
重建奖励 ( $r_{recon}$ )： 通过测量当前密集重建结果与地面真值之间的 Chamfer 距离来惩罚不准确的形状表示。
调度方案： 在回合早期， $r_{explore}$ 的权重较大，以促进物体发现。随着回合推进， $r_{contact}$ 和 $r_{recon}$ 的权重增加，以优先考虑表面精炼和几何精度。

5. 形状补全

稀疏的触觉点云被传递给一个预训练的点云扩散模型，以生成密集且完整的物体几何形状。该模型作为一个已知的物体库先验，弥补了稀疏触觉数据与完整 3D 形状之间的差距。

核心贡献

学习型触觉探索策略： 开发了一种单一策略，使多指机器人能够在无需视觉的情况下，仅凭触觉感知自主探索受限工作空间并定位物体。
动态奖励调度： 引入了一种随时间变化的奖励机制，平衡了全局工作空间探索与局部接触精炼，并利用物体级的几何先验来引导 3D 重建。
真实世界验证： 展示了仅基于重建的触觉几何形状进行可靠物体识别的能力，且整个过程完全在真实硬件上完成，无需模拟。

实验结果

该框架在放置于料箱中的三个几何形态各异的真实物体（立方体、变形圆柱体和变形杯子）上进行了评估。机器人的任务是在干扰物中找到特定的目标物体。

性能： TACTFUL 方法实现了 77% 的成功率（跨物体平均值），平均 Chamfer-L2 重建误差为 0.015 m。
对比分析：
- 优于启发式基准方法（成功率为 0.416–0.5），后者缺乏从接触反馈中学习的能力。
- 优于 仅使用 BC 的方法（成功率为 0.416–0.583），证明了在线 RL 适配的价值。
- 优于 无 BC 初始化的 RL 方法（成功率为 0.583–0.75），证实了 BC 初始化提供了至关重要的结构化先验，有助于安全高效的真实世界学习。
消融实验：
- 移除任何单一奖励组件（ $r_{contact}$ 、 $r_{explore}$ 或 $r_{recon}$ ）都会显著降低性能，证实了平衡探索、接触质量和重建精度的必要性。
- 移除形状补全模型会导致成功率降至 34%，凸显了其在解决稀疏触觉数据固有的几何歧义方面的作用。

重要性与主张

本文的主张是，TACTFUL 证明了触觉感知可以作为物体级推理的有效主要模态，适用于非结构化、遮挡或受限环境，而非仅仅作为视觉的反应式备选方案。通过结合结构化学习 (BC)、动态奖励塑造和形状补全先验，该系统在没有视觉输入的情况下实现了鲁棒的物体定位与识别。作者指出，尽管目前的研究局限于已知的三种物体的已知库及静态场景，但其结果验证了在视觉受阻的情况下实现自主触觉推理的潜力。