🤖 machine learning

Tactile Modality Fusion for Vision-Language-Action Models

本文提出了 TacFiLM，一种轻量级的后训练微调方法，通过特征线性调制（FiLM）将触觉表征融入视觉 - 语言 - 动作（VLA）模型，有效提升了机器人在接触丰富操作任务中的成功率、稳定性及泛化能力。

原作者： Charlotte Morissette, Amin Abyaneh, Wei-Di Chang, Anas Houssaini, David Meger, Hsiu-Chin Lin, Jonathan Tremblay, Gregory Dudek

发布于 2026-03-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Charlotte Morissette, Amin Abyaneh, Wei-Di Chang, Anas Houssaini, David Meger, Hsiu-Chin Lin, Jonathan Tremblay, Gregory Dudek

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 TacFiLM 的新方法，旨在让机器人变得更“聪明”、更“灵巧”。

为了让你轻松理解，我们可以把机器人想象成一个正在学习做精细手工活的学徒。

1. 现在的机器人缺什么？（痛点）

目前的先进机器人（被称为 VLA 模型，即“视觉 - 语言 - 动作”模型）就像是一个视力极好但完全没摸过东西的“盲人”学徒。

优点：它看得很清楚，能听懂人话（比如“把 peg 插进底座”），也能看到物体。
缺点：它只有眼睛，没有“触觉”。当它试图把一根稍微有点歪的钉子插进一个很紧的孔里时，如果钉子卡住了，它不知道是因为太紧了、摩擦力太大，还是角度不对。它只能靠猜，或者用力硬插，结果往往是把东西弄坏，或者插不进去。

这就好比让你蒙着眼睛去穿针引线，或者在完全不知道手感的情况下拧螺丝，非常困难。

2. 以前的尝试有什么问题？（旧方法）

以前的科学家试图给这个“盲人”学徒装上“触觉传感器”（比如像皮肤一样的电子手指）。但他们的方法有点笨：

笨办法（拼接法）：就像给学徒的脑子里硬塞进一堆新的“触觉说明书”。每次它看东西时，不仅要读文字、看图片，还要额外读一大段触觉数据。这会让它的大脑（模型）变得非常沉重，处理速度变慢，甚至因为信息太多而“消化不良”，导致反应变慢。

3. TacFiLM 是怎么做的？（核心创新）

这篇论文提出的 TacFiLM 就像给学徒装上了一套**“直觉神经系统”**。

核心比喻：FiLM（特征线性调制）就像“调味师”。
想象一下，学徒的大脑里有一个处理视觉信息的“主厨房”（视觉编码器）。
- 旧方法是把触觉数据当成另一道大菜，硬塞进厨房，让厨师手忙脚乱。
- TacFiLM 的方法是：当学徒看到图像时，触觉传感器（比如手指上的 DIGIT 传感器）会悄悄告诉大脑：“嘿，现在摸起来有点滑”或者“这里有点紧”。
- 然后，TacFiLM 就像一位聪明的调味师，根据这些触觉提示，微调视觉信息的处理方式。它不需要重新教大脑怎么看图，只是给视觉信号加一点“触觉滤镜”。
- 结果：学徒在“看”的时候，潜意识里已经结合了“摸”的感觉。它不需要增加大脑的负担，也不需要重新学习，就能瞬间理解：“哦，虽然看起来是直的，但摸起来有点阻力，我得稍微歪一点插进去。”

4. 效果怎么样？（实验结果）

研究人员在真实的机器人手臂上做了很多测试，比如把不同形状的钉子（圆形、方形、五边形）插进孔里，或者把 HDMI 线插进接口。

成功率更高：以前机器人可能只能成功 60%-70%，用了 TacFiLM 后，很多任务能达到 100% 成功。
更直接：以前机器人可能需要反复调整、试错（比如插歪了拔出来再插），现在它能一次就插对（直接插入率大幅提升）。
更温柔：因为知道哪里紧，它不会死命硬插。实验显示，它施加的力量只有旧方法的三分之一，大大减少了损坏物体的风险。
更抗干扰：如果灯光变暗（眼睛看不太清了），TacFiLM 依然能靠“触觉”把任务完成，而纯靠眼睛的机器人就失败了。

5. 总结

简单来说，TacFiLM 就是给机器人装上了一套**“触觉直觉”**。

它不是让机器人重新学习怎么思考，而是教它如何把“摸到的感觉”自然地融入到“看到的画面”中。这让机器人从“只会看图的笨拙学徒”变成了“眼手合一、手感极佳的工匠”，能轻松完成那些需要精细操作、容易卡住的复杂任务。

一句话概括：这就好比给机器人装上了“第六感”，让它不仅能看见世界，还能“感觉”到世界，从而干活更稳、更快、更温柔。

TacFiLM 技术总结：基于特征调制融合触觉信号的视觉 - 语言 - 动作模型

1. 研究背景与问题 (Problem)

核心挑战：
尽管基于视觉 - 语言 - 动作（VLA）的机器人模型在泛化性和语义理解方面取得了显著进展，但它们主要依赖视觉感知。在处理**富含接触（contact-rich）**的操纵任务（如插拔、抓取）时，仅靠视觉存在明显局限：

视觉盲区： 无法捕捉接触力、表面摩擦、顺应性（compliance）和剪切力等关键动态信息。
遮挡问题： 在毫米级调整和物体遮挡场景下，视觉反馈受限。
现有融合方法的缺陷： 现有的触觉融合方案通常采用**特征拼接（Token Concatenation）**或大规模多模态预训练。
- 拼接法需要训练独立的触觉编码器，增加输入 Token 序列长度，导致计算成本上升，且随着上下文增长可能引起性能下降。
- 预训练法需要巨大的数据和算力，难以在现有的后训练微调（Post-training Finetuning）范式下高效实施。

目标：
开发一种轻量级的模态融合策略，能够在不增加输入 Token 数量、不重新训练大型模型组件的前提下，将触觉信号有效整合到预训练的 VLA 模型中，以提升接触丰富任务的鲁棒性和成功率。

2. 方法论 (Methodology)

作者提出了 TacFiLM（Tactile FiLM），一种基于**特征级线性调制（Feature-wise Linear Modulation, FiLM）**的轻量级融合架构。

2.1 核心架构

基础模型： 基于 OpenVLA-OFT 框架，包含融合视觉骨干（SigLIP + DINOv2）、MLP 投影器和 LLaMA 2 7B 语言模型。
融合机制（FiLM）：
- 原理： 利用预训练的触觉表征（Tactile Embeddings）作为辅助信号，对视觉骨干网络中的中间特征进行条件化（Conditioning）。
- 实现： 触觉图像经过预训练编码器（如 T3 或 Sparsh）生成嵌入向量 $z$ 。通过 MLP 将 $z$ 映射为缩放参数 $\gamma$ 和偏移参数 $\beta$ 。
- 公式： 对归一化后的视觉特征 $F^n$ 进行仿射变换：
  $\text{FiLM}(F^n | \gamma, \beta) = F^n \odot (1 + \gamma) + \beta$
- 优势： 这种机制将触觉信息注入到视觉特征中，无需增加输入序列长度，也无需重新训练整个视觉 - 语言骨干网络，仅微调 FiLM 层和少量 LoRA 参数。

2.2 预训练触觉表征

该方法不依赖特定的触觉编码器，支持多种预训练模型：

T3: 支持多种传感器和任务的通用触觉框架。
Sparsh: 基于大规模自监督学习（SSL）的触觉表征，包括 Sparsh-MAE, Sparsh-IJEPA, 和 Sparsh-DINO 变体。
实验选择： 通过分类任务评估，最终选定 Sparsh-DINO 作为最佳触觉骨干。

2.3 训练策略

参数高效微调（PEFT）： 冻结大部分 VLA 模型参数，仅对 FiLM 层和 LLM 的线性层进行 LoRA (Low-Rank Adaptation) 微调。
流程： 视觉和语言输入按标准流程处理 $\rightarrow$ 触觉图像编码为嵌入 $\rightarrow$ 通过 FiLM 调制中间视觉特征 $\rightarrow$ 投影至语言模型空间 $\rightarrow$ 生成动作 Token。

3. 关键贡献 (Key Contributions)

TacFiLM 架构： 提出了一种新颖的模态融合方法，利用图像条件化（Image-conditioning）将触觉信号整合到 VLA 中，避免了 Token 拼接带来的计算负担。
性能提升： 实验证明，相比基于拼接的融合方法，TacFiLM 在成功率上提升了高达 30%，同时显著缩短了任务完成时间并降低了接触力。
预训练表征评估： 系统评估了 Sparsh 和 T3 等预训练触觉编码器在 VLA 融合中的有效性，验证了无需任务特定编码器即可实现有效迁移。
鲁棒性验证： 在分布内（In-Distribution）和分布外（Out-of-Distribution）任务中，以及在视觉退化（光照变暗、帧率降低）条件下，TacFiLM 均表现出更强的鲁棒性。

4. 实验结果 (Results)

实验在 Franka Emika Panda 机械臂上进行，包含超过 700 次 真实机器人 rollout，涵盖多种插拔任务（圆形、方形、五边形 peg，USB/HDMI 线缆）。

4.1 分布内任务 (In-Distribution)

3mm 间隙圆形 peg 插入： TacFiLM 达到 100% 成功率，直接插入率（Direct Insertion）为 36.67%，显著优于基线（OpenVLA-OFT 仅 3.33%）。
力控表现： TacFiLM 施加的平均最大接触力最低（7.64 N），且任务完成时间最短（52.03 秒）。
对比拼接法： 虽然拼接法（TactileConcat）成功率也较高，但 TacFiLM 在直接插入率和力控稳定性上更优。

4.2 分布外任务 (Out-of-Distribution)

泛化能力： 在 2mm/3mm 间隙的方形/五边形 peg 及 HDMI 线缆插拔任务中，TacFiLM 保持了 100% 的成功率（针对部分任务）或显著优于基线。
HDMI 插拔： 视觉基线和拼接法成功率接近 0%，TacFiLM 提升至 66.67%。
力控鲁棒性： 在困难任务（2mm 间隙）中，拼接法施加的力显著增加，而 TacFiLM 仍保持低力（约 7-10 N），表现出对接触动态的更好敏感性。

4.3 消融实验与鲁棒性

FiLM 集成位置： 无论将 FiLM 层集成在视觉骨干的早期、中期还是晚期，性能均保持高位。早期集成（EarlyFiLM）在直接插入率上表现最佳。
视觉退化测试：
- 光照变暗（80%）： TacFiLM 保持 100% 成功率，而视觉基线降至 93.33%。
- 帧率降低（50%）： TacFiLM 保持 100% 成功率，视觉基线降至 73.33%。
- 结论： 触觉信号有效补偿了视觉信息的缺失，证明了触觉在视觉不可靠时的关键作用。

5. 意义与结论 (Significance & Conclusion)

主要意义：

高效融合范式： 证明了通过轻量级的特征调制（FiLM）而非昂贵的 Token 拼接或全量预训练，即可将触觉感知有效融入大模型 VLA 中。
接触丰富任务突破： 显著提升了机器人在高精度、强接触任务中的成功率、执行效率和安全性（力控）。
通用性： 该方法兼容多种预训练触觉编码器，为未来机器人多模态感知融合提供了可扩展的解决方案。

局限性：

目前实验主要基于真实机器人数据，受限于缺乏精确的视触觉模拟器，任务集扩展较难。
当前架构基于 OpenVLA-OFT，扩展到其他 VLA 骨干（如 $\pi_0.5$ ）是未来的工作方向。

总结：
TacFiLM 通过巧妙的特征级融合策略，成功解决了 VLA 模型在接触丰富任务中“失聪”的问题，为构建更智能、更安全的具身智能系统提供了重要的技术路径。