💻 computer science

Wake up for Touch! Mask-isolated Tactile Alignment Learning in MLLMs

本文介绍了 Splash，一种掩码隔离的触觉对齐框架，该框架将多模态大语言模型（MLLM）参数划分为关键子空间和休眠子空间，从而在不产生灾难性遗忘或额外推理开销的情况下，实现最先进的视觉-触觉推理。

原作者： Yoonhyung Park, Minji Kim, Sungwon Moon, Jiyoung Lee

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Yoonhyung Park, Minji Kim, Sungwon Moon, Jiyoung Lee

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个非常聪明的机器人助手，它非常擅长观察图片并回答相关问题。它知道柠檬的图片是黄色的，而且是酸的。但问题在于，如果你问这个机器人关于柠檬“感觉”如何（它是黏糊糊的吗？还是凹凸不平的？），机器人经常会感到困惑。它可能会根据柠檬的外观开始进行猜测，而不是真正“理解”其纹理。

更糟糕的是，如果你试图通过向机器人展示成千上万张手触摸物体的图片来教它触觉，机器人往往会忘记如何观察和理解图像。这就像是在试图教一位钢琴家打鼓，通过只练习鼓来教他；他们可能会变得擅长打鼓，但却开始忘记如何弹钢琴。这被称为“灾难性遗忘”。

这篇论文介绍了一种名为 Splash 的新方法来解决这个问题。以下是它的工作原理，使用了简单的类比：

问题：“全或无”的困境

研究人员发现，小型、高效的机器人（它们非常适合实际应用）没有足够的“脑力”在学习一种新感官（触觉）的同时，又不丢失旧技能（视觉和语言）。通常，你必须做出选择：要么让机器人在视觉方面保持聪明，要么让它在触觉方面变得聪明，但两者不可兼得。

解决方案：“睡眠室”类比

想象机器人的大脑是一个巨大的图书馆，里面装满了书（这些是机器人的内部设置，即“参数”）。

关键书籍： 有些书是至关重要的。它们包含了阅读、理解图像和说话的规则。如果你改变了这些书，机器人就会忘记它所知道的一切。
休眠书籍： 其他书则静静地躺在书架上，很少被翻开。它们目前并没有发挥什么作用。

Splash 就像一个聪明的图书管理员。它不是通过重写整个图书馆（这会破坏机器人的现有知识），而是做了两件事：

识别“睡眠室”： 它扫描图书馆，寻找那些在视觉任务中很少被使用的特定书籍。这些就是“休眠”参数。
锁定“关键室”： 它为那些对视觉和语言至关重要的书籍加上了一把沉重的锁。这些书籍被冻结了，无法被更改。
在“睡眠室”中教学： 它获取关于触觉的新信息，并且只在休眠区域进行教学。

为什么这意义重大

没有记忆损失： 因为“关键室”被锁住了，机器人永远不会忘记如何观察和说话。它保留了原有的个性和聪明才智。
没有额外重量： 通常，增加一种新感官需要给机器人增加一整个工具“背包”，这会让它变得缓慢且笨重。Splash 并没有增加背包；它只是重新布置了现有房间里的家具。机器人依然保持着原有的速度和轻盈。
一步到位训练： 旧的方法需要一个漫长且复杂的过程：先教触觉，再教语言，然后将它们混合。Splash 则是同时完成这一切，就像在学习玩杂耍和骑自行车的过程中同时进行，而不会摔倒。

实验结果

研究人员在小型机器人（使用具有 10 亿和 30 亿个“神经元”的模型）上进行了测试。

触觉表现更好： 与之前的方法相比，Splash 机器人描述纹理（如“粗糙”、“柔软”或“颗粒感”）的能力有了显著提升，甚至击败了那些规模更大、功能更强大的机器人。
视觉依然出色： 当测试通用的视觉任务（如根据图像解决数学问题或识别物体）时，Splash 机器人的表现与学习触觉之前的水平一样出色。它们并没有丢失原有的技能。

总结

Splash 是一种技术，它让小型、高效的机器人能够在学习触觉的同时，不忘记如何观察或说话。它通过寻找机器人大脑中的“未使用空间”并用新的触觉知识填充，同时确保“重要空间”完全安全且不受干扰。这就像是升级汽车引擎以使用一种新的燃料类型，而无需拆解方向盘或刹车。

技术摘要：Splash —— 多模态大语言模型（MLLM）中的掩码隔离触觉对齐学习

1. 问题陈述

多模态大语言模型（MLLM）正越来越多地应用于具身智能机器人领域，其中理解摩擦力和顺应性等物理特性至关重要。然而，为紧凑型 MLLM（即 sMLLM，例如参数量 $\le$ 3B）配备触觉推理能力面临着重大挑战：灾难性遗忘。

现有的集成触觉模态的方法通常需要更新整个模型或大规模参数子集。在资源受限的 sMLLM 中，针对触觉信号进行的优化会扭曲预训练的视觉-语言（VL）特征，导致模型丧失其通用的推理能力。正如论文中所展示的，即使是少量的触觉训练数据也会导致 VL 性能下降，从而在获取新感觉模态与保持既有推理能力之间产生零和博弈。

2. 方法论：Splash 框架

作者提出了 Splash，一种掩码隔离的触觉对齐框架，旨在将触觉感知集成到 sMLLM 中，且不增加额外的推理开销或导致灾难性遗忘。其核心理念是将所有触觉适配限制在一个“休眠”（不那么重要的）参数子空间内，同时保持“关键”参数处于冻结状态。

2.1 定位休眠子空间

Splash 利用了预训练模型中存在自然稀疏性的假设，即只有一部分参数对于维持功能是至关重要的。

重要性度量： 使用来自视觉-语言数据的少量校准集（例如 CC12M），该方法计算 LLM 线性层中每个权重的视觉相对重要性得分 ( $S_{i,j}$ )。该得分定义为权重幅值与对应输入激活的 $\ell_2$ 范数的乘积：
$S_{i,j} = |W_{i,j}| \cdot \|x_i\|_2$
掩码生成： 基于稀疏率 ( $s\%$ )，生成一个二进制掩码 ( $\mathbf{M}$ )。得分低于阈值的参数被标记为“休眠”（可训练），而高于阈值的参数则被标记为“关键”（冻结）。
稳定性约束： 第一层和最后一层 Transformer 块被排除在掩码之外，以保留输入接地（grounding）和高层语义表示，确保训练的稳定性。

2.2 掩码隔离的触觉对齐

与以往的两阶段方法（先对齐编码器，再微调 LLM）不同，Splash 采用了统一的单阶段训练过程。

架构： 模型由一个冻结的视觉前端、一个可训练的触觉前端（一个从 ImageNet 初始化的 ViT-Tiny）以及 LLM 主干组成。
训练目标： 模型通过给定 RGB 图像、接触图像和文本提示来最小化生成触觉描述的交叉熵损失。
参数更新：
- 关键参数： 冻结 ( $\nabla \mathcal{L} = 0$ )。它们作为预训练 VL 流形的稳定锚点。
- 休眠参数： 通过使用掩码进行梯度下降进行更新 ( $\theta \leftarrow \theta - \eta (\mathbf{M} \odot \nabla_\theta \mathcal{L})$ )。
- 触觉前端： 完全可训练。
机制： 通过将更新严格隔离在休眠子空间内，Splash 防止了对整个参数流形的扰动，有效地避免了灾难性遗忘，且无需引入像 LoRA 这样会增加推理延迟的外部模块（适配器）。

3. 核心贡献

Splash 框架： 一种新型的参数隔离适配方法，能够将触觉感知集成到 sMLLM 中，具有零额外推理开销，并减轻了与视觉相关的灾难性遗忘。
统一训练： 一种单阶段训练方案，能够同时优化触觉前端和休眠 LLM 子空间，消除了对多阶段对齐程序的需求。
能力保持： 证明了在小规模模型（1B 和 3B）上实现最先进（SOTA）触觉推理的能力，同时保留了模型的原始通用 VL 能力。

4. 实验结果

作者在三个视触语言（VTL）基准测试（SSVTP, TVL, TacQuad）和五个通用视觉-语言（VL）基准测试（MMMU, MathVista, MME, MMBench）上对 Splash 进行了评估。

触觉推理（VTL 基准）：
- Splash-3B（基于 Qwen2.5-VL-3B）实现了 4.91 的平均分，超过了最强的基准模型 TVL-LLaMA（7B 主干，得分为 4.31）。
- Splash-1B（基于 InternVL2.5-1B）实现了 5.01 的平均分，超越了 UniTouch（7B 主干，3.74）和 TVL-Qwen（4.50）。
- Splash 在分布偏移（如 TacQuad）下表现出卓越的鲁棒性，而其他方法（如 (IA)3）则出现了显著的性能下降。
能力保持（VL 基准）：
- 与其零样本基准和其他适配后的模型相比，Splash-3B 在通用 VL 任务上保持或提升了性能。例如，它将 MMMUval 从 50.0 (TVL-Qwen) 提升到了 55.3，将 MathVista 从 52.8 提升到了 65.3。
- 相比之下，像 (IA)3 这样保留 VL 能力的方法往往无法有效学习触觉动力学（欠拟合），而全参数微调或 LoRA 则往往会降低 VL 性能。
消融研究：
- 稀疏率： 60% 的稀疏率（60% 的参数被冻结）提供了触觉学习与 VL 保留之间的最佳平衡。100% 的稀疏率（全量微调）会导致灾难性遗忘，而极低的稀疏率则会限制触觉学习。
- 校准数据： 该方法对校准数据集的选择具有鲁棒性，即使使用非配对的噪声数据也能表现良好，这表明它捕捉的是内在的架构冗余，而非过度拟合于特定的语义对齐。

5. 意义与主张

论文声称 Splash 为资源受限的边缘机器人提供了一条通往高级触觉智能的实用路径。通过识别并重新激活利用率低的“休眠”权重，该框架允许紧凑型模型在不牺牲其基础推理能力的情况下，内化复杂的接触动力学。

作者强调，Splash 实现了非破坏性的模态扩展。与可能扰动整个参数空间的加性参数高效微调（PEFT）方法不同，Splash 的结构化隔离确保了预训练的 VL 推理路径在根本上不受影响。这使得在适合实际机器人边缘部署的小型模型（ $\le$ 3B）上部署复杂的视触觉推理成为可能，克服了大型 7B+ 模型带来的计算瓶颈。