🤖 AI

VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling

该论文指出 VLA 模型在视角泛化上的脆弱性主要源于空间建模而非物理建模的失配，并提出通过特征令牌调制（FTM）和特征线性适应（FLA）等轻量级单样本自适应框架，仅需极少量参数即可显著提升模型在新视角下的鲁棒性与成功率。

原作者： Weiqi Li, Quande Zhang, Ruifeng Zhai, Liang Lin, Guangrun Wang

发布于 2026-04-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Weiqi Li, Quande Zhang, Ruifeng Zhai, Liang Lin, Guangrun Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于机器人如何“看”世界的有趣发现。简单来说，作者们发现：现在的机器人（VLA 模型）其实很聪明，它们“变笨”往往不是因为脑子不好使，而是因为**“眼镜”没戴对**。

为了让你更容易理解，我们可以把机器人想象成一个刚学会做饭的学徒。

1. 核心问题：为什么机器人换个角度就“傻”了？

想象一下，这个学徒在厨房里练过无数次，非常擅长从正上方（俯视）看桌子，然后拿起一个碗。

物理建模（Physical Modeling）： 这是学徒的“大脑”和“手”。他知道“拿起碗”需要捏住边缘、向上提。这部分他学得很好，很聪明。
空间建模（Spatial Modeling）： 这是学徒的“眼睛”。他通过眼睛看到碗的位置、距离和角度。

问题出在哪？
当你把摄像头（眼睛）从“正上方”移到“侧面”或者“低角度”时，碗在画面里的样子变了（比如变扁了、位置偏了）。

以前的机器人会直接崩溃，因为它以为“那个变形的东西不是碗”，或者“手伸过去会撞到空气”。
作者发现，机器人的大脑（物理建模）其实没坏，它依然知道怎么拿碗。坏掉的是眼睛和大脑之间的“翻译”。因为视角变了，眼睛看到的图像特征和大脑记忆里的特征对不上了（就像你戴了哈哈镜，虽然还是你，但大脑认不出来了）。

2. 作者的解决方案：不用重练，只需“微调眼镜”

以前的做法是：为了适应新角度，让机器人重新看几百万张新角度的照片，重新训练几个月。这太慢、太贵了。

作者提出了两个**“一键微调”的方法，就像给机器人戴上一副可调节的智能眼镜**，只需要看一张新角度的示范视频，就能立刻适应。

方法一：特征令牌调制 (FTM) —— “给图像加个滤镜”

比喻： 想象机器人看到的图像是一幅画。FTM 就像给这幅画加了一个全局的“滤镜”（调整亮度和对比度）。
怎么做： 它只调整两个极小的参数（就像调节旋钮），把图像里的特征重新“拉伸”或“平移”一下，让新视角的图像看起来和旧视角的“感觉”差不多。
效果： 只需要4000 个参数（相当于几行代码），就能让机器人的成功率从 48% 飙升到 87%。这证明了只要把“眼镜”调准，大脑就能正常工作。

方法二：特征线性适应 (FLA) —— “给眼镜片做点精密打磨”

比喻： 如果 FTM 是加滤镜，FLA 就是给眼镜片做更精细的打磨。它在机器人视觉系统的核心层（ViT 编码器）里，插入了一些极小的“补丁”（低秩更新）。
怎么做： 它只修改视觉系统里的一小部分连接，让机器人能更深刻地理解新视角下的空间关系。
效果： 用了470 万个参数（相比传统方法需要的 4.67 亿个参数，减少了 99%！），成功率达到了90.8%。这比那些需要重新训练整个大脑的方法还要好，而且快得多。

3. 实验结果：真的有用吗？

作者不仅在电脑模拟里测试，还让真实的Franka 机械臂在现实世界中干活：

任务： 比如“把红积木叠在绿积木上”、“拉开抽屉”、“按绿色按钮”。
挑战： 训练时摄像头在桌子上方，测试时摄像头换到了侧面，甚至光线变了、背景换了。
结果： 经过这种“微调眼镜”的机器人，即使面对从未见过的角度，也能稳稳地完成任务。甚至当有人故意把积木推歪（动态干扰）时，它也能实时调整，继续抓取。

4. 总结：这篇论文告诉我们什么？

机器人其实很“皮实”： 预训练好的机器人模型里，其实藏着巨大的潜力（鲁棒性），只是被视角的偏差给“封印”了。
不需要“大动干戈”： 我们不需要收集海量数据去重新训练机器人，也不需要换更复杂的硬件。
对症下药： 只要针对“视觉空间”做一点点轻量级的调整（就像给眼镜配个度数），就能让机器人瞬间适应新环境。

一句话总结：
这篇论文告诉我们，机器人不是“笨”，只是“晕”。我们不需要给它们换大脑，只需要帮它们戴一副合适的新眼镜，它们就能立刻在陌生的世界里灵活行动了。

这篇论文题为 《VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling》（VLA 模型比你想象的更具泛化能力：重访物理与空间建模），由中山大学及 X-Era AI Lab 的研究团队提出。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

现状： 视觉 - 语言 - 动作（VLA）模型在分布内（in-distribution）表现优异，但在面对新视角（novel camera viewpoints）、光照变化、背景纹理改变或视觉噪声等分布外（out-of-distribution）场景时，性能会急剧下降（即表现出“脆性”）。
现有方法的局限：
- 数据驱动方法： 依赖大规模多视角数据收集（如 Libero-Plus），成本高且难以持续适应。
- 表示驱动方法： 试图通过几何一致性或 3D 感知架构来增强鲁棒性，但往往对任务无关的视觉因素（如背景杂乱）依然敏感。
- 全量微调/LoRA： 现有参数高效微调（PEFT）方法通常针对整个 VLA 模型或策略头，参数开销巨大（如 LoRA 需数亿参数），且未明确区分故障根源。
核心假设： 作者提出，VLA 在视角变化下的失效主要源于**空间建模（Spatial Modeling）的错位，而非物理建模（Physical Modeling）**能力的缺失。即：预训练模型的高层策略（理解任务、生成动作序列）依然有效，但视觉编码器输出的空间表征在新视角下发生了漂移，导致与策略头不匹配。

2. 方法论 (Methodology)

作者提出了一种**单次适应（One-Shot Adaptation）**框架，旨在通过轻量级的可学习更新来重新校准视觉表征，而无需大规模重训练或改变模型架构。该方法包含两个核心组件：

A. 特征令牌调制 (Feature Token Modulation, FTM)

原理： 对视觉编码器输出的令牌嵌入（Visual Token Embeddings）应用全局仿射变换。
公式： $\hat{F} = (1 + \gamma) \odot F + \beta$ $\hat{F} = (1 + γ) ⊙ F + β$
- 其中 $\gamma$ 和 $\beta$ 是两个可学习的参数向量（分别用于缩放和平移特征分布）。
特点： 仅引入约 4K 个参数。它不修改 ViT 内部结构，仅对输出特征进行重缩放和重居中，以纠正因视角变化导致的特征分布偏移。

B. 特征线性适应 (Feature Linear Adaptation, FLA)

原理： 在视觉骨干网络（ViT Encoder）的线性层中引入低秩适应（Low-Rank Adaptation, LoRA）更新。
公式： $W' = W + \Delta W = W + BA$ $W^{'} = W + Δ W = W + B A$
- 其中 $W$ 是冻结的原始权重， $B$ 和 $A$ 是可训练的低秩矩阵。
特点： 引入约 4.7M 个参数。相比 FTM，FLA 更深入地调整了视觉编码器内部的特征提取过程，实现了更精细的特征重对齐。

C. 理论支撑

论文通过理论分析证明，如果视觉表征的漂移可以通过仿射变换或低秩线性变换近似，那么仅调整这些轻量级模块就足以恢复策略性能。实验中的 t-SNE 可视化也证实，适应后目标域的特征流形成功与源域流形对齐。

3. 实验设置与基准 (Experiments & Benchmarks)

Libero-V (Visual) 基准： 作者构建了新的基准，在原有 Libero 任务基础上，集成了四种受控的视觉扰动：
1. 相机视角变化（连续轨道旋转及离散偏移）。
2. 光照变化。
3. 背景纹理变化。
4. 传感器噪声（模糊、雾、高斯噪声等）。
基线模型： 对比了 GeoAware-VLA、OpenVLA-OFT、LoRA 微调（全量及 One-Shot）、Prompt Learning 等强基线。
真实世界验证： 在 Franka Emika Panda 机器人上进行了真实物理实验，验证了方法在真实环境中的有效性。

4. 关键结果 (Key Results)

视角泛化能力（Libero Benchmark）：
- FTM (4K 参数)： 将平均成功率从基线 $\pi_{0.5}$ 的 83.6% 提升至 87.1%。
- FLA (4.7M 参数)： 将平均成功率进一步提升至 90.8%。
- 对比 LoRA： 传统的 One-Shot LoRA 微调（针对 $\pi_{0.5}$ ）需要 467M 参数，成功率为 90.3%。FLA 在参数减少 99 倍 的情况下，性能反而略超 LoRA。
多扰动鲁棒性（Libero-V）：
- FLA 在相机、光照、纹理和噪声四种扰动下的平均成功率为 94.8%，优于 LoRA (94.6%) 和 OpenVLA-OFT-m (86.0%)。
参数效率： 证明了极少量的参数更新（<1% 的模型参数量）即可激活预训练模型中潜藏的鲁棒性。
真实世界表现： 在 Franka 机器人上，经过单次适应（One-Shot）后，模型能成功执行堆叠、拉抽屉、按按钮等复杂任务，即使面对显著的新视角和不完美的演示数据，依然保持高成功率。

5. 主要贡献 (Contributions)

重新审视 VLA 的脆性根源： 明确指出 VLA 在视角变化下的失效主要归因于**空间建模（Spatial Modeling）**的表征错位，而非物理推理能力的不足。
提出统一的一次性适应框架： 设计了 FTM 和 FLA 两种轻量级机制，能够以极低的参数成本（4K - 4.7M）高效重新校准视觉表征。
SOTA 性能与效率： 在 Libero 和 Libero-V 基准上取得了最先进的泛化性能，同时实现了比 LoRA 高两个数量级的参数效率。
揭示潜在鲁棒性： 证明了现有的预训练 VLA 模型本身具有巨大的未开发的鲁棒性潜力，无需大规模数据重训或复杂架构即可通过针对性微调释放。

6. 意义与启示 (Significance)

范式转变： 该研究挑战了“提高鲁棒性需要更多数据或更复杂 3D 架构”的传统观点，提出高效、定向的特征适应是解决分布偏移的关键。
实际部署价值： 对于机器人落地应用，这意味着在遇到新视角或环境变化时，无需重新收集海量数据或重新训练大模型，仅需极少量的演示数据（One-Shot）和极小的计算开销即可快速适应，极大地降低了部署成本。
理论指导： 为理解 VLA 模型内部各模块（视觉编码器 vs. 策略头）在分布偏移下的行为提供了理论依据，指导未来的模型设计应更关注空间表征的解耦与对齐。

总结： 这篇论文通过解构 VLA 模型，发现其“空间建模”是视角泛化的瓶颈，并提出了极其轻量级的 FTM 和 FLA 方法，以极小的代价实现了显著的鲁棒性提升，为具身智能在动态真实环境中的快速适应提供了新的解决思路。