🤖 AI

SCALE: Self-uncertainty Conditioned Adaptive Looking and Execution for Vision-Language-Action Models

本文介绍了 SCALE，这是一种针对视觉-语言-动作模型的无需训练、单次推理策略，它利用自我不确定性来动态调整视觉感知和动作执行，从而增强鲁棒性，并在无需额外训练或验证器的情况下，超越了现有的测试时扩展方法。

原作者： Hyeonbeom Choi, Daechul Ahn, Youhan Lee, Taewook Kang, Seongwon Cho, Jonghyun Choi

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Hyeonbeom Choi, Daechul Ahn, Youhan Lee, Taewook Kang, Seongwon Cho, Jonghyun Choi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人做晚饭。你给它一个食谱（语言指令），并向它展示厨房（视觉输入）。机器人需要决定下一步做什么：拿刀、切洋葱，还是打开炉灶。

目前的机器人大脑（被称为视觉-语言-动作模型）很聪明，但它们有一个缺陷：它们有点过于僵化。一旦它们做出决定，就会固执己见，即使感到困惑也是如此。如果机器人看到一个看起来很像西红柿的红辣椒，它可能会抓错东西并毁掉这道菜，同时还自信满满地坚持说：“我很清楚自己在做什么。”

这篇论文介绍了一种名为 SCALE（自我不确定性调节的自适应观察与执行）的新方法。把 SCALE 想象成给了机器人一个“直觉”计量器，告诉它什么时候该大胆行动，什么时候该谨慎行事。

以下是 SCALE 的工作原理，通过简单的概念进行拆解：

1. 问题所在：“自信的傻瓜”

如今大多数机器人就像一个正在参加考试的学生，他们猜出一个答案后就拒绝更改，即使他们意识到自己可能错了。

固定视觉： 它们观察世界时的“专注度”始终如一。如果它们被一个闪亮的物体（干扰物）分散了注意力，它们可能会错过真正需要的食材。
固定动作： 它们会立即选择那个可能性最高的单一动作。如果它们不确定，它们仍然会选一个并听天由命。

2. 解决方案：“自我不确定性”计量器

SCALE 在机器人采取行动之前会问一个简单的问题：“我现在有多确定？”

它不需要人类老师或第二个机器人来检查它的工作。它通过观察自己的内部数学逻辑（“logits”）来衡量自身的信心。

高置信度（低不确定性）： 机器人确定那个红色的东西是西红柿。它会像激光束一样收窄焦点，快速且直接地行动。
低置信度（高不确定性）： 机器人看到两个红色的东西，不确定哪一个是西红柿。与其瞎猜，它会说：“等等，我糊涂了。”

3. 魔法技巧：自适应观察与执行

当机器人意识到自己很困惑时，SCALE 会同时触发两种变化：

自适应观察（拓宽镜头）： 想象机器人戴着眼镜。当它有信心时，眼镜设置为“放大”模式，以专注于特定任务。当它困惑时，眼镜会自动切换到“广角”模式。这迫使机器人重新观察整个场景，搜寻之前可能错过的线索（比如检查另一个红色物体是否真的是辣椒）。
自适应执行（尝试更多选项）： 当有信心时，机器人会选择最佳动作并执行。当困惑时，它不再那么死板。它不再只选一个动作，而是“采样”几种不同的可能性（比如尝试稍微不同的角度来抓取物体），看看哪种感觉是对的。

4. 为什么它很特别（“单次通过”的优势）

其他让机器人变得更聪明的方法通常需要：

训练一个新的老师： 你必须训练一个单独的 AI 来检查机器人的工作。
多次运行测试： 机器人在脑海中尝试任务 10 次以选出最佳方案，这非常缓慢。

SCALE 则不同。 它就像一个本能地知道何时减速并环顾四周的司机，而不需要副驾驶或第二次行程。

无需额外训练： 它直接利用机器人现有的“大脑”。
无需反复纠结： 它在一次性操作中（一次“前向传播”）做出决策。
实时性： 因为它不会浪费时间进行重复计算，所以它足够快，能够应用于现实世界的机器人。

结果

在测试中，使用 SCALE 的机器人能更好地处理棘手情况，例如：

挑选那些看起来与其他物体很相似的物体。
在绕过障碍物时不会发生碰撞。
完成复杂的长任务，其中早期的微小错误可能会毁掉全局。

简而言之： SCALE 教会机器人倾听它们的“直觉”。当它们确定时，行动迅速且专注；当它们不确定时，它们会放慢速度，更仔细地观察周围，并尝试不同的方法。这使得它们在无需任何额外训练或缓慢重复测试的情况下，变得更加安全、聪明且可靠。

技术摘要：用于视觉-语言-动作模型的 SCALE

问题陈述

视觉-语言-动作（VLA）模型已成为通用机器人控制的主流范式，它们利用预训练的视觉-语言模型（VLM）将多模态观测和语言指令映射为动作。然而，这些模型在具有感知歧义性（例如，视觉相似的干扰物）和动作多模态性（存在多种可能的动作）的现实场景中，往往难以保持鲁棒性。

现有的增强测试时鲁棒性的策略，即测试时缩放（Test-Time Scaling, TTS），通常存在三个关键局限性：

部署不切实际： 许多 TTS 方法需要为外部验证器或自我验证进行额外的训练，在领域偏移下性能会下降，并且会产生多次前向传播，这与实时性约束相冲突。
固定感知： 当前的 TTS 方法仅在动作解码阶段进行干预，而保持视觉表示固定不变。当感知歧义要求智能体重新考虑“如何”感知场景，而不仅仅是“采取什么”动作时，这种方法是不够的。
不充分的不确定性度量： 现有的不确定性度量通常只能捕捉整体分布不确定性（例如熵），但无法解释模型对其 Top-1 选择的果断程度，而这对于大多数 VLA 使用的贪婪解码至text至关重要。

方法论：SCALE

作者提出了 SCALE（自不确定性调节的自适应观察与执行），这是一种简单、无需训练的推理策略，它根据模型的内在“自不确定性”联合调节视觉感知和动作。受主动推理（Active Inference）理论中不确定性驱动探索的启发，SCALE 在单次前向传播中运行，无需外部验证器。

1. 自不确定性估计

其核心创新是一种新型的自不确定性指标（ $u_t^k$ ），它同时捕捉了分布离散度和 Top-1 果断性。SCALE 没有依赖单一参考，而是定义了两个参考分布：

低不确定性参考 ( $q_{low}$ )： 一个以模型预测的 Top-1 token 为中心的 one-hot 分布，代表完全确定。
高不确定性参考 ( $q_{high}$ )： 一个在词表上的均匀分布，代表完全模糊。

自不确定性得分被计算为预测分布（ $p_t^k$ ）与这两个参考分布之间的 KL 散度之差：
$u_t^k = D_{KL}(p_t^k \parallel q_{low}) - D_{KL}(p_t^k \parallel q_{high})$
这种公式有效地将预测定位在确定性光谱上。正分表示分布更接近模糊，而负分则表示高置信度。

2. 自适应推理机制

SCALE 利用该不确定性信号来调节 VLA 流水线的两个互补方面：

自适应动作解码（Token 级）： 动作 token 的采样温度（ $\tau_t^k$ ）根据 token 级的确定性 $u_t^k$ 进行动态调整。
$\tau_t^k = T_0 \cdot \sigma(u_t^k)$
其中 $\sigma$ 是 sigmoid 函数。在高度不确定时，温度升高以鼓励多样化的探索性采样。在低不确定性时，温度降低，实现近乎贪婪的执行。
自适应视觉注意力（步进级）： 为了解决感知歧义问题，SCALE 调节视觉编码器的注意力温度（ $\gamma_t$ ）。与动作解码不同，视觉调节响应的是场景复杂度的变化。
- 系统通过对 token 级不确定性求平均来计算步进级不确定性（ $u_t$ ）。
- 它追踪近期不确定性的指数移动平均（EMA）（ $\bar{u}_{t-1}$ ）。
- 偏差（ $\Delta u_{t-1} = u_{t-1} - \bar{u}_{t-2}$ ）决定了注意力温度：
  $\gamma_t = \kappa \tanh(\Delta u_{t-1})$
- 当不确定性高于近期平均水平时（ $\Delta u > 0$ ）， $\gamma_t > 1$ ，扩大注意力范围以探索场景。当不确定性下降时（ $\Delta u < 0$ ）， $\gamma_t < 1$ ，锐化注意力以聚焦于任务相关的线索。

这创建了一个反馈循环：一个时间步的不确定性既调节动作采样，又同时调整下一个时间步的视觉注意力，从而在闭环控制中实现自适应执行。

核心贡献

感知与动作的联合调节： 不同于以往仅调整动作解码的 TTS 方法，SCALE 根据自不确定性联合调整视觉注意力和动作采样，解决了歧义场景中的根本失效原因。
无需训练、单次通过的高效性： 该方法不需要额外的训练、外部验证器或多次前向传播，使其在实际机器人部署中具有实用性。
新型不确定性度量： 所提出的双参考不确定性度量捕捉了分布不确定性和 Top-1 果断性，优于现有的代理指标（如熵或置信度分数）。
实验验证： 该方法在模拟环境（LIBERO, SIMPLER-WidowX, LIBERO-PRO-Long）和使用 UR10e 手臂的真实世界抓取任务中，在多种自回归 VLA 架构（OpenVLA, $\pi_0$ -FAST, SpatialVLA）上得到了验证。

实验结果

实验在模拟基准测试（LIBERO, SIMPLER-WidowX, LIBERO-PRO-Long）和使用 UR10e 手臂的真实世界抓取任务中进行。

性能提升： SCALE 一致优于最先进的（SoTA）VLA 和现有的 TTS 方法。在带有 OpenVLA 的 LIBERO 基准测试中，SCALE 实现了 81.5% 的平均成功率，超过了贪婪基线（75.7%）以及需要训练的 TTS 方法，如 MG-Select (70.8%), RoboMonkey 和 TACO。
鲁棒性： 在真实世界实验中，在分布内条件下，SCALE 分别使 OpenVLA 提高了 +19.5% 和 $\pi_0$ -FAST 提高了 +13.9%；在涉及未见物体的分布外条件下，分别提高了 +16.7% 和 +12.5%。
消融实验：
- 结合自适应解码和自适应视觉注意力产生了协同增益（比基线高 +10.6%），超过了单个改进的总和。
- 所提出的自不确定性指标显著优于其他替代方案（熵、基尼系数、自确定性），其表现为 63.3%，而次优方案为 57.8%。
- 调节视觉编码器的单模态注意力比调节 VLA 主干的跨模态注意力更为有效。
效率： SCALE 保持了单次通过的效率，而需要多次采样的方法（如 Best-of-N）对于 OpenVLA 的延迟增加了高达 15.9 倍。

意义与主张

论文声称 SCALE 提供了一种实用且有效的解决方案，可以在不增加现有 TTS 方法计算开销的情况下增强 VLA 的鲁棒性。通过借鉴主动推理的原则，作者证明了智能体可以通过自适应地改变其感知方式（视觉注意力）和执行方式（动作采样）来减少不确定性。

作者强调，他们的贡献主要是方法论上的，重点是通过自适应推理来改进现有的 VLA 架构，而不是引入新的模型能力。他们断言，SCALE 通过允许机器人根据自身的预测置信度在探索与利用之间进行动态切换，从而实现更可靠、更安全的现实环境操作。代码已公开，以促进进一步的研究和部署。