🤖 machine learning

Capability and Robustness Cannot Both Be Free: An Information-Theoretic Bound for Vision-Language-Action Models

本文建立了一个理论信息论界限，证明视觉 - 语言 - 动作模型面临一种固有权衡，即能力与鲁棒性之和无法超过由任务熵和对抗信道容量决定的固定预算，从而表明某一维度的显著改进必然以牺牲另一维度为代价。

原作者： Jianwei Tai

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Jianwei Tai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人完成一项复杂任务，比如制作三明治或组装玩具。你希望这个机器人既有能力（在房间干净安静时完美完成任务），又具备鲁棒性（即使有人悄悄溜进来，稍微扰乱光线，或在桌上贴上一张微小且不可见的贴纸，它仍能完美地继续完成任务）。

长期以来，研究人员希望只需通过“更聪明”地训练，就能制造出既超级有能力又超级鲁棒的机器人。

本文指出：不，你无法免费同时拥有两者。 机器人在两方面同时表现出色的程度存在一个硬性数学极限。

以下是使用简单类比进行的分解说明：

1. “预算”类比

将机器人处理世界的能力视为一笔固定的“信息货币”预算。

能力是指机器人理解真实指令（即“神谕”）的程度。
鲁棒性是指机器人忽略虚假或混乱指令（即“攻击”）的程度。

本文证明，你的“能力”与“鲁棒性”之和不能超过特定的总预算。该预算由两件事决定：

任务的复杂程度（“任务熵”）：如果任务是“拿起一个红色积木”，预算就很小；如果任务是“搭建纸牌屋”，预算就巨大。
攻击者能添加的噪声量（“信道容量”）：如果攻击者只能添加一点点灰尘，预算就很小；如果他们能涂抹整个图像，预算就巨大。

关键点在于：你无法在不耗尽预算的情况下，同时将这笔预算花在“能力”和“鲁棒性”上。如果你将更多资金花在抵御攻击的鲁棒性上，你就必须减少在正常条件下表现能力的投入，反之亦然。

2. “没有免费午餐”的发现

作者研究了一种名为OpenVLA的流行机器人“大脑”。

问题：当机器人看到干净图像时，其成功率高达 95%。但如果黑客添加一个微小且不可见的图案（“对抗性扰动”），机器人的成功率就会暴跌至 5% 以下。
旧有的希望：也许如果我们换一种方式训练，它就能在干净图像上保持 95% 的优异表现，同时在受攻击图像上也保持 95% 的优异表现。
现实：数学证明这是不可能的。存在一个“理论底线”。你无法仅通过训练就摆脱这种权衡；信息定律表明你必须做出选择。

3. 为何“预算”起初看起来那么大（随后又变小）

最初，作者使用整张图像（数百万像素）来计算预算。

宽松的界限：他们发现预算约为5,000 单位。机器人仅为其实际工作使用了约 7.5 单位。这让人误以为还有大量空间可以同时提升两方面。这就像说：“你有 5,000 元的零花钱，但午餐只花了 7.50 元，所以你肯定还剩 4,992.50 元可以用来提升鲁棒性！”

但这具有误导性。
机器人并不会查看每一个像素。它在做出决定前，会查看图像的“摘要”（就像一张压缩照片）。

紧密的界限：当作者专门针对机器人实际使用的图像部分来查看预算时，预算从 5,000 单位缩减到了31 单位。
令人震惊的是：现在，机器人仅为了保持“能力”，就已经花费了其总预算的24%。这意味着在不损害“能力”的前提下，提升“鲁棒性”的空间非常有限（仅剩约 23 单位）。

4. “泄漏”问题

本文还引入了一种巧妙的“鲁棒性”测量方法，以防止作弊。
想象一个机器人，它不是忽略攻击，而是直接将攻击复制到其行动中。

攻击：“向左移动。”
机器人动作：“向左移动。”
结果：机器人看起来“鲁棒”，因为它没有改变主意，但实际上它只是在盲目跟随黑客。

本文的数学计算排除了这种“作弊”行为。它确保真正的鲁棒性意味着机器人在忽略噪声，而不仅仅是复制它。

5. 这对未来的意义

作者并非建议我们放弃，而是为科学家们提供了一把新的标尺。

他们建议科学家不要只说：“我们的新防御使机器人提升了 10%”，而应该说：

“我们的新防御消耗了该特定机器人架构剩余‘鲁棒性预算’的 60%。”

这有助于公平地比较不同的机器人。它告诉我们，对于当前的机器人，我们正撞上一堵墙。要想变得更好，我们不能仅仅微调训练；我们可能需要改变机器人的“大脑”（其架构），或者接受它在干净日子里的表现会略微不完美，以换取在混乱日子里更安全。

简而言之：你无法拥有一个既完美胜任工作又完全免疫欺骗的机器人。存在一个硬性数学极限，而对于今天的机器人来说，我们仅仅为了完成工作，就已经花费了该极限的一大部分。

技术摘要：能力与鲁棒性无法同时免费

问题陈述

视觉 - 语言 - 动作（VLA）模型将多模态观测（图像和语言）直接映射到机器人动作，在干净输入上取得了高成功率，但在对抗性扰动下表现出灾难性的脆弱性。实证研究表明，不可感知的扰动（例如 $16/255$ 的 PGD 攻击）可将任务成功率从 $>95\%$ 降至 $<5\%$ 。尽管存在经验性防御方法，但它们通常涉及一种权衡：恢复鲁棒性往往会导致干净准确率的损失。

本文解决的核心开放问题是：这种权衡是否存在理论下限？具体而言，更智能的训练过程能否在无限制地同时实现高能力（干净准确率）和高鲁棒性，还是存在某种根本性的信息论约束，阻止两者同时达到最大化？

方法论

作者基于信息论构建了一个理论框架，以界定 VLA 策略的联合性能。

1. 理论框架

论文定义了一个 VLA 策略 $\pi$ ，将观测 $X$ 映射为动作 $A_\pi$ 。设 $A^\star$ 为神谕（专家）动作， $\tilde{X} = X + \delta$ 为受扰动的观测。作者定义了两个关键指标：

**能力（$Cap $）：** 策略动作与神谕动作之间的互信息，即$ I(A^\star; A_\pi)$。
**鲁棒性（$Rob $）：** 在攻击下保留的互信息，并针对“泄露”进行调整，定义为$ I(A_\pi; \tilde{A}\pi) - I(A\pi; \delta) $。减去$ I(A_\pi; \delta) $是为了防止退化策略通过简单地将扰动$ \delta$ 复制到动作中来获得高分。

核心贡献是定理 1，该定理指出，对于任何具有离散（或离散化）动作的 VLA 策略：
$Cap(\pi) + Rob(\pi) \leq H(A^\star) + I(X; \tilde{X})$
其中：

$H(A^\star)$ 是神谕动作的熵（任务复杂度）。
$I(X; \tilde{X})$ 是干净观测与受扰动观测之间的互信息（攻击信道容量）。

该证明依赖于数据处理不等式（DPI）的两次应用以及互信息的非负性。该界限是与策略无关的，意味着能力和鲁棒性的“预算”完全由任务和攻击决定，而非模型架构。

2. 收紧界限

作者承认，对于当前模型而言，像素级界限过于宽松，因为图像维度（ $D \approx 49,152$ ）远远超过了动作空间维度（7 维）。为解决这一问题，他们提出了推论 4（编码器特定界限）：
$Cap(\pi) + Rob(\pi) \leq H(A^\star) + I(\phi(X); \phi(\tilde{X}))$
此处， $\phi$ 代表冻结的编码器（例如 OpenVLA 中的 DINOv2+SigLIP）。这将信道容量限制在与策略相关的子空间内，显著收紧了理论预算。

3. 验证策略

论文通过两种不同的方法验证了该界限：

合成验证（Gaussian-VLA）： 一种闭式代理模型，其中所有量（ $H, I$ ）均可解析计算或以高精度估算。这包括 252 个实验单元，变化了维度和噪声水平。
真实模型验证： 在OpenVLA-7B上，针对四个LIBERO套件（Spatial, Object, Goal, LIBERO-10）在投影梯度下降（PGD）攻击下的评估。作者使用 MINE（互信息神经估计）和离散化直方图估计器来测量各项指标。

主要结果

1. 理论验证

零违反： 该界限在 252/252 个合成 Gaussian-VLA 单元和 48/48 个真实 OpenVLA-7B 实验单元中均成立。
松弛行为： “松弛度”（ $S = \text{Budget} - (Cap + Rob)$ ）在所有情况下均为非负。随着攻击预算 $\epsilon$ 的增加，信道容量 $I(X; \tilde{X})$ 减小，导致总预算收缩，这与理论预测一致。

2. 界限的幅度

像素级界限： 在 OpenVLA 上，像素级预算约为 5,000 nats（主要由图像信道容量主导），而测得的 $Cap + Rob $可忽略不计（$ <1$ nat）。这导致松弛度约为 $\sim 10^3$ nats，表明像素级界限是一个宽松的天花板。
编码器特定界限： 通过将信道限制在编码器子空间，预算降至 $\sim 31$ nats（ $H(A^\star) \approx 26$ nats + $I(\phi(X); \phi(\tilde{X})) \approx 4.6$ nats）。
约束现实： 在编码器特定界限下，离散化能力（ $Cap_{disc} \approx 7.5$ nats）已经消耗了总预算的 $\sim 24\%$ 。这表明对于当前架构，权衡不仅是理论上的，而且是实际具有约束力的；在不牺牲能力的情况下提升鲁棒性的空间有限。

3. 估计器的鲁棒性

作者证明，即使使用有偏估计器（MINE, InfoNCE, KSG），该界限依然成立。由于 MINE 倾向于低估互信息（作为下界），它会低估不等式的左侧（LHS），从而使界限更容易满足。因此，零违反的结果对估计器偏差具有鲁棒性。

意义与主张

论文声称以下贡献和意义：

动作策略的首个不可能性结果： 与以往专注于二分类器的工作（如 Tsipras 等人，2019）不同，这是首个专门针对动作生成策略的信息论界限。它证明了能力和鲁棒性无法同时免费；它们竞争由任务熵和攻击信道容量决定的固定预算。
防御评估的新指标： 作者提出编码器特定松弛度（ $S_{enc}$ ）作为比较防御论文的统一指标。与其报告无法跨场景迁移的绝对鲁棒性数值，未来的工作可以报告消耗的编码器预算比例。这使得对策略接近理论极限程度的标准化评估成为可能。
架构的诊断价值： 该界限揭示了当前模型中的“松弛”是结构性的。像素级预算与编码器级预算之间的差距凸显了当前策略未能充分利用编码器表示中可用的信息。
安全影响： 该工作将对抗性脆弱性从准确率问题重新框架化为安全问题。由于每个预测都是一个物理动作，理论下限意味着在不损害其执行任务能力的情况下，VLA 的鲁棒性存在硬性限制，这要求改变安全关键系统的设计和评估方式。

论文结论指出，虽然该界限是非构造性的（它不提供构建饱和该界限的策略的配方），但它确立了一个根本性的极限，任何数量的架构调整都无法绕过。"松弛度"代表了当前能力与理论最大值之间的差距，这一差距现在是可量化的。