💻 computer science

Decoding Task Progress from VLA Representations

本文证明了视觉-语言-动作（VLA）模型中的任务进度可以从其内部激活中线性读取，从而能够利用简单的探测器实现有效的、无需标签的分布外检测以及部署机器人策略时的运行时监控。

原作者： Atiksh Bhardwaj, Edward Weiyi Duan, Prithwish Dan, Wei-Chiu Ma, Preston Culbertson

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Atiksh Bhardwaj, Edward Weiyi Duan, Prithwish Dan, Wei-Chiu Ma, Preston Culbertson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：机器人不再是只会机械重复动作的笨拙手臂，而是聪明的助手，它们能理解你的声音，看到你台面上的凌乱，并想办法清理干净。这就是“视觉-语言-动作”（VLA）模型的梦想。把它们想象成机器人的大脑，这个大脑结合了一个超级智能的摄像头（视觉）、一个能理解你指令的语言翻译器（语言），以及一套能实际移动的肌肉（动作）。科学家们一直在利用大规模预训练模型来构建这些大脑——这就像是给了机器人一个包含人类历史上所有书籍和电影的图书馆，让它在接触真实的杯子或花瓶之前，就已经知道它们长什么样。

但棘手的地方在于：一旦我们对这些机器人进行微调以执行特定任务（比如把香蕉放在盘子里），它们有时会表现得非常奇怪。它们可能会被光线的微小变化搞糊涂，或者可能会一直试图去抓一个并不存在的香蕉，并在我们不知情的情况下默默地失败。我们需要一种方法，在机器人工作时“窥视”它的内心，看看它是在取得进展，还是仅仅在原地打转。这就是“可解释性”的概念。这就像拥有一个仪表盘，它不仅告诉你机器人正在做什么，还告诉你它“认为”正在发生什么。如果我们能读取机器人的内部想法，我们就能在它弄坏东西之前，发现它卡壳了并予以修复。

在这篇论文中，一个研究小组决定尝试读取机器人大脑中一个非常特定的想法：还有多少任务未完成？ 他们称之为“任务进度”。想象一下你在吃披萨。当你吃掉一半披萨时，你就知道自己已经完成了一半。研究人员想知道，机器人的内部“脑电波”（也就是其计算机内部的数字）是否自然包含一个信号，能够表达：“嘿，我已经完成了50%！”或者“噢不，我才完成了10%！”

他们在名为 $\pi0.5$ 的机器人模型上进行了测试，这个模型是建立在著名的语言和图像模型 PaliGemma 之上的高科技机器人大脑。研究人员并没有教机器人如何计算进度；他们只是问道：“如果我们观察机器人大脑中的数字，现在能猜出还剩多少时间完成任务吗？”

重大发现：机器人知道（但它不听使唤）

答案是肯定的。研究人员发现，任务进度清晰地写在机器人的大脑里，几乎就像图表上的一条线。如果你使用一个简单的数学工具（称为“线性探测”），观察机器人大脑前几层的数字，它能准确地告诉你还剩下多少任务。这非常令人惊叹，因为这意味着机器人自然地理解了“剩余时间”的概念，而无需有人专门教它如何倒计时。

更酷的是，他们发现这种“进度信号”在机器人接受任何特定机器人任务训练之前就已经存在了。它被内置在那个庞大的预训练大脑（PaliGemma）中，仅仅是通过阅读书籍和观察图片就习得了。这就像机器人仅仅通过阅读故事就学会了“讲完一个故事”的概念，并将其应用到将杯子从桌子移到冰箱的任务中一样。

“魔杖”测试：我们能控制它吗？

有趣的事情发生了。研究人员想知道：“如果我们知道机器人正在思考进度，我们能否通过‘戳一下’它的脑子，让它以为自己已经完成了更多任务？”他们尝试通过注入一个信号来“引导”机器人，即注入“你离目标又近了20%！”的信号。

结果呢？机器人并没有理会。尽管研究人员可以清晰地“读取”进度信号，但他们无法通过伪造该信号来“改变”机器人的行为。这就像你看着汽车的速度计，看到它显示“60英里/小时”，然后试图用手指把指针拨向“100英里/小时”。指针可能会动，但车子并不会真的跑得更快。机器人的大脑知道进度，但这种知识似乎并不是控制其肌肉运动的主要开关。这表明存在一个差距：机器人拥有丰富的内部地图来了解自己的位置，但它并不一定会像我们希望的那样，利用这张地图来决定下一步该做什么。

“卡顿机器人”报警器

那么，如果我们无法用这个信号来控制机器人，它是不是就没用了呢？完全不是！研究人员发现了一个非常实用的用途：识别机器人何时卡住了。

想象一下你正在观察一个试图把玫瑰插进花瓶的机器人。如果机器人运行正常，其“进度信号”应该平滑下降，就像一个倒计时器在跳动。但如果机器人搞糊涂了——也许是花瓶的位置有点奇怪，或者是光线变了——机器人的进度可能会停止。它可能会反复尝试同一个失败的动作。

研究人员利用这个进度信号构建了一个简单的报警系统。他们告诉系统：“如果进度信号停止下降，就发出警报！”他们将此与其它需要通过训练失败案例才能实现的复杂方法进行了对比。他们这个简单的“进度报警器”在识别机器人失败方面表现得同样出色，有时甚至更好。它不需要被教导什么是失败；它只是知道，如果机器人没有向目标靠近，那就说明出了问题。

这对未来意味着什么

论文指出，这些机器人大脑充满了隐藏且易于读取的信号，这些信号与它们正在做的事情有关。我们可以利用这些信号作为一种轻量级、低成本的方式来监控现实世界中的机器人。如果机器人卡住了，我们不需要复杂的 AI 来分析原因；我们只需要检查它的内部“进度时钟”。如果时钟停止了，我们就知道该介入了。

虽然研究人员无法利用这些信号来神奇地迫使机器人成功（即“引导”部分并未奏效），但他们证明了机器人确实拥有清晰的内部进度感。这为我们提供了一种新工具，让我们能够监督未来的机器人助手，确保它们安全、诚实且步入正轨，确保它们不会在实际毫无进展的情况下，看起来却在假装努力工作。

技术摘要：解码 VLA 表征中的任务进度

问题陈述

视觉-语言-动作（VLA）模型正成为通用的机器人操控策略，它们利用预训练的视觉-语言模型（VLM）骨干网络来支持开放词汇任务。然而，部署这些模型通常需要针对特定任务进行微调，这可能会降低泛化能力、削弱语言敏感性，并增加对感知扰动的脆弱性。目前存在一个关键差距，即无法在运行时监控这些模型的内部状态。虽然现有的可解释性工具可以解码策略对世界的“认知”（例如物体状态），但它们目前尚未解决如何监测任务进度（即轨迹中剩余的归一化时间）的问题。这种内部监控对于检测执行停滞或分布外（OOD）失败至关重要，且无需外部奖励信号或 OOD 标签。

研究方法

作者研究了任务进度是否可以从 VLA 模型 $\pi_{0.5}$ （基于 PaliGemma 骨干网络）的内部激活中线性读取。该方法围绕三个核心概念构建：可解码性（decodability）、**可操控性（steerability）**以及将这些信号应用于 OOD 检测。

1. 特征定义与提取

任务进度 ( $\tau$ )： 定义为轨迹剩余完成部分的归一化比例（ $1 - t/T$ ），其中 $t$ 是当前时间步， $T$ 是总轨迹长度。该标签直接从离线专家演示中导出，无需额外标注。
嵌入提取： 作者从 $\pi_{0.5}$ 的 Transformer 层中提取每个观测值的残差流激活值 ( $z_i$ )。
线性探测（Linear Probing）： 训练一个线性探测器 $\phi(z) = w^\top z + b$ ，通过激活值来预测 $\tau$ 。

2. 形式化表征

论文形式化了三种不同的特征表征层级：

弱可解码性（Weak Decodability）： 从分布内激活中提取出与 $\tau$ 相关的线性信号的能力。
强可解码性（Strong Decodability）： 单个探测器（无需重新训练）能否泛化到反事实转换后的输入（例如，交换语言提示中的目标名词）。这用于测试该信号是依赖于正确的语义输入，还是仅仅依赖于伪相关性。
可操控性（Steerability）： 通过干预激活（沿探测器的权重向量进行偏移）来因果地改变模型行为的能力（例如，强制模型表现得像是已经取得了更多进度）。

3. OOD 检测机制

利用进度探测器构建了一个运行时检测器。它将预测的进度 ( $\tau_{pred}$ ) 与基于已耗时计算的预期进度 ( $1 - t/E[T|\ell]$ ) 进行比较。显著的残差 ( $V_\tau(t) > \delta$ ) 表示策略处于停滞状态，从而标记该状态为 OOD。此方法在训练期间不需要 OOD 标签。

核心贡献

定义： 作者在生成式模型的背景下引入了弱可解码性、强可解码性及可操控性的正式定义，区分了信号的存在性、其对正确输入的依赖性以及其对输出的因果影响。
可解码性发现： 他们证明了任务进度在 $\pi_{0.5}$ $π_{0.5}$ 的残差流中既是弱可解码也是强可解码的。
- 该信号存在于预训练的 PaliGemma 骨干网络中，甚至在任何机器人特定微调之前，这表明该信号源于大规模机器人预训练。
- 使用语言反事实（交换任务名词）训练的探测器能够正确调整其输出，证明该信号是具备语言落地（language-grounded）特性的，而非仅仅是时间或视觉特征的函数。
可操控性局限： 尽管具有可解码性，但任务进度信号是不可操控的。向激活中注入“进度提升”并不能通过网络传播以改变策略未来的动作，也无法成功引导模型实现反事实行为。
OOD 检测： 进度探测器作为一个无标签的 OOD 检测器。当策略遇到扰动（噪声、模糊、遮挡）或未见任务时，它能检测到进度停滞。

结果

信号的涌现： 该进度特征在所有测试模型中均可观察到，包括原始 PaliGemma 骨干网络、基础 $\pi_{0.5}$ 以及微调后的变体。然而， $\pi_{0.x}$ 变体（在机器人数据上训练）的表现显著优于原始 VLM 骨干网络，表明该特征是在机器人预训练期间建立的。
反事实鲁棒性： 使用语言反事实训练的探测器实现了强可解码性（由于噪声代理，在分布内数据上的 $R^2 \approx 0.33$ ，但在交换指令下能正确追踪 $\tau=1.0$ ），而标准探测器则无法对语言变化做出反应。
可操控性失败： 在第 0 层注入进度提升（ $\tau_{boost} = 0.2$ ）的实验表明，后续层中的预测进度并未发生变化，且产生的动作与反事实目标并不一致。注入的动作仍与真实的未来动作保持距离。
OOD 检测性能：
- 跨任务泛化： 基于进度的检测器 ( $V_\tau$ ) 在未见任务上的 AUROC 达到 0.833（相比之下，在已知任务上为 0.796），展示了无需重新训练的鲁棒性。它在未见任务上优于基于密度的检测方法（如 Mahalanobis、VAE），并且在不需要 OOD 监督的情况下与有监督基准（SAFE-MLP）相比具有竞争力。
- 跨扰动泛化： 当仅在分布内数据上训练并在未见的噪声模式（例如，在噪声 A/B 上训练，在 C/D 上测试）上测试时， $V_\tau$ 实现了单回合 AUROC 为 0.960，优于针对特定噪声类型训练的有监督检测器。

意义与主张

本文声称 VLA 拥有丰富的、线性可读的内部表征，例如任务进度等语义量。这一发现表明：

监控是可行的： 学习读取这些信号为监控部署中的视觉运动策略提供了一条轻量级、可解释的路径，无需复杂的外部模型或标记的失败数据。
预训练是关键： 预训练骨干网络中任务进度的涌现表明，大规模机器人预训练赋予了模型一种结构化的任务完成理解，这种理解在微调过程中得以保留。
可观测性 vs. 可控性： 策略所表征的内容（可观测的进度）与它所作用的内容（可操控性）之间存在明显的鸿沟。通过注入进度无法实现操控这一事实，凸显了策略并未将这一特定的内部信号作为决策的直接控制变量。

作者将这项工作定位为为部署中的 VLA 提供工具的一种尝试，旨在提供一种能够检测“沉默失败”（进度停滞）的工具，且该工具对任务变化和环境扰动具有鲁棒性。