🤖 AI

AdvNav: Behavior-Guided Black-Box Adversarial Attacks on Vision-Language Navigation

本文介绍了 AdvNav，这是一个行为引导的黑盒对抗攻击框架，它通过利用双粒度行为反馈来引导一种混合优化策略，从而在不需要模型梯度的情况下生成具有破坏性的视觉扰动，有效地干扰视觉语言导航智能体。

原作者： Chenyang Li, Kaige Li, Zeyu Jiang, Changhao Chen

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenyang Li, Kaige Li, Zeyu Jiang, Changhao Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个超级聪明的机器人朋友，它非常喜欢探索各种新房子。你给它一个语音指令，比如：“走过沙发，穿过餐厅，然后在外面等待。”这个机器人利用它的眼睛（摄像头）和大脑（人工智能）来判断下一步该往哪里走。这被称为视觉-语言导航（Vision-and-Language Navigation, VLN）。

但这里有一个转折：如果有人能在机器人完全不知情的情况下，欺骗它的眼睛，会发生什么？这正是开发 AdvNav 的研究人员所发现的。他们制造了一个“魔力透镜”，可以迷惑机器人，让它偏离航线，而且完全不需要窥探机器人的大脑内部。

“黑盒”之谜

通常情况下，要欺骗一个机器人，黑客需要成为“白盒”专家。这意味着他们需要掌握机器人的秘密蓝图（其内部代码和数学逻辑），以便精确计算如何干扰它的视觉。但在现实世界中，你无法看到一家公司机器人的内部构造。它是一个黑盒。你只能通过观察它的行为并与其交流来了解它。

论文指出，旧的招数在这里并不奏效。试图一步步猜测机器人的动作，就像试图通过一次只猜一个转弯来破解迷宫；这既耗时又容易失败，因为机器人可能会在过程中自我纠正错误。研究人员表示，我们需要一种新的攻击方式，这种方式既不需要蓝图，也不会卡在单一的步骤上。

“雾状透镜”诡计

那么，他们是怎么做到的呢？他们没有尝试破解代码，而是把机器人想象成一个走在雾气弥漫房间里的人。

他们创造了一种特殊的噪声，看起来就像相机镜头上的一层柔软、朦胧的尘埃或雾气。他们并没有只是向机器人投射随机的静电噪声（就像电视雪花点），而是使用了一种智能的进化策略，去寻找那种能让机器人失去方向感的“完美”雾气。

你可以这样理解：如果你在机器人的眼睛上贴一个小贴纸，它可能只会忽略它。但如果你在整个镜头上覆盖一层特定的“雾气”图案，机器人可能会把墙壁误认为是一扇门，或者把走廊误认为是一个死胡同。研究人员将这种方法称为 AdvNav。

“行为 GPS”

由于无法看到机器人的内心想法，他们必须通过观察机器人的行为来判断他们的“雾气”是否奏效。他们构建了一个**双粒度反馈（dual-granularity feedback）**系统。想象一位教练正在观察一名跑步者：

宏观层面（轨迹层面）： 跑步者完成比赛了吗？如果机器人迷路了或提前停止了，教练就会给出“差评”。
微观层面（动作层面）： 即使跑步者完成了比赛，他们是否有踉跄？是否差点摔倒？教练会观察机器人迈出的每一步。如果机器人犹豫了或者差点选错了门，教练会将此记录为“风险”。

通过观察这两点，研究人员可以告诉他们的“雾气”该如何变得更强。他们使用了一种叫做**遗传进化（genetic evolution）**的方法，这就像是针对计算机噪声进行的自然选择。他们一次尝试 10 种不同类型的雾气。那些让机器人最容易踉跄的雾气会存活下来，并结合在一起，创造出下一轮更强大的雾气。

结果：情况有多糟？

团队在两种不同类型的机器人大脑上进行了测试：

HAMT： 一种标准的、功能强大的机器人大脑。
MapGPT： 一种由庞大语言模型（类似于那些写文章或与你聊天的模型）驱动的超聪明大脑。

他们在 11 个不同的室内场景中，使用了数千条指令进行了测试。结果如下：

在 HAMT 机器人上： 攻击成功率达到了 49.70%。这意味着在近一半的尝试中，机器人未能到达目标点。其路径效率（行走表现）下降到了 29.35%，并且最终偏离预定位置 6.05 米。
在搭载 Qwen3-VL 大脑的 MapGPT 机器人上： 攻击成功率达到了 65.96%。
在搭载 GPT-4V 大脑的 MapGPT 机器人上： 攻击效果甚至更显著，成功率高达 87.30%！

研究人员发现，虽然有些机器人对简单的技巧（比如用黑色色块遮住部分摄像头）具有一定的抵抗力，但面对这种“雾状透镜”噪声时却显得异常脆弱。即使是拥有强大推理能力的超聪明 GPT-4V 机器人，也会感到困惑并走失。

这意味着什么（以及并不意味着什么）

论文表明，即使是最先进的导航机器人，在视觉受到轻微扭曲时也是脆弱的。研究人员认为，这不仅仅是一个有趣的技巧，更是一个警告。如果机器人在工厂或医院中使用，相机上的一点点“雾气”就可能导致它撞车或停止工作。

然而，论文谨慎地指出，这只是一个模拟实验。他们在名为“Matterport3D”的计算机世界中进行了测试，而不是在真实的房子里测试真实的物理机器人。他们也没有发明一种新的机器人来解决这个问题，而只是展示了当前的机器人是存在漏洞的。

核心结论是：我们不能仅仅因为机器人很聪明就假设它们是安全的。只要它们依赖摄像头，一点点看不见的“雾气”就能让它们迷失方向，因此我们需要制造能够看穿迷雾的机器人。

技术摘要：AdvNav

问题陈述

视觉语言导航（Vision-and-Language Navigation, VLN）使具身智能体能够根据自然语言指令在未知环境中进行导航。尽管基于 Transformer 和基于大语言模型（LLM）的 VLN 系统在性能上取得了显著进展，但这些模型依赖于深度神经网络（DNN），而这类网络本质上极易受到对抗性扰动的影响。

现有的针对 VLN 的对抗攻击方法主要是在白盒设置下运行，需要获取目标模型的内部梯度。对于模型所有权受限且内部状态无法获取的实际部署系统而言，这种方法往往是不切实际的。此外，由于需要在长程轨迹上进行递归反向传播，白盒攻击的计算成本也非常高昂。

虽然存在黑盒方法，但它们主要针对单步、瞬时的决策任务（如图像分类），难以应对 VLN 的多步、序列化特性。VLN 涉及延迟反馈、非线性误差累积以及智能体的策略自我修正能力，这使得标准的无梯度优化方法难以奏效。目前在开发能够仅利用可观测输入和输出，便能破坏 VLN 智能体多步“感知-动作”循环的无梯度、黑盒攻击框架方面，仍存在关键的技术空白。

方法论：AdvNav

作者提出了 AdvNav，这是一个行为引导的黑盒对抗攻击框架，旨在通过不访问模型梯度的形式，干扰智能体在导航过程中的第一视角视图。该方法采用了一种由新型反馈机制驱动的混合优化策略。

1. 双粒度行为驱动反馈

为了引导无梯度搜索，AdvNav 构建了一个仅基于智能体可观测行为的代理目标函数。该反馈聚合了三个组成部分：

轨迹级性能评分 ( $G$ )： 一个结合了路径长度加权成功率（SPL）和导航误差（NE）的统一评分。它量化了整体导航性能的退化程度（较低的 SPL 和较高的 NE 表示攻击成功）。
动作级奖励评分 ( $R$ )： 一个衡量每个时间步动作选择漂移的累积评分。它计算参考动作的概率与最可能的错误替代动作之间的差异。这捕捉了即使最终轨迹看起来完整时也存在的“软失效”和潜在决策风险。
偏差指示器 ( $\gamma$ )： 一个二进制标志，用于指示智能体是否偏离了参考轨迹。

这些信号构成了一个集成的反馈集，用以引导优化过程，优先考虑那些能诱发实际轨迹偏差，同时也能增加动作级风险的候选扰动。

2. 混合优化策略

AdvNav 利用 Perlin 噪声纹理来参数化扰动 $\delta$ ，以确保空间相干性，并模拟类似于雾气或尘埃等真实的干扰。优化过程通过两个耦合机制进行轮次迭代：

自适应强度调节： 该框架通过启发式方法更新扰动强度。它通过将噪声种群中的模式叠加到累积基础噪声上，生成候选扰动。候选者根据反馈得分的相对增益进行排名。如果一个候选者改善了攻击效果，则更新基础噪声；否则，则翻转更新方向。
噪声结构的遗传进化： 噪声的空间结构通过遗传算法进行精炼。噪声模式种群经历选择、交叉和变异。表现最优的候选者（基于双粒度反馈）被选为父代，以进化下一代噪声结构，从而使搜索过程能够随着时间的推移发现极具破坏性的配置。

核心贡献

AdvNav 框架： 提出了一种通用的、行为引导的黑盒对抗攻击框架，专门针对 VLN 智能体的视觉感知。它提供了一个高效的工具，用于在无需模型内部信息的情况下进行鲁棒性评估。
无梯度混合优化： 开发了一种新型优化策略，将自适应强度调节与噪声结构进化相结合。该方法专门针对 VLN 的序列决策挑战而设计，利用双粒度行为反馈来克服缺乏梯度信息的问题。
全面评估： 通过广泛的实验证明了该框架在不同模型架构（基于 Transformer 的 HAMT 和基于 LLM 的 MapGPT）以及不同骨干网络（Qwen3-VL 和 GPT-4V）上的有效性。

实验结果

作者在 Matterport3D 模拟器中的 Room-to-Room (R2R) 数据集上进行了评估，目标是 val-unseen 切分集，涵盖 11 个室内场景。

在 HAMT（基于 Transformer）上的表现： AdvNav 实现了 49.70% 的攻击成功率 (ASR)，显著优于掩码遮挡（Mask Occlusion, 38.74%）、高斯噪声（Gaussian Noise, 19.10%）和亮度偏移（Brightness Shift, 7.67%）等基准方法。它将路径长度加权成功率（SPL）从洁净设置下的 57.69% 降低至 29.35%，并将导航误差（NE）增加至 6.05m。
在 MapGPT（基于 LLM）上的表现： 该方法展示了强大的泛化能力，在 Qwen3-VL 骨干网络上实现了 65.96% 的 ASR，在 GPT-4V 骨干网络上实现了 87.30% 的 ASR。
感知隐蔽性： 视觉对比和 LPIPS（学习感知图像补丁相似度）指标表明，相比于标准噪声或遮挡方法，AdvNav 的扰动具有更高的感知隐蔽性，表现为低频亮度场（类似于薄雾），能够抵抗常规预处理。
消融实验： 实验证实，双粒度反馈（轨迹级 + 动作级）的协同作用以及自适应更新与结构进化的结合，对于实现高攻击成功率至关重要。

重要性与主张

论文声称，AdvNav 有效地揭示了当前 VLN 系统中存在的普遍潜在视觉脆弱性，无论这些系统是基于 Transformer 还是 LLM。通过在严格的黑盒约束和有限的查询预算下运行，AdvNav 可作为评估已部署 VLN 智能体鲁棒性的通用压力测试工具。

作者认为，AdvNav 不仅仅是一种攻击方法，更是推动未来韧性 VLN 模型设计研究的催化剂。研究结果强调，即使是具有强大推理能力的先进模型，在面对连续的、具有空间相干性的视觉干扰时仍然表现脆弱，这表明具身智能系统需要改进其鲁棒性机制。