🤖 AI

From Clouds to Hallucinations: Atmospheric Retrieval Hijacking in Remote Sensing Vision-Language RAG

本文介绍了 CloudWeb，这是首个大气检索劫持攻击，它通过优化云和雾模式对遥感图像进行细微修改，迫使多模态检索增强生成系统检索到无关的天气相关证据，从而导致生成响应中出现下游幻觉和语义偏移。

原作者： Jiaju Han, Chao Li, Chengyin Hu, Qike Zhang, Xuemeng Sun, Xin Wang, Fengyu Zhang, Xiang Chen, Yiwei Wei, Jiahuan Long, Jiujiang Guo

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiaju Han, Chao Li, Chengyin Hu, Qike Zhang, Xuemeng Sun, Xin Wang, Fengyu Zhang, Xiang Chen, Yiwei Wei, Jiahuan Long, Jiujiang Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级智能的 AI 助手，它扮演着一位“遥感图书管理员”的角色。当你向它展示一张城市、农田或森林的卫星照片时，这位图书管理员不会仅仅猜测它看到了什么。相反，它会先跑向一个庞大的数字图书馆，找到关于该特定场景的最佳匹配描述或报告，然后利用这些笔记来撰写最终答案。这套系统被称为RAG（检索增强生成）。

这篇论文介绍了一种名为CloudWeb的新技巧，它就像一层“魔法迷雾”，在这位图书管理员开始撰写答案之前，就诱骗它从书架上取下错误的书籍。

以下是其工作原理的分解，以简单的概念呈现：

1. 设置：信任的图书管理员

通常情况下，如果你向 AI 展示一张阳光明媚的棒球场的照片，这位图书管理员会查看照片，找到诸如“绿草”、“菱形场地”和“运动场”之类的描述，并告诉你：“这是一个棒球场。”

该系统的设计初衷是极具帮助性，它依赖外部证据来确保准确性。

2. 攻击：“魔法迷雾”（CloudWeb）

研究人员发现，他们不需要破坏图书馆、黑客入侵计算机或重写书籍。他们只需要改变你展示给图书管理员的照片。

他们开发了一种方法，在卫星图像上叠加一层看起来逼真的云、霾或雾。

类比：想象你拍了一张阳光明媚的公园照片。然后，你用数字画笔在上面画上一朵逼真的云。在人类眼中，它看起来仍然是一个公园，只不过多云而已。
诡计：研究人员并非随机绘制云朵。他们使用计算机算法对云朵进行“调谐”，使其充当语义磁铁。他们优化了云朵，使得当图书管理员的计算机“阅读”图像时，云朵会让图像看起来更像是一份“天气报告”，而不是一个“公园”。

3. 劫持：获取错误的书籍

当图书管理员（检索系统）看到这张“多云”的照片时，它会感到困惑。它不再寻找关于“棒球场”或“农田”的书籍，而是突然认为：“哦，这看起来像是一个天气事件！”

它冲进图书馆，取出前 5 份最相关的文件。但它找到的不是关于地面的描述，而是关于云、雾、低能见度和薄雾的文件。

结果：图书管理员现在被“锚定”在了错误的证据上。即使地面仍然清晰可见，它也会认为这张照片是关于天气的。

4. 幻觉：困惑的讲故事者

一旦图书管理员将错误的书籍交给 AI 作家（生成器），作家就会遵循这些书中的指示。

结果：原本应该说“这是一个棒球场”的 AI，现在却会说：“这张图片显示了一个被浓雾遮挡的棒球场，”或者“场景被云层覆盖。”
危险：AI 并没有撒谎；它只是在遵循被给予的“证据”。但由于证据被伪造的云朵劫持了，最终的答案就是一个幻觉。它自信地描述了并非图像主要特征的天气，或者完全忽略了实际场景。

5. 为什么这很重要

这篇论文表明，这种攻击在七种不同类型的卫星数据集和五种不同类型的 AI 图书管理员上均有效。

它很隐蔽：云朵看起来是自然的。它们不是人类会立即识别出的怪异、锯齿状的计算机噪声。
它具有针对性：这种攻击不仅仅是破坏系统，而是将其具体引导至与天气相关的答案。
它难以阻止：研究人员测试了模糊图像或压缩图像是否能阻止攻击，但“魔法迷雾”依然存活。它构建在图像的底层结构中，而不仅仅是像素层面。

核心结论

这篇论文证明，在这些先进的 AI 系统中，轻微改变输入图像（添加一朵云）可以完全改变 AI 所依赖的“事实”。

这就像你给图书管理员看一张图书馆的照片，但你在玻璃上贴了一张“博物馆”的贴纸。图书管理员会忽略里面的书籍，开始谈论艺术史。研究人员表明，对于遥感 AI 而言，数字云可以充当那张贴纸，在对话开始之前就劫持整个对话。

该论文并未声称的内容：

它并未声称这适用于医学图像或临床诊断。
它并未声称目前已有解决方案（尽管它建议检查大气模式可能会有所帮助）。
它并未声称在没有强大计算机的情况下在现实世界中很容易做到这一点；为了“调谐”每次攻击的云朵，需要大量的计算能力。

核心信息是一个警告：如果你信任 AI 为你寻找证据，请确保你展示给它的图片没有被微妙地“加雾”以将其引向错误的方向。

技术摘要：CloudWeb——遥感视觉 - 语言 RAG 中的大气检索劫持

问题陈述

多模态检索增强生成（RAG）系统日益依赖视觉 - 语言检索器，将视觉查询锚定在外部文本证据上。尽管先前的对抗性研究主要集中在操纵检索语料库（知识投毒）或针对视觉 - 语言模型（VLM）的端到任务预测，但遥感多模态 RAG 的证据检索阶段仍 largely 未被探索。

具体而言，目前尚缺乏对以下问题的理解：是否可以通过对查询图像施加视觉上合理、外观自然的“大气变化”，在生成开始之前系统地劫持检索过程。如果查询图像被映射到共享视觉 - 语言嵌入空间中的错误区域，系统可能会检索到误导性的天气相关证据（例如“多云”、“有雾”、“雾霾”），而非与场景一致的证据。这将破坏最终生成响应的锚定性，导致系统产生“基于证据的幻觉”，即输出看似得到了检索上下文的支撑，尽管该上下文实际上已被输入扰动所劫持。

方法论：CloudWeb

作者提出了CloudWeb，一种输入空间的大气检索劫持攻击。与传统添加不可感知像素噪声或操纵数据库的对抗攻击不同，CloudWeb 仅通过叠加参数化的云、霾、雾和薄雾状图案来修改输入图像。该攻击假设的威胁模型是：攻击者离线访问检索器的编码器以进行优化，但在部署时不修改检索器、生成器、向量数据库或检索逻辑。

1. 大气参数化

CloudWeb 将扰动限制在一个低维、自然的大气族中，而非任意的像素噪声。扰动由 $\theta = (\rho, \alpha, \beta, \sigma, r)$ 参数化控制：

大气严重程度（ $\rho$ ）和云不透明度（ $\alpha$ ）。
霾强度（ $\beta$ ）和边缘柔和度（ $\sigma$ ）。
随机纹理种子（ $r$ ）。

该攻击生成平滑的低频云掩膜 $M_\theta$ 和不透明度图 $A_\theta$ 。它应用全局霾变换并将其与原始图像混合，确保扰动保留自然的大气结构（例如柔和的遮挡、对比度降低），而非高频噪声。

2. 面向检索的目标函数

CloudWeb 直接优化检索行为，而非分类 logits。总损失函数 $L(\theta)$ 包含五项：

目标吸引（ $L_{tar}$ ）：将对抗性图像嵌入拉向一组目标大气证据文本（ $T_q$ ）。
源抑制（ $L_{src}$ ）：降低与原始场景证据（ $S_q$ ）的相似度。
排序分离（ $L_{rank}$ ）：强制设定间隔，确保目标证据的排名高于源证据。
自然性正则化（ $L_{nat}$ ）：使用全变分（Total Variation）和高斯平滑，确保扰动看起来像自然的大气现象。
覆盖约束（ $L_{area}$ ）：防止攻击仅通过过度的空间覆盖而成功。

优化过程采用差分进化算法并结合局部细化，以寻找最优参数 $\theta$ 。

实验设置

作者在七个数据集的遥感 RAG 基准上评估了 CloudWeb，涵盖场景分类、图像描述、变化描述、灾害图像和视觉问答（VQA）。数据集包括 NWPU-RESISC45、RSICD、RSVQA-LR、LEVIR-CC、FloodNet、RSIVQA-UCM 和 RSIVQA-Sydney。

评估涉及：

五种 CLIP 风格检索器：GeoRSCLIP、RemoteCLIP、OpenAI CLIP（ViT-B/32, ViT-L/14）和 OpenCLIP。
六种下游 VLM：LLaVA-1.5/1.6、InstructBLIP、Qwen2.5-VL、GeoChat 和 H2RSVLM。
指标：
- 检索： $T@k$ （Top- $k$ 变化）用于通用干扰， $W@k$ （Weather@k）用于针对天气证据的劫持。
- 生成：天气幻觉率（WHR）以及在 303 个检索劫持成功案例子集上的攻击成功率（ASR）。

关键结果

1. 检索阶段劫持

CloudWeb 始终优于干净检索、手工设计的大气基线（例如高斯模糊、亮度霾）和随机噪声扰动。

在 GeoRSCLIP ViT-B/32 上，目标天气证据注入率（ $W@5$ ）从 0.71%（干净）提升至 43.29%（CloudWeb）。
该攻击成功将排名靠前的证据从与场景一致的描述（例如“住宅区”、“校园”）重定向至天气相关描述（例如“多云低能见度”、“雾天立交桥”）。
该漏洞并非特定于检索器；在所有五种 CLIP 风格模型中均观察到类似的增益，尽管 GeoRSCLIP 和 OpenAI CLIP ViT-L/14 表现出最高的易感性。

2. 下游生成影响

检索证据的劫持传播到了最终生成阶段。

在 Qwen2.5-VL 生成器上，CloudWeb 在 303 个案例中诱发了 172 个新的天气相关响应，实现了 61.39% 的天气幻觉率（WHR）。
干净输入促使模型描述与场景一致的内容（例如农田、河流），而对抗性输入则触发了涉及雾、云和低能见度的描述，即使底层图像在很大程度上仍可识别。
这证实了检索阶段的劫持可以将 VLM 输出引导至语义偏移、产生天气幻觉的响应。

3. 机制与鲁棒性分析

注意力转移：类激活图（CAM）可视化显示，CloudWeb 将检索器的注意力从源相关结构（道路、建筑物）转移到大气区域（云、霾），从而有效地在嵌入空间中重新锚定查询。
鲁棒性：该攻击在常见的后处理变换下仍然有效，包括 JPEG 压缩、调整大小和轻微的高斯模糊。
消融实验：研究证实，大气结构（不透明度/严重程度）和面向检索的优化均至关重要。移除目标吸引或排序分离项会显著降低性能。

意义与主张

该论文声称呈现了针对遥感多模态 RAG 的首个检索阶段大气证据劫持研究。其主要贡献如下：

新的失效模式：它识别出一种实际的失效模式，即外观自然的输入空间大气变化在生成开始之前系统地破坏了证据检索。这挑战了 RAG 鲁棒性仅需保障生成器或数据库的假设。
仅输入威胁：该攻击证明，攻击者可以通过仅修改输入图像来劫持整个 RAG 流程，而无需访问或修改检索器、生成器或知识库。
语义重定向：与降低性能的通用对抗噪声不同，CloudWeb 充当“语义载体”，将查询嵌入重定向至特定的大气语义区域（天气），该区域在视觉 - 语言嵌入空间中与扰动强相关。

作者得出结论，鲁棒的遥感 RAG 系统需要检索感知的防御措施（例如大气风险筛查、一致性感知检索和场景 - 天气解耦重排序），而不能仅依赖生成器侧的保障措施。他们强调，风险在于针对性的证据劫持，而不仅仅是通用的邻居干扰。