Counterfeit Answers: Adversarial Forgery against OCR-Free Document Visual Question Answering
本文引入了一种名为“伪造答案”（Counterfeit Answers）的新型对抗攻击场景，该场景通过在视觉上难以察觉的方式伪造文档内容，来操纵无需 OCR 的文档视觉问答（Document VQA）模型以生成特定或错误的答案，从而展示了 Pix2Struct 和 Donut 等最先进系统存在的严重漏洞。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你有一个非常聪明、自动化的机器人助手，它的工作是阅读发票、收据和合同。你可以问它问题，比如“我欠多少钱？”或者“发票号码是多少？”，它会查看文档的图像并给出答案。这项技术被称为文档视觉问答 (DocVQA)。
这篇论文是一份安全报告，其核心内容是：“这个机器人很容易被隐形的魔术手段所欺骗。”
以下是研究人员发现内容的简单拆解，使用了日常类比：
1. 背景设定：机器人与文档
把 DocVQA 模型想象成一位超级快速的图书管理员，她能瞬间阅读文档并回答问题。
- 旧方法： 图书管理员会先使用扫描仪 (OCR) 将纸张的图片转化为打字文本，然后再阅读这些文本。
- 新方法（本论文的重点）： 图书管理员直接观察纸张的图片，同时理解其布局、字体和数字，而不需要先进行“打字转换”。这种方式更快、更聪明。
2. 问题所在：“隐形墨水”诡计
研究人员发现，你可以通过对文档图像进行微小的、几乎看不见的修改来愚弄这位聪明的图书管理员。
- 类比： 想象你有一张收据。你用一支魔术笔改变了纸角的一个像素（一个极小的颜色点）。在人类眼中，这张收据看起来完全没变。但对机器人来说，那个微小的变化就像是一个响亮的警报器，在尖叫着说：“忽略总价！总价现在是 0.00 美元！”
- 结果： 尽管文档看起来没有变化，机器人却会自信满满地给你一个错误的答案。
3. 他们使用的两种方法
研究人员测试了两种“欺骗”机器人的方法：
- “全文档”诡计： 他们在整个页面上散布了微小的、不可见的改动。这就像是在整张收据上撒了一层看不见的粉末，让机器人的大脑陷入混乱。
- “补丁”诡计： 他们在文档的一个小角落（比如右下角）贴了一个微小的、隐形的“贴纸”（补丁）。令人惊讶的是，仅仅靠这个微小的贴纸，就足以让机器人忘记总金额或更改发票 ID。
4. 三种类型的诡计
研究人员展示了他们可以用三种具体方式来欺骗机器人：
- “特定谎言”（针对单一目标）： 他们让机器人针对某一个问题给出一个特定的错误答案。例如：让机器人在实际金额为 128 美元时，说总价是 0.00 美元。
- “大规模混乱”（针对多重目标）： 他们尝试让机器人同时对多个问题撒谎。例如：同时改变总价、日期和发票号码。 他们发现这更难实现；机器人会感到困惑，但要让它对所有问题都完美地撒谎是非常困难的。
- “拒绝回答”（拒绝回答）： 他们并不关心错误的答案是什么，他们只想让机器人彻底失败。例如：让机器人在面对所有问题时都回答“我不知道”或“请重试”。 这非常容易实现。
5. “白盒”秘密
研究人员承认他们在实验中拥有巨大的优势。他们完全了解机器人的大脑是如何构建的（其代码、设置以及处理图像的方式）。
- 类比： 这就像一位魔术师在练习表演时，对手戴着一副耳机，耳机里会告诉他魔术师正准备选哪张牌。
- 为什么这很重要： 即便在这种拥有完全知识的“不公平”优势下，他们依然能如此轻易地破解系统，这证明了该系统的脆弱性。如果黑客在不知道这些秘密的情况下也能做到这一点，那么情况会更难（尽管那会更复杂）。
6. 现实世界的危险
论文警告说，如果我们让 AI 智能体（机器人）自动处理金钱或法律文件，这些“隐形墨水”式的诡计可能会非常危险。
- 场景： 一个心怀叵测的人可能会发送一张带有微小、隐形补丁的发票。自动化银行系统读取了它，被骗了，从而授权了一笔 0.00 美元的付款，而不是真实的金额，或者批准了一笔虚假交易。
总结
这篇论文并不是说这项技术没用。相反，它是一个“警告标签”。它在说：“我们制造了一个非常聪明的机器人来阅读文档，但我们刚刚发现，一粒微小的、肉眼看不见的尘埃就能让它产生完全错误的幻觉。”
研究人员发布了他们的“魔术技巧”（代码），以便其他科学家可以研究它们，并构建更强大的盾牌来保护这些系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。