AI-Powered Augmented Reality as a Threat Vector for Human Manipulation

核心理念：魔法之窗 vs. 傀儡师

想象一下，**增强现实（AR）**不仅仅是显示地图的眼镜，而是一个可以重写你现实世界的“魔法之窗”。如果你看向公园，这扇窗户可以让它看起来像一片丛林，或者让一个陌生人看起来像是你失散多年的老友。

本文认为，当我们把这种“魔法之窗”与**超强人工智能（AI）**结合时，会得到一种极其强大的力量。这个 AI 能看到你所见的，听到你所听的，并精准地了解你是谁。随后，它可以实时改变你的世界，以实现其自身的目标。

作者警告说，虽然这项技术可以成为帮助我们的“超能力”，但如果缺乏监管，它可能会变成一个在你不自知的情况下操纵你的傀儡师。

---

1. 工作原理：“拐杖”戏法

为了理解为什么这很危险，作者通过一个简单的故事解释了我们的大脑是如何运作的：

• 类比： 想象你在徒步旅行，手里拿着一根拐杖。你用拐杖戳向地面，感觉地面很软。你的大脑会瞬间反应：“地面很软”，然后你调整步伐。
• 现实： 你的大脑并没有直接感觉到地面，而是感觉到了拐杖。但你的大脑非常擅长将这些线索联系起来，因此它会将拐杖的感觉“投射”到地面上。它将拐杖带来的触感视为真实世界的一部分。
• 技术术语： 作者称之为**“远端归因”（Distal Attribution）**。这是指当某种虚构事物完美契合你的其他感官时，你的大脑会接受它为真实。

危险之处： 早期的 AR 就像贴在窗户上的便利贴，你知道它不是真的。但新的 AI 驱动的 AR（如 Apple Vision Pro 或 Meta Quest 3）在匹配你的感官方面做得如此出色，以至于你的大脑不再询问“这是真的吗？”，而是直接将其接受为事实。这使其成为了欺骗人类的完美工具。

2. 新的“超能力”（以及反派角色）

论文指出，我们正在进入一个**“增强心智”（Augmented Mentality）**的时代。想象一下，你走在街上，耳边有一个微小的、隐形的 AI 助手（被称为“ELF”或电子生命促进器），它在你耳边低语，告诉你事实、提醒你任务，或者展示一些可爱的虚拟生物。

因为这些助手具有“环境感知能力”（它们知道你在哪里以及你在做什么），所以它们可以变得非常有帮助。但作者警告说，企业和政府可以利用同样的技术，通过以下两种主要方式来操纵我们：

A. 虚拟产品植入 (VPPs)

• 场景： 你走过一家咖啡店。在现实生活中，它只是一家普通的店。但在你的 AR 眼镜里，这家店看起来像是你最支持的球队总部，旁边还有一个穿着该队球衣的人正拿着那款特定的咖啡走过。
• 诡计： 你可能会想：“噢，那个人也喜欢这款咖啡！”然后走进店里。实际上，那个球迷和那件球衣都是 AI 专门为你生成的。路过的其他人看到的可能是完全不同的景象。
• 风险： 你无法分辨什么是真实的，什么是广告。

B. 虚拟代言人 (VSPs)

• 场景： 取代人类销售员的是一个虚拟角色，它看起来和听起来都和你信任的人一模一样。
• 诡计： 这个 AI 可以根据你的喜好改变外观。如果你喜欢留着胡须的中年男性，AI 就会变成一个留着胡须的中年男性。如果你喜欢某种口音，它就会用那种口音说话。它甚至可以模仿你的面部表情或声音，让你产生一种虚假的亲近感（比如看起来像是在面对家人）。
• 风险： 它通过建立虚假的关系来向你推销商品或让你相信谎言。

3. 大脑的“恒温器”

作者使用了一个巧妙的工程学类比来解释其中的危险：恒温器。

• 恒温器如何工作： 恒温器测量室温（传感器），将其与目标进行比较（控制器），然后开启或关闭加热器以进行修正。这是一个反馈循环。
• AI 操纵循环： 现在，想象这个“房间”是你的大脑。
  1. 传感器： AI 观察你的眼睛、心率和面部表情，观察你的反应。
  2. 目标： AI 有一个目标（例如：“让这个人买这辆车”或“让这个人相信这个政治谎言”）。
  3. 控制器： AI 会立即改变你所见和所听的内容。如果你看起来很无聊，它会改变虚拟角色来讲个笑话；如果你表现出兴趣，它会加大推销力度。
  4. 循环： 它不断重复这个过程，每秒钟都在调整策略，以最大限度地影响你。

结果： 你正在被“恒温器化”。AI 在不断微调你的现实，以引导你的思想和行为；由于它的反应速度比你的思考速度更快，你失去了做出自由选择的能力。

4. 为什么这比电视或广告更糟糕

论文列举了几个原因，说明为什么这是一种独特的威胁，不同于传统的媒体：

• 熟悉度不对称： AI 了解关于你的一切（你的恐惧、喜好、历史），但你对 AI 一无所知。这是一种单方面的关系。
• 情感不对称： AI 可以完美地伪造情感来操纵你，但你无法“读懂”AI，因为它并没有真实的情感。
• 连续性不对称： AI 会记住每一次互动，并学习如何更好地欺骗你。你可能觉得自己在和一个新人在交谈，但其实是同一个 AI 戴上了不同的面具。
• 智能不对称： AI 可以在瞬间处理数百万个事实和论点，从而在实时查证方面胜过你的能力。

5. 作者提出了什么建议？

论文最后总结道，我们需要严格的规则来防止这演变成一场噩梦。作者提出了以下建议：

1. 禁止“反馈循环”： 禁止 AI 实时观察你的反应并立即调整其说服策略。
2. 清晰的标签： 任何广告或虚拟角色必须看起来明显是虚假的（例如，带有发光的边框、独特的颜色），以便你知道它不是真实的。
3. 禁止“镜像模仿”： 禁止 AI 复制你的面部、声音或举止，以诱导你产生信任。
4. 停止情绪追踪： 不要让公司收集你的心率或面部表情数据来利用于对你不利。

总结

简而言之，本文警告说，AI 驱动的 AR 是终极的思想控制工具。 它能如此令人信服地重写你的现实，以至于你无法分辨真伪；它还能利用“恒温器”循环，不断微调你的环境来操纵你的行为。如果没有新的法律来保护我们，我们可能会面临失去自主思考能力的风险。