将生成式人工智能想象成一个超强力、超具创造力的工厂，能够即时生产文本、图像、音频和视频。它就像一台永不休眠的魔法印刷机。但就像任何强大的工厂一样，它不仅生产商品，也会制造“事故”和“混乱”。
这篇论文本质上是对该工厂引发的 499 起真实世界事故进行的法医式调查。研究人员（来自卡内基梅隆大学）并非仅仅猜测可能出现的问题；他们查阅了海量的警方报告、新闻报道和公众投诉，以精确描绘出究竟发生了什么、谁受到了伤害以及原因何在。
以下是他们研究发现的简明拆解：
1. 最大的意外：“旁观者”问题
在大多数安全故事中，我们假设受到伤害的人是工具的使用者。如果你鲁莽驾驶，你就是那个遭遇车祸的人。
但在生成式人工智能领域，研究人员发现情况往往恰恰相反。
- 类比：想象你在参加一个派对。你决定用一支魔法画笔为朋友画一幅滑稽的画像。你（使用者）觉得这很有趣。但画中的人（旁观者）现在正被全镇的人嘲笑，或者其声誉遭到毁灭。
- 发现：研究发现，大多数伤害并非发生在人工智能的使用者身上，而是发生在与它毫无关系的人身上——陌生人、社区或整个社会。 “使用者”往往获得了好处（乐趣、生产力），而“非使用者”却承受了创伤（诈骗、身份盗窃、混乱）。
2. 两大罪魁祸首：“故障”与“恶棍”
研究人员将事故发生的起因归类为两大类：
- 故障（技术失败）：有时人工智能就是会出错。它会产生幻觉（编造事实）、陷入混乱，或未能遵守规则。
- 谁受到了伤害？ 通常是用人工智能的人。例如，律师使用人工智能撰写法庭辩护词，人工智能编造了一个虚假案例，导致律师陷入麻烦。
- 恶棍（恶意使用）：这是最大的意外。造成伤害的最常见原因并非人工智能本身坏了，而是人们故意利用正常运作的人工智能作恶。
- 谁受到了伤害？ 几乎总是旁观者。
- 示例：有人利用人工智能制作政治人物的虚假深度伪造视频以引发骚乱，或制作同学的虚假裸照进行霸凌。人工智能完全按照设计运行；问题出在背后的人类身上。
3. “谁、什么、如何”地图
该论文构建了一张新地图（分类法）来组织这些事件：
- 发生了什么（伤害类型）：最常见的伤害类型涉及人们的自主权（被欺骗或被冒充）、政治/经济（虚假新闻左右选举或市场）以及声誉（诽谤）。
- 如何发生（失效模式）：最常见的原因是恶意使用（蓄意的不良行为者）。第二常见的是未披露的使用（在应当由人类完成的工作中使用人工智能，例如学生作弊或杂志被人工智能垃圾信息淹没）。
- 谁受到了伤害：如前所述，“未互动”的人群（公众、深度伪造的受害者）承受了主要的损害。
4. 为何现行规则行不通
该论文认为，我们目前关于安全的思维方式存在缺陷，因为它假设工具的使用者是唯一需要保护的人。
- 类比：这就像拥有一本锤子的安全手册，只告诉你如何不砸到自己的拇指，却只字未提如何不砸到邻居。
- 现实：由于人工智能的使用者往往不会承受后果（受害者才会），他们就没有动力去谨慎行事。“利益”归于使用者，而“风险”却转嫁给了陌生人。
5. 我们应该怎么做？
作者提出了三项主要措施来解决这一混乱局面，侧重于人和规则，而不仅仅是更好的代码：
- 教育公众（人工智能素养）：我们需要教育大众了解这个“工厂”是如何运作的。如果人们明白人工智能会撒谎（产生幻觉）或被用于诈骗，他们就不会盲目信任它。这将阻止一些由无知引起的“事故”。
- 监管“开源”的狂野西部：论文指出，许多最糟糕的工具（例如制作虚假裸照的应用程序）都是建立在任何人都可以下载和修改的“开源”模型之上的。目前的规则允许这些工具在极少限制的情况下存在。作者建议我们需要在此处实施更严格的规则，以阻止“恶棍”制造他们的武器。
- 追踪“纸质痕迹”（来源证明）：我们需要更好的方法来辨别什么是真实的，什么是人工智能生成的。如果我们能够给人工智能内容打上标签（例如“由人工智能制作”的标签）并检测伪造内容，诈骗者散布谎言或深度伪造破坏声誉就会变得更加困难。
核心结论
生成式人工智能不仅仅是一个偶尔会出故障的工具；它是一个经常被人类武器化以伤害那些甚至未曾要求它的人的工具。解决方案不仅仅是让人工智能变得更“聪明”；而是要改变我们监管它的方式，教导公众如何识破诡计，并认识到使用技术的人并非唯一需要保护的对象。
以下是论文《深入审视生成式人工智能的现有风险：映射现实世界事件中的“谁”、“什么”与“如何”》的详细技术摘要。
1. 问题陈述
尽管人们高度关注人工智能（AI）的生存性风险，但在理解现有风险方面存在关键缺口——即那些已在现实世界中被观察到、并对个人、社区和社会造成危害的风险。
- 缺口所在： 现有的风险分类法往往缺乏实证依据，未能具体说明谁受到了影响、伤害如何产生（即失效模式），以及技术故障与下游社会影响之间的具体关系。
- 具体挑战： 生成式人工智能（GenAI）因其通用性质及输出模态（文本、图像、音频、视频）而不同于传统人工智能。当前的框架未能充分捕捉 GenAI 故障的独特格局，特别是技术受益者与遭受伤害的第三方之间的脱节。
- 目标： 基于现实世界事件，构建一个数据驱动的 GenAI 故障与危害分类法，映射“谁”（利益相关者）、“什么”（危害类型）和“如何”（社会技术失效模式）。
2. 方法论
作者对499 起公开报告的生成式人工智能事件进行了系统的实证分析。
- 数据来源： 数据集整理自两个主要数据库：人工智能事件数据库（AIID）和人工智能、算法及自动化事件与争议（AIAAIC）。由于经合组织（OECD）人工智能事件监测器采用自动化策展且对“事件”的定义更为宽泛，故未纳入。
- 筛选标准： 仅纳入生成式人工智能系统是事件主要原因的案例。
- 编码框架： 每起事件被视为一个案例，并针对四个属性进行编码：
- 模态： 输出类型（文本、图像、音频、视频、多模态）。
- 受影响利益相关者： 分为交互型（最终用户、开发者）和非交互型（第三方个人、组织、社区、社会）。
- 危害： 负面结果的性质。
- 社会技术失效模式： 近因（技术、人为或系统性）。
- 分类法构建：
- 危害： 在现有分类法（Weidinger 等人、Abercrombie 等人）的基础上构建，但修订后增加了一个新类别，“生态系统过载”（用 AI 内容淹没人工策展的空间）。最终分类法包含12 个类别下的41 种具体危害。
- 失效模式： 开发了一个新颖的分类法，包含14 种失效模式，分为4 个类别：
- 设计相关（例如：有问题的数据收集）。
- 开发/评估相关（例如：幻觉、缺乏鲁棒性）。
- 发布相关（例如：缺乏透明度）。
- 使用相关（例如：恶意使用、不当使用）。
- 分析过程： 两位作者独立对数据进行编码，通过共识解决分歧。他们分析了普遍性、失效模式的共现情况，以及失效模式、危害与利益相关者之间的映射关系。
3. 主要贡献
- GenAI 危害的实证分类法： 对野外观察到的 41 种具体危害进行了验证的定量映射，超越了理论风险评估。
- 社会技术失效模式的新颖分类法： 一个结构化的框架，区分了设计、开发、发布和使用相关的故障，专门针对 GenAI 定制。
- “谁 - 什么 - 如何”映射： 一项综合分析，将特定的失效模式与特定的危害联系起来，并关键性地识别了受益者与受害者之间的差异。
- 与传统人工智能的区别： 证据表明，GenAI 危害的格局与传统人工智能截然不同，特别是在恶意使用的普遍性以及对非交互型利益相关者的影响方面。
4. 关键结果与发现
A. 谁受到了伤害？（利益相关者差异）
- 非交互型利益相关者是主要受害者： 大多数事件（约 80% 以上）对未直接与 AI 系统交互的各方造成了伤害（例如：被深度伪造 targeting 的个人、接收 AI 垃圾邮件的组织、面临错误信息的社会）。
- 交互型利益相关者很少受害： 最终用户和开发者很少遭受其产生的危害的直接后果。
- 问责制崩溃： 这造成了一种错位，即那些获得利益的人（用户/开发者）承担的风险很小，而那些承担风险的人（社会/第三方）却没有任何直接救济途径。
B. 发生了哪些危害？（普遍性）
- 主要危害类别：
- 自主权/能动性丧失（n=178）：通常与冒充和身份盗窃有关。
- 政治与经济（n=106）：与操纵和不稳定有关。
- 信息类（n=84）：信息生态系统的污染。
- 具体高频危害： 冒充/身份盗窃（n=108）、政治操纵（n=95）以及信任/信心丧失（n=58）。
C. 危害如何产生？（失效模式）
- 使用相关故障占主导地位： 使用相关失效模式占据了绝大多数事件（n=301），数量远超设计或开发故障。
- 恶意使用是主要驱动力： 恶意使用（n=198）是最普遍的单一失效模式，推动了与自主权、政治操纵、心理困扰和金融欺诈相关的危害。
- 幻觉： 虽然总体上不如恶意使用频繁，但幻觉（n=56）是影响交互型利益相关者的主要失效模式（例如：用户依赖虚假的法律建议）。
D. 关联与模态
- 失效 - 危害配对：
- 恶意使用 → 自主权、政治、心理和财务危害（通常通过深度伪造实现）。
- 幻觉 → 人权/公民自由危害（例如：法庭上的虚假证据）。
- 有问题的数据收集 → 隐私与安全危害。
- 模态影响： 基于文本的系统最常与幻觉相关。图像、视频和音频系统则 overwhelmingly（压倒性地）与恶意使用相关（例如：未经同意的深度伪造色情内容、语音诈骗）。
- 开源模型： 研究证实，允许生成未经同意的亲密图像（AIG-NCII）的工具主要构建在开源模型（如 Stable Diffusion）之上，凸显了监管缺口。
5. 意义与建议
意义
该论文挑战了 AI 风险主要是技术性或面向未来的主流叙事。它证明，当前的 GenAI 风险主要是社会技术性的，由人类意图（恶意使用）和系统性设计缺陷（数据收集）驱动，且这些风险的负担不成比例地落在无辜的第三方身上。这将焦点从纯粹的“模型安全”转移到了“生态系统安全”。
建议
- 优先保护非交互型利益相关者： 政策和治理必须转变重点，以保护那些不与系统交互却承受其后果的第三方。
- 公众教育与 AI 素养： 由于“不当使用”是主要的失效模式，公众需要更好地了解 GenAI 的能力与局限（例如：理解幻觉），以减少意外危害。
- 对开源的监管立场： 当前的监管环境（如欧盟《人工智能法案》）激励开源开发，但未能缓解滥用（如 AIG-NCII）的具体风险。作者呼吁制定基于证据的监管措施，在创新与防止滥用工具之间取得平衡。
- 溯源与检测： 实施数据追踪和合成内容检测对于减轻错误信息和深度伪造欺诈等危害是必要的，但这些必须与更广泛的问责措施相结合。
- 从技术转向非技术缓解措施： 作者认为，技术修复（安全护栏）是不够的。有效的缓解需要公开披露、教育和审慎的监管立场，以解决该问题中的人为和系统层面。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。